Fallstudie
1. Dezember 2022
Das Zamani-Projekt: Virtuelle Kulturerbestätten mit Twinmotion und RealityCapture erschaffen
Das Kulturerbe stößt ein Fenster in die Vergangenheit auf, hilft uns, die Gegenwart zu verstehen, und ermutigt uns, für unsere Zukunft zu planen. Ein Bewusstsein für das Kulturerbe trägt zur Entwicklung der kulturellen Identität bei und fördert Toleranz und Akzeptanz gegenüber anderen. Leider besitzen Kulturerbestätten auf der ganzen Welt nur über sehr begrenzte oder gar keine Dokumentationsmöglichkeiten. Die Stätten sind zunehmend auch anderen Gefahren ausgesetzt: Naturkatastrophen, steigender Meeresspiegel, Vandalismus, kultureller Terrorismus und Massentourismus.
In Anbetracht der schwerwiegenden Konsequenzen des Verlusts bedeutender und historisch wertvoller Regionen rief Professor Heinz Rüther von der Universität Kapstadt im Jahr 2004 das Zamani-Projekt ins Leben. Die gemeinnützige Initiative ermöglicht den weltweiten Zugang zu hochwertigen, präzisen digitalen Zwillingen von Kulturerbestätten. Ihr Fokus liegt dabei vorrangig auf Afrika. Die Initiative spielt auch eine Schlüsselrolle in der Aufklärung der breiten Öffentlichkeit über die Bedeutung der Erhaltung des Kulturerbes.
Im Verlauf der letzten 17 Jahre konnte das Zamani-Projekt in Zusammenarbeit mit großen Organisationen wie der UNESCO oder dem World Monument Fund und Professor Rüther als Forschungsprojektleiter über 65 Stätten in 18 Ländern digital dokumentieren. Heute entstehen aus dieser Dokumentationsarbeit mit der Hilfe von Twinmotion und RealityCapture wunderschöne und packende 3D-Animationen und immersive Erlebnisse.
Zu Rüthers Team gehören auch die Chief Scientific Officers Roshan Bhurtha und Ralph Schroeder, die seit Beginn Teil des Projekts sind, und Bruce McDonald, der vor fünf Jahren dazustieß.
Mit Z+F-Laserscannern, DSLR-Kameras und Drohnen kann das Team riesige Punktwolken und Fotografiedaten von den Stätten erfassen. Mit RealityCapture lässt sich daraus dann ein einheitliches, hochaufgelöstes 3D-Modell entwickeln.
In Anbetracht der schwerwiegenden Konsequenzen des Verlusts bedeutender und historisch wertvoller Regionen rief Professor Heinz Rüther von der Universität Kapstadt im Jahr 2004 das Zamani-Projekt ins Leben. Die gemeinnützige Initiative ermöglicht den weltweiten Zugang zu hochwertigen, präzisen digitalen Zwillingen von Kulturerbestätten. Ihr Fokus liegt dabei vorrangig auf Afrika. Die Initiative spielt auch eine Schlüsselrolle in der Aufklärung der breiten Öffentlichkeit über die Bedeutung der Erhaltung des Kulturerbes.
Im Verlauf der letzten 17 Jahre konnte das Zamani-Projekt in Zusammenarbeit mit großen Organisationen wie der UNESCO oder dem World Monument Fund und Professor Rüther als Forschungsprojektleiter über 65 Stätten in 18 Ländern digital dokumentieren. Heute entstehen aus dieser Dokumentationsarbeit mit der Hilfe von Twinmotion und RealityCapture wunderschöne und packende 3D-Animationen und immersive Erlebnisse.
Zu Rüthers Team gehören auch die Chief Scientific Officers Roshan Bhurtha und Ralph Schroeder, die seit Beginn Teil des Projekts sind, und Bruce McDonald, der vor fünf Jahren dazustieß.
Nachbildung von Kulturerbestätten mit RealityCapture
Zur Erfassung der Kulturerbestätten und ihrer digitalen Rekonstruktion nutzt das Team RealityCapture. Die leistungsfähige Photogrammetrie-Software ermöglicht die Erstellung ultrarealistischer 3D-Modelle aus einer Reihe von Bildern und/oder Laserscans. Die Anwendung ist nun fester Bestandteil des Unreal Engine-Ökosystems, zu dem auch Twinmotion gehört, seit die Entwickler des Programms, Capturing Reality, im März 2021 Mitglied der Epic Games-Familie wurden.Mit Z+F-Laserscannern, DSLR-Kameras und Drohnen kann das Team riesige Punktwolken und Fotografiedaten von den Stätten erfassen. Mit RealityCapture lässt sich daraus dann ein einheitliches, hochaufgelöstes 3D-Modell entwickeln.
Zamani Project - Univerty of Cape Town
Das Modell wird dann vereinfacht, um die Anzahl der Dreiecke auf ein überschaubares Maß zu reduzieren. Anschließend werden Normal-Maps und Texturen mit RealityCapture aus den Originaldaten extrahiert und auf das Mesh angewendet. Das Resultat ist ein hochwertiges, texturiertes Modell, das in Twinmotion importiert werden kann. Für den Export kommt die Unreal Engine-Voreinstellung zum Einsatz, um ein optimales Ergebnis zu erhalten. Es entsteht ein OBJ-Mesh mit der korrekten Skalierung für die Verwendung in Twinmotion.
"Die Qualität der 3D-Modelle, die RealityCapture erstellt, ist umwerfend", sagt McDonald. "Sie sehen nach dem Import in Twinmotion einfach fantastisch aus."
"Twinmotion gibt uns die Möglichkeit, Kulturerbestätten für all jene zum Leben zu erwecken, die sie nicht selbst erleben können", sagt McDonald. "Wir möchten Animationen und Erlebnisse schaffen, die nicht nur ein 3D-Modell zeigen, sondern das Modell in einer Umgebung erlebbar machen, die der Realität so nah kommt wie möglich."
"Die Qualität der 3D-Modelle, die RealityCapture erstellt, ist umwerfend", sagt McDonald. "Sie sehen nach dem Import in Twinmotion einfach fantastisch aus."
Mit Twinmotion vom 3D-Modell zum fotorealistischen, immersiven Erlebnis
Twinmotion kann problemlos die hochaufgelösten Assets mitsamt der Texturen importieren. Sobald das 3D-Modell in Twinmotion ist, kann das Team der Umgebung den letzten Schliff geben. Anschließend kann sich das Zamani-Projekt an das Storytelling machen."Twinmotion gibt uns die Möglichkeit, Kulturerbestätten für all jene zum Leben zu erwecken, die sie nicht selbst erleben können", sagt McDonald. "Wir möchten Animationen und Erlebnisse schaffen, die nicht nur ein 3D-Modell zeigen, sondern das Modell in einer Umgebung erlebbar machen, die der Realität so nah kommt wie möglich."
Zamani Project – Universität Kapstadt
Twinmotion trägt durch viele seiner Funktionen für die fotorealistische Visualisierung dazu bei, dieses hohe Maß an Realismus zu erreichen. Beispielsweise liefert die integrierte Sammlung von Quixel Megascans Zugang zu hochwertigen gescannten Assets und Materialien, um lebensechte Hintergrundumgebungen zu erschaffen. Es können auch Höhenkartendaten importiert werden, um eine kontextuell sinnvolle Landschaft zu erstellen. Beide Funktionen sind laut McDonald besonders wertvoll für die Arbeit.
Weiterhin ist es ganz leicht, die Position der Sonne zum Sonnenaufgang und Sonnenuntergang anhand realer geografischer Standortdaten korrekt zu positionieren. Für die Plausibilität des Endergebnisses ist es unerlässlich, sich selbst für solche kleinen Details die nötige Zeit zu nehmen.
Mit der fertigen Szene ist es in Twinmotion einfach, passende Animationen zu entwickeln, sagt McDonald. Er untermauert die Aussage etwa mit der Qualität der Standard-Beleuchtung, der unkomplizierten Kamerasteuerung zum Erstellen von Videoaufnahmen und der Möglichkeit, Türen automatisch öffnen zu lassen, wenn eine Kamera näher kommt.
Weiterhin ist es ganz leicht, die Position der Sonne zum Sonnenaufgang und Sonnenuntergang anhand realer geografischer Standortdaten korrekt zu positionieren. Für die Plausibilität des Endergebnisses ist es unerlässlich, sich selbst für solche kleinen Details die nötige Zeit zu nehmen.
Mit der fertigen Szene ist es in Twinmotion einfach, passende Animationen zu entwickeln, sagt McDonald. Er untermauert die Aussage etwa mit der Qualität der Standard-Beleuchtung, der unkomplizierten Kamerasteuerung zum Erstellen von Videoaufnahmen und der Möglichkeit, Türen automatisch öffnen zu lassen, wenn eine Kamera näher kommt.
Twinmotion gibt Teams auch die Möglichkeit, selbst beim Editieren mit einem Virtuelle-Realität-Headset (VR) in die Welt einzutauchen und so einen direkten Realitätsbezug zu ihrem Werk zu erhalten, der bislang unerreichbar war.
Sobald die Szene komplett ist, kann das Team hochaufgelöste Standbilder, Standard- oder 360-Grad-Videos, Panoramen und verlinkte Panoramasets daraus exportieren. Auch vollständig interaktive 3D-Präsentation sind möglich. Alles aus ein und demselben Projekt. Mit Twinmotion Cloud lassen sich Panoramasets und Präsentationen ganz leicht mit beliebigen Leuten auf der ganzen Welt über eine einfache Internetadresse teilen. Die Empfänger können die Erlebnisse dann im Internetbrowser auf einem Smartphone, Tablet oder Computer erleben und benötigen dafür keinerlei teure, leistungsstarke Hardware und müssen auch nichts herunterladen. Lokale Präsentationen lassen sich auch in VR betrachten.
Obwohl Twinmotion so leistungsfähig und umfangreich ist, ist die Anwendung auch berühmt für seine Unkompliziertheit und flache Lernkurve. Beides steigert die Produktivität enorm und führt schneller zu ansprechenden Ergebnissen. "Wir können sehr schnell bezaubernde, hochwertige Animationen in Twinmotion erstellen", erklärt McDonald. "Bislang dauerte das in anderer Software immer sehr lange."
Bunce Island ist eine 600 Meter lange und 100 Meter breite, unbewohnte Insel, auf der 1670 eine Sklavenhandelsstation errichtet wurde. Die Festung wurde 1808 aufgegeben, und 1840 verließen die letzten Menschen die Insel. Im Jahr 1948 wurde Bunce Island zu einem Nationalen Monument erklärt.
Sobald die Szene komplett ist, kann das Team hochaufgelöste Standbilder, Standard- oder 360-Grad-Videos, Panoramen und verlinkte Panoramasets daraus exportieren. Auch vollständig interaktive 3D-Präsentation sind möglich. Alles aus ein und demselben Projekt. Mit Twinmotion Cloud lassen sich Panoramasets und Präsentationen ganz leicht mit beliebigen Leuten auf der ganzen Welt über eine einfache Internetadresse teilen. Die Empfänger können die Erlebnisse dann im Internetbrowser auf einem Smartphone, Tablet oder Computer erleben und benötigen dafür keinerlei teure, leistungsstarke Hardware und müssen auch nichts herunterladen. Lokale Präsentationen lassen sich auch in VR betrachten.
Obwohl Twinmotion so leistungsfähig und umfangreich ist, ist die Anwendung auch berühmt für seine Unkompliziertheit und flache Lernkurve. Beides steigert die Produktivität enorm und führt schneller zu ansprechenden Ergebnissen. "Wir können sehr schnell bezaubernde, hochwertige Animationen in Twinmotion erstellen", erklärt McDonald. "Bislang dauerte das in anderer Software immer sehr lange."
Festungsanlage auf Bunce Island, Sierra Leone
Im Jahr 2021 war das Zamani-Projekt in Sierra Leone aktiv im Rahmen eines World-Monument-Fund-Projekts, um das alte Old Fourah Bay College in Freetown zu dokumentieren. Anschließend reiste das Team auf dem Sierra Leone River hinauf, um die alte Sklavenfestung auf Bunce Island zu erfassen und digital nachzubauen.Bunce Island ist eine 600 Meter lange und 100 Meter breite, unbewohnte Insel, auf der 1670 eine Sklavenhandelsstation errichtet wurde. Die Festung wurde 1808 aufgegeben, und 1840 verließen die letzten Menschen die Insel. Im Jahr 1948 wurde Bunce Island zu einem Nationalen Monument erklärt.
Zamani Project - Univerty of Cape Town
Vergangenes Jahr konnte das Zamani-Projekt fast die gesamte Stätte innerhalb von weniger als zwei Tagen dokumentieren. Dabei wurden ungefähr 4.500 Fotos mit einer Nikon D7200 DSLR-Kamera und über 70 Farb-Laserscans mit einem Z+F 5010X-Laserscanner gemacht. Daraus erstellte das Team mithilfe von RealityCapture und Twinmotion eine Vielzahl von Materialien, darunter 3D-Modelle, Panoramen, Standbilder, Animationen und mehr.
Mapungubwe, Südafrika
Eine weitere Stätte, an der das Zamani-Projekt tätig war, ist Mapungubwe. Das Gebiet befindet sich an der Nordgrenze Südafrikas zu Simbabwe und Botsuana an der Verbindung der Flüsse Limpopo und Shashe. Mapungubwe war eines der größten Königreiche in diesem Teil des Kontinents, bevor es im 14. Jahrhundert unterging.Die Überreste von Mapungubwe sind nahezu unverändert erhalten geblieben und bestehen aus Palastanlagen und ganzen Siedlungsgebieten aus vergangenen Jahrhunderten. Es gibt auch zwei weitere Gebiete, die als frühere Hauptstädte gelten und sich in einem ähnlich unberührten Zustand befinden. Diese seltene Gelegenheit ermöglicht Einblicke in eine Gesellschaft, die sich über 400 Jahre hinweg entwickelt hat.
Die Erfassung von Mapungubwe war Teil eines größeren Projekts zur Dokumentation von Kulturerbestätten in Südafrika, die von der South African Heritage Resource Agency (SAHRA) durchgeführt wurde. Hauptziel war es, eine Animation für den Südafrika-Stand auf der Expo 2020 in Dubai zu entwickeln.
Das Zamani-Projekt-Team wurde die ganze Zeit über begleitet von Parkrangern, um das Team vor Löwen, Elefanten und anderen Wildtieren im Park zu beschützen. Zu der eingesetzten Fotografietechnik zählte eine Nikon D7200 DSLR-Kamera und eine Phantom 3- und Phantom 4 Pro-Drohne. Damit machte das Team ungefähr 10.000 Bilder vom Mapungubwe-Areal. Die Bilder wurden dann in RealityCapture hochgeladen und in einem Koordinatensystem zusammengeführt, um ein texturiertes 3D-Modell zu erstellen. Abschließend wurde dies in Twinmotion für den letzten Feinschliff übertragen. Der Prozess beinhaltete die Ausstaffierung der Gegend mit Baobab-Bäumen, die aus einem einzigen Scan dupliziert wurden, der Simulation von Wasser aus einer Zisterne und dem Einfügen von Panoramahintergründen aus den Drohnenaufnahmen.
Das Zamani-Projekt-Team wurde die ganze Zeit über begleitet von Parkrangern, um das Team vor Löwen, Elefanten und anderen Wildtieren im Park zu beschützen. Zu der eingesetzten Fotografietechnik zählte eine Nikon D7200 DSLR-Kamera und eine Phantom 3- und Phantom 4 Pro-Drohne. Damit machte das Team ungefähr 10.000 Bilder vom Mapungubwe-Areal. Die Bilder wurden dann in RealityCapture hochgeladen und in einem Koordinatensystem zusammengeführt, um ein texturiertes 3D-Modell zu erstellen. Abschließend wurde dies in Twinmotion für den letzten Feinschliff übertragen. Der Prozess beinhaltete die Ausstaffierung der Gegend mit Baobab-Bäumen, die aus einem einzigen Scan dupliziert wurden, der Simulation von Wasser aus einer Zisterne und dem Einfügen von Panoramahintergründen aus den Drohnenaufnahmen.
Nächster Halt: Petra!
Für das Zamani-Projekt sind RealityCapture und Twinmotion ein fester und unverzichtbarer Bestandteil ihrer Arbeitsabläufe und zukünftigen Projekte. Auch die Unreal Engine spielt eine Rolle und sie konnte gerade beim letzten Projekt besonders auftrumpfen. Dieses Projekt wurde in Jordanien an der Felsenstadt Petra durchgeführt und war nur möglich durch einen Epic MegaGrant.Aufgrund der enormen Ausmaße von Petra ist das Team bereits seit über zehn Jahren mit der Dokumentation der Stätte beschäftigt. Erste Untersuchungen fanden schon 2011 und 2014 statt. Mit der Finanzierung durch den MegaGrant im Rücken und der modernsten Aufnahmetechnologie zur Hand kehrte das Team im März 2022 nach Petra zurück. Als das Team fertig war, hatte es mehrere Terabyte an Daten und über 100.000 Fotos im Gepäck.
All diese Daten werden jetzt in RealityCapture verarbeitet, bevor daraus in Unreal Engine 5 ein 3D-Erlebnis entsteht. Das Team setzt dabei auf das virtualisierte Geometrie-System Nanite, um das riesige Mesh in Echtzeit zu verarbeiten. Wir können es kaum erwarten, das Endergebnis zu sehen!