Historia de éxito
1 de diciembre de 2022
El proyecto Zamani: cómo crear patrimonio virtual con Twinmotion y RealityCapture
El patrimonio es una ventana al pasado. Nos ayuda a entender el presente y nos invita a prepararnos para el futuro. Ser conscientes de nuestro patrimonio nos permite desarrollar nuestra identidad cultural y promover el respeto y la tolerancia hacia los demás. Sin embargo, a menudo todo este patrimonio distribuido por todo el globo cuenta con unos recursos de documentación limitados, cuanto no inexistentes. También se enfrenta a otras amenazas: desastres naturales, la subida del nivel del mar, vandalismo, terrorismo cultural y turismo de masas.
En vista de las nefastas consecuencias que conllevaría la pérdida de estos influyentes conjuntos llenos de historia, en 2004, el profesor Heinz Rüther de la Universidad de Ciudad del Cabo creó el Proyecto Zamani, una iniciativa sin ánimo de lucro que permite el acceso internacional a réplicas digitales realistas y de alta calidad de lugares patrimoniales, especialmente de África. La iniciativa también juega un papel fundamental a la hora de educar al público sobre la importancia de la conservación patrimonial.
Durante los últimos 17 años, en colaboración con importantes organizaciones dedicadas al patrimonio como la UNESCO o la World Monuments Fund, el equipo del Proyecto Zamani (liderado por Rüther como investigador principal) ha documentado digitalmente más de 65 sitios en 18 países. Hoy, esa documentación digital está tomando la forma de bellas e interesantes animaciones en 3D y experiencias inmersivas, con la ayuda de Twinmotion y RealityCapture.
El equipo de Rüther incluye a los directores científicos Roshan Bhurtha y Ralph Schroeder, que llevan en el proyecto desde el primer año, y a Bruce McDonald, que se incorporó hace cinco.
Con escáneres láser Z+F, cámaras réflex digitales y drones, el equipo se desplaza al lugar y allí recopila cantidades ingentes de datos fotográficos y de nubes de puntos que RealityCapture puede procesar y fusionar en un único modelo 3D de muy alta resolución.
En vista de las nefastas consecuencias que conllevaría la pérdida de estos influyentes conjuntos llenos de historia, en 2004, el profesor Heinz Rüther de la Universidad de Ciudad del Cabo creó el Proyecto Zamani, una iniciativa sin ánimo de lucro que permite el acceso internacional a réplicas digitales realistas y de alta calidad de lugares patrimoniales, especialmente de África. La iniciativa también juega un papel fundamental a la hora de educar al público sobre la importancia de la conservación patrimonial.
Durante los últimos 17 años, en colaboración con importantes organizaciones dedicadas al patrimonio como la UNESCO o la World Monuments Fund, el equipo del Proyecto Zamani (liderado por Rüther como investigador principal) ha documentado digitalmente más de 65 sitios en 18 países. Hoy, esa documentación digital está tomando la forma de bellas e interesantes animaciones en 3D y experiencias inmersivas, con la ayuda de Twinmotion y RealityCapture.
El equipo de Rüther incluye a los directores científicos Roshan Bhurtha y Ralph Schroeder, que llevan en el proyecto desde el primer año, y a Bruce McDonald, que se incorporó hace cinco.
Recreación de patrimonio virtual con RealityCapture
Para capturar el patrimonio y reconstruirlo digitalmente, el equipo se sirvió de RealityCapture, un potente software de fotogrametría que permite la creación de modelos 3D ultrarrealistas a partir de conjuntos de imágenes o escaneos láser. Ahora, y al igual que Twinmotion, ese producto forma parte del ecosistema de Unreal Engine, después de que sus creadores, Capturing Reality, se unieran a la familia de Epic Games en marzo de 2021.Con escáneres láser Z+F, cámaras réflex digitales y drones, el equipo se desplaza al lugar y allí recopila cantidades ingentes de datos fotográficos y de nubes de puntos que RealityCapture puede procesar y fusionar en un único modelo 3D de muy alta resolución.
Zamani Project - Univerty of Cape Town
Después, el modelo se simplifica para reducir el recuento de triángulos a un nivel manejable, antes de que RealityCapture extraiga los mapas y texturas de normales de los datos originales y los aplique a la malla. El resultado es un modelo con texturas y de alta calidad listo para importarse en Twinmotion. Usan el preajuste de exportación Unreal Engine para obtener los mejores resultados en RealityCapture, lo que produce una malla OBJ en la escala adecuada para usarla en Twinmotion.
«La calidad de los modelos 3D producidos por RealityCapture es excelente», afirma McDonald. «Tienen un aspecto maravilloso una vez importados en Twinmotion».
McDonald explica: «Twinmotion nos permite llevar el patrimonio a los que no pueden visitarlo. Procuramos crear animaciones y experiencias que no solo muestren un modelo en 3D, sino que presenten el modelo en un entorno que se asemeje lo máximo posible a la realidad».
«La calidad de los modelos 3D producidos por RealityCapture es excelente», afirma McDonald. «Tienen un aspecto maravilloso una vez importados en Twinmotion».
Del modelo 3D a la experiencia inmersiva fotorrealista con Twinmotion
Cuando el modelo 3D ya está en Twinmotion (el software importa sin problemas el recurso de alta resolución con las texturas incluidas), el equipo puede añadir los toques finales al entorno. Aquí el Proyecto Zamani entra en el terreno de la narración.McDonald explica: «Twinmotion nos permite llevar el patrimonio a los que no pueden visitarlo. Procuramos crear animaciones y experiencias que no solo muestren un modelo en 3D, sino que presenten el modelo en un entorno que se asemeje lo máximo posible a la realidad».
Proyecto Zamani, Universidad de Ciudad del Cabo
Twinmotion ayuda a conseguir este elevado nivel de realismo a través de muchas de sus funciones de visualización fotorrealista. Por ejemplo, la biblioteca incluida de Quixel Megascans ofrece acceso a recursos y materiales escaneados de alta calidad con los que se pueden construir entornos de fondo fieles a la realidad misma. También se pueden importar datos de mapas de altura para crear un paisaje contextual, dos funciones que McDonald encuentra de lo más valiosas.
Asimismo, resulta fácil garantizar que la posición del sol sea la correcta al amanecer y al atardecer en función de la posición geográfica real del sitio histórico. Tomarse el tiempo de afinar detalles tan pequeños como esos es esencial para que el resultado final sea plausible.
Con la escena montada, McDonald nos explica que crear animaciones en Twinmotion es sencillo y menciona la calidad de la iluminación por defecto, lo fácil que resulta controlar la cámara para crear clips de vídeo y la capacidad de hacer cosas como abrir puertas automáticamente cuando se acerca una cámara.
Asimismo, resulta fácil garantizar que la posición del sol sea la correcta al amanecer y al atardecer en función de la posición geográfica real del sitio histórico. Tomarse el tiempo de afinar detalles tan pequeños como esos es esencial para que el resultado final sea plausible.
Con la escena montada, McDonald nos explica que crear animaciones en Twinmotion es sencillo y menciona la calidad de la iluminación por defecto, lo fácil que resulta controlar la cámara para crear clips de vídeo y la capacidad de hacer cosas como abrir puertas automáticamente cuando se acerca una cámara.
Twinmotion también permite que el equipo se sumerja en la escena mientras la edita mediante el empleo de cascos de realidad virtual (RV), lo que aporta un nivel de realismo que antes estaba fuera de nuestro alcance.
Una vez la escena está completa, el equipo puede exportar imágenes fijas de alta resolución, vídeos estándar o de 360°, panoramas y Panorama Sets vinculados e incluso presentaciones en 3D interactivas completas, todo desde el mismo proyecto. Twinmotion Cloud permite compartir los Panorama Sets y las presentaciones con cualquier persona de cualquier parte del mundo a través de una simple URL, a la que podrán acceder desde un navegador web en un teléfono móvil, una tableta o un ordenador, sin necesidad de hardware de alta gama ni de descargar nada. Las presentaciones locales también se pueden ver en RV.
A pesar de la potencia de sus funciones, Twinmotion es conocido por su facilidad de uso y su corta curva de aprendizaje, que se traduce en una productividad mucho mayor y unos resultados más rápidos. «Somos capaces de generar animaciones bonitas y de alta calidad muy rápidamente en Twinmotion», comenta McDonald. «Antes, tardábamos mucho tiempo con otros programas».
La isla de Bunce es una isla deshabitada de 500 metros que se estableció como centro de comercio de esclavos en 1670. El fuerte cayó en desuso en 1808 y la isla quedó abandonada definitivamente en 1840. En 1948, la isla de Bunce fue declarada Monumento Nacional.
Una vez la escena está completa, el equipo puede exportar imágenes fijas de alta resolución, vídeos estándar o de 360°, panoramas y Panorama Sets vinculados e incluso presentaciones en 3D interactivas completas, todo desde el mismo proyecto. Twinmotion Cloud permite compartir los Panorama Sets y las presentaciones con cualquier persona de cualquier parte del mundo a través de una simple URL, a la que podrán acceder desde un navegador web en un teléfono móvil, una tableta o un ordenador, sin necesidad de hardware de alta gama ni de descargar nada. Las presentaciones locales también se pueden ver en RV.
A pesar de la potencia de sus funciones, Twinmotion es conocido por su facilidad de uso y su corta curva de aprendizaje, que se traduce en una productividad mucho mayor y unos resultados más rápidos. «Somos capaces de generar animaciones bonitas y de alta calidad muy rápidamente en Twinmotion», comenta McDonald. «Antes, tardábamos mucho tiempo con otros programas».
Fuerte de la isla Bunce (Sierra Leona)
En 2021, el Proyecto Zamani visitó Sierra Leona en el marco de un proyecto de la World Monuments Fund para documentar el Old Fourah Bay College en Freetown. Tras acabar allí, el equipo subió por el río Sierra Leona para capturar y recrear el fuerte que solía usarse para la esclavitud en la isla de Bunce.La isla de Bunce es una isla deshabitada de 500 metros que se estableció como centro de comercio de esclavos en 1670. El fuerte cayó en desuso en 1808 y la isla quedó abandonada definitivamente en 1840. En 1948, la isla de Bunce fue declarada Monumento Nacional.
Zamani Project - Univerty of Cape Town
El año pasado, el equipo del Proyecto Zamani documentó casi todo el emplazamiento en un día y medio, sacó unas 4500 fotografías con una cámara réflex digital Nikon D7200 y más de 70 escaneos láser en color con un escáner Z+F 5010X. Todo esto se transformó a continuación en una gran cantidad de material, desde modelos 3D y panoramas hasta imágenes fijas, animaciones y mucho más, con la ayuda de RealityCapture y Twinmotion.
Mapungubwe (Sudáfrica)
Otro lugar en el que el Proyecto Zamani ha trabajado es Mapungubwe. Ubicado en la frontera norte de Sudáfrica, colindante con Zimbabue y Botsuana, y en la confluencia de los ríos Limpopo y Shashe, Mapungubwe se consideraba el reino más grande del subcontinente antes de ser abandonado en el siglo XIV.En su mayor parte, el lugar ha permanecido intacto, y contiene un palacio y áreas enteras de asentamientos de siglos pasados. También cuenta con dos áreas reconocidas como antiguas capitales en un estado intacto similar. Este inusual hallazgo permite adentrarnos en el desarrollo de una sociedad a lo largo de 400 años.
Capturar Mapungubwe formaba parte de un proyecto más amplio para documentar patrimonio en Sudáfrica, dirigido por la South African Heritage Resource Agency («Agencia de Recursos Patrimoniales de Sudáfrica» o SAHRA). El objetivo final era crear una animación para mostrarla en el puesto de Sudáfrica en la Expo 2020 de Dubái.
El equipo del Proyecto Zamani (acompañado en todo momento por un guarda armado del parque para garantizar su seguridad ante leones, elefantes y otros animales salvajes del parque) utilizó una cámara réflex digital Nikon D7200 y drones Phantom 3 Pro y 4 Pro para fotografiar la región de Mapungubwe, con un resultado de unas 10 000 fotografías en total. Más tarde, se subieron a RealityCapture y se fusionaron en un solo sistema de coordenadas para crear modelos en 3D con texturas y, por último, se exportaron a Twinmotion para darles los toques finales. Este proceso incluyó la decoración del entorno con árboles baobab duplicados a partir de un solo escaneo, la creación de agua simulada para una cisterna y la incorporación de impresionantes fondos panorámicos a partir de imágenes de drones.
El equipo del Proyecto Zamani (acompañado en todo momento por un guarda armado del parque para garantizar su seguridad ante leones, elefantes y otros animales salvajes del parque) utilizó una cámara réflex digital Nikon D7200 y drones Phantom 3 Pro y 4 Pro para fotografiar la región de Mapungubwe, con un resultado de unas 10 000 fotografías en total. Más tarde, se subieron a RealityCapture y se fusionaron en un solo sistema de coordenadas para crear modelos en 3D con texturas y, por último, se exportaron a Twinmotion para darles los toques finales. Este proceso incluyó la decoración del entorno con árboles baobab duplicados a partir de un solo escaneo, la creación de agua simulada para una cisterna y la incorporación de impresionantes fondos panorámicos a partir de imágenes de drones.
Próxima parada: ¡Petra!
El equipo del Proyecto Zamani ha integrado plenamente RealityCapture y Twinmotion en su proceso de trabajo y los considera una parte esencial de sus futuros proyectos, junto con Unreal Engine, que también entra en juego en su última aventura. Su proyecto más reciente, que tiene lugar en Petra (Jordania), ha sido posible gracias a una MegaGrant de Epic.Debido a la descomunal escala del paisaje de Petra, documentarlo ya ha llevado más de una década. El equipo realizó los primeros estudios entre 2011 y 2014. Gracias a la financiación de la MegaGrant y a la última tecnología de captura, volvieron a visitar Petra en marzo de 2022 y volvieron a casa con terabytes de datos, incluidas unas 100 000 fotografías.
Ahora, todos esos datos se están procesando en RealityCapture, antes de crear una experiencia 3D en Unreal Engine 5, en la que el equipo usará el sistema de geometría virtualizada de Nanite disponible en el motor para gestionar las enormes mallas en tiempo real. ¡Qué ganas tenemos de ver el resultado!