Case Study
1 de dezembro de 2022
The Zamani Project: Criando Patrimônios Virtuais com Twinmotion e RealityCapture
O patrimônio abre uma janela para o passado, nos ajuda a entender o presente e nos incentiva a planejar o nosso futuro. A conscientização sobre o patrimônio ajuda a desenvolver a identidade cultural e a promover a tolerância e a aceitação entre as pessoas. No entanto, os locais históricos ao redor do mundo costumam ter recursos documentais limitados ou inexistentes. Esses locais ainda enfrentam outras ameaças: desastres naturais, aumento do nível do mar, vandalismo, terrorismo cultural e turismo em massa.
Reconhecendo as graves consequências da perda dessas áreas de enorme influência e riqueza histórica, em 2004 o professor Heinz Rüther, da Universidade da Cidade do Cabo, idealizou o Projeto Zamani, uma iniciativa sem fins lucrativos que oferece acesso global a réplicas digitais de alta qualidade e precisão de patrimônios históricos, com foco na África. A iniciativa também desempenha um papel fundamental na educação do público sobre a importância da conservação do patrimônio.
Ao longo dos últimos 17 anos, em colaboração com importantes organizações patrimoniais, como a UNESCO e o World Monuments Fund, a equipe do Projeto Zamani, liderada por Rüther como investigador principal, documentou em formato digital mais de 65 locais em 18 países. Hoje, essa documentação digital está ganhando vida na forma de belas e envolventes animações em 3D e experiências imersivas, com a ajuda do Twinmotion e do RealityCapture.
A equipe de Rüther inclui os diretores científicos Roshan Bhurtha e Ralph Schroeder, que estão no projeto desde o primeiro ano, e Bruce McDonald, que se juntou há cinco anos.
Usando digitalizadores a laser Z+F, junto com câmeras DSLR e drones, a equipe coleta uma enorme quantidade de dados de nuvem de pontos e imagens fotográficas do local, que o RealityCapture consegue processar e mesclar num único modelo 3D de altíssima resolução.
Reconhecendo as graves consequências da perda dessas áreas de enorme influência e riqueza histórica, em 2004 o professor Heinz Rüther, da Universidade da Cidade do Cabo, idealizou o Projeto Zamani, uma iniciativa sem fins lucrativos que oferece acesso global a réplicas digitais de alta qualidade e precisão de patrimônios históricos, com foco na África. A iniciativa também desempenha um papel fundamental na educação do público sobre a importância da conservação do patrimônio.
Ao longo dos últimos 17 anos, em colaboração com importantes organizações patrimoniais, como a UNESCO e o World Monuments Fund, a equipe do Projeto Zamani, liderada por Rüther como investigador principal, documentou em formato digital mais de 65 locais em 18 países. Hoje, essa documentação digital está ganhando vida na forma de belas e envolventes animações em 3D e experiências imersivas, com a ajuda do Twinmotion e do RealityCapture.
A equipe de Rüther inclui os diretores científicos Roshan Bhurtha e Ralph Schroeder, que estão no projeto desde o primeiro ano, e Bruce McDonald, que se juntou há cinco anos.
Recriando locais históricos com o RealityCapture
Para capturar os locais históricos e reconstruí-los em formato digital, a equipe utiliza o RealityCapture — um poderoso software de fotogrametria que permite criar modelos 3D ultrarrealistas a partir de conjuntos de imagens e/ou digitalizações a laser. O produto agora faz parte do ecossistema Unreal Engine que inclui o Twinmotion, desde que seus criadores, a Capturing Reality se juntaram à família Epic Games in em março de 2021.Usando digitalizadores a laser Z+F, junto com câmeras DSLR e drones, a equipe coleta uma enorme quantidade de dados de nuvem de pontos e imagens fotográficas do local, que o RealityCapture consegue processar e mesclar num único modelo 3D de altíssima resolução.
Zamani Project - Univerty of Cape Town
O modelo é então simplificado para reduzir a contagem de triângulos a um nível administrável, antes que mapas de normais e texturas sejam extraídos dos dados originais pelo RealityCapture e aplicados à malha. O resultado é um modelo texturizado de alta qualidade, pronto para ser importado no Twinmotion. A predefinição de exportação da Unreal Engine é utilizada no RealityCapture para obter os melhores resultados, produzindo uma malha OBJ na escala correta para uso no Twinmotion.
“A qualidade dos modelos 3D produzidos pelo RealityCapture é excelente,” afirma McDonald. “Eles ficam incríveis quando importados para o Twinmotion.”
“O Twinmotion nos permite dar vida ao patrimônio histórico para aqueles que não podem visitá-lo,” comenta McDonald. “Nós nos esforçamos para criar animações e experiências que não mostrem apenas um modelo 3D, mas que o apresentem num ambiente o mais próximo possível da realidade.”
“A qualidade dos modelos 3D produzidos pelo RealityCapture é excelente,” afirma McDonald. “Eles ficam incríveis quando importados para o Twinmotion.”
Do modelo 3D à experiência imersiva fotorrealista com Twinmotion
Uma vez importado o modelo 3D para o Twinmotion, o software lida sem dificuldades com o ativo em alta resolução e suas texturas, e a equipe pode adicionar os retoques finais ao ambiente, permitindo que o Projeto Zamani entre no reino da narrativa.“O Twinmotion nos permite dar vida ao patrimônio histórico para aqueles que não podem visitá-lo,” comenta McDonald. “Nós nos esforçamos para criar animações e experiências que não mostrem apenas um modelo 3D, mas que o apresentem num ambiente o mais próximo possível da realidade.”
Zamani Project - University of Cape Town
O Twinmotion contribui para alcançar esse nível elevado de realismo graças as suas diversas funcionalidades de visualização fotorrealista. Por exemplo, a biblioteca integrada do Quixel Megascans fornece acesso a ativos e materiais digitalizados de alta qualidade para construir ambientes de fundo realistas, onde você também pode importar dados de mapa de altura para criar uma paisagem contextual, funcionalidades muito valorizadas por McDonald.
Além disso, é fácil garantir que a posição do sol esteja correta ao amanhecer e ao entardecer com base na localização geográfica real do local. Dedicar tempo para refinar detalhes tão pequenos como esses é crucial para a verossimilhança do resultado final.
Com o cenário definido, criar animações no Twinmotion é simples, afirma McDonald, citando a qualidade da iluminação padrão, a facilidade de controlar a câmera para criar videoclipes e a capacidade de fazer coisas como abrir portas de forma automática quando a câmera se aproxima.
Além disso, é fácil garantir que a posição do sol esteja correta ao amanhecer e ao entardecer com base na localização geográfica real do local. Dedicar tempo para refinar detalhes tão pequenos como esses é crucial para a verossimilhança do resultado final.
Com o cenário definido, criar animações no Twinmotion é simples, afirma McDonald, citando a qualidade da iluminação padrão, a facilidade de controlar a câmera para criar videoclipes e a capacidade de fazer coisas como abrir portas de forma automática quando a câmera se aproxima.
O Twinmotion também permite que a equipe mergulhe na cena enquanto a edita usando um headset de realidade virtual (RV), oferecendo um nível de realismo que antes era inalcançável.
Quando a cena está concluída, é possível exportar imagens estáticas em alta resolução, vídeos padrão ou em 360°, panoramas e conjuntos de Panoramas interligados, além de apresentações interativas completas em 3D, tudo a partir do mesmo projeto.Utilizando o Twinmotion Cloud, os conjuntos de panoramas e apresentações podem ser compartilhados com qualquer pessoa, em qualquer lugar do mundo, por meio de uma simples URL, que pode ser acessada a partir de um navegador da web num smartphone, tablet ou computador, sem a necessidade de hardware potente ou downloads adicionais. As apresentações locais também oferecem visualização em RV.
Apesar do poder de suas funcionalidades, o Twinmotion é conhecido pela facilidade de uso e pela curva de aprendizado suave, que se traduzem em mais produtividade e resultados mais rápidos. “Conseguimos gerar animações bonitas e de alta qualidade com muita rapidez no Twinmotion”, afirma McDonald. “Antes, esse processo levava muito tempo em outros softwares.”
A Ilha Bunce é uma ilha desabitada de 487 metros, estabelecida como um posto de comércio de escravos em 1670. O forte caiu em desuso em 1808 e, em 1840, a ilha foi abandonada. Em 1948, a Ilha Bunce foi declarada um Monumento Nacional.
Quando a cena está concluída, é possível exportar imagens estáticas em alta resolução, vídeos padrão ou em 360°, panoramas e conjuntos de Panoramas interligados, além de apresentações interativas completas em 3D, tudo a partir do mesmo projeto.Utilizando o Twinmotion Cloud, os conjuntos de panoramas e apresentações podem ser compartilhados com qualquer pessoa, em qualquer lugar do mundo, por meio de uma simples URL, que pode ser acessada a partir de um navegador da web num smartphone, tablet ou computador, sem a necessidade de hardware potente ou downloads adicionais. As apresentações locais também oferecem visualização em RV.
Apesar do poder de suas funcionalidades, o Twinmotion é conhecido pela facilidade de uso e pela curva de aprendizado suave, que se traduzem em mais produtividade e resultados mais rápidos. “Conseguimos gerar animações bonitas e de alta qualidade com muita rapidez no Twinmotion”, afirma McDonald. “Antes, esse processo levava muito tempo em outros softwares.”
Castelo da Ilha Bunce, Serra Leoa
Em 2021, o Projeto Zamani visitou a Serra Leoa para um projeto do World Monuments Fund com o objetivo de documentar o antigo Fourah Bay College, em Freetown. Depois disso, a equipe viajou até o Rio Serra Leoa para capturar e recriar o Forte dos Escravos na Ilha Bunce.A Ilha Bunce é uma ilha desabitada de 487 metros, estabelecida como um posto de comércio de escravos em 1670. O forte caiu em desuso em 1808 e, em 1840, a ilha foi abandonada. Em 1948, a Ilha Bunce foi declarada um Monumento Nacional.
Zamani Project - Univerty of Cape Town
No ano passado, a equipe do Projeto Zamani documentou quase todo o local em apenas um dia e meio, tirando cerca de 4.500 fotos com uma câmera Nikon D7200 DSLR e realizando mais de 70 digitalizações a laser coloridas com um scanner Z+F 5010X, que foram então transformadas numa variedade de materiais, de modelos 3D e panoramas a imagens estáticas, animações e muito mais, com a ajuda do RealityCapture e do Twinmotion.
Mapungubwe, África do Sul
Outro local em que o Projeto Zamani trabalhou foi Mapungubwe. Situado na fronteira norte da África do Sul, vizinho do Zimbábue e de Botsuana, e no encontro dos rios Limpopo e Shashe, Mapungubwe foi considerado o maior reino do subcontinente antes de ser abandonado no século XIV.Preservado em grande parte de forma intocada, Mapungubwe abrange antigos palácios e áreas de assentamento de séculos passados. Ele também possui duas áreas reconhecidas como antigas capitais, também preservadas num estado quase intocado. Essa descoberta rara possibilita compreender o desenvolvimento de uma sociedade ao longo de 400 anos.
A captura de Mapungubwe foi parte de um projeto maior para documentar locais históricos na África do Sul, conduzido pela Agência de Recursos Históricos da África do Sul (SAHRA). O objetivo final era criar uma animação para ser exibida no estande da África do Sul na Expo 2020 Dubai.
A equipe do Projeto Zamani, acompanhada o tempo todo por um guarda-florestal armado para garantir a segurança contra leões, elefantes e outros animais selvagens do parque, utilizou uma câmera Nikon D7200 DSLR e drones Phantom 3 Pro e 4 Pro para fotografar a área de Mapungubwe, registrando cerca de 10.000 fotos no total. Essas imagens foram então carregadas no RealityCapture, combinadas num único sistema de coordenadas para criar modelos 3D texturizados e, por fim, importadas para o Twinmotion para os acabamentos finais. Esse processo incluiu decorar o ambiente com árvores baobá duplicadas a partir de uma única digitalização, criar água simulada para uma cisterna e adicionar panoramas de fundo deslumbrantes obtidas pelas filmagens com drones.
A equipe do Projeto Zamani, acompanhada o tempo todo por um guarda-florestal armado para garantir a segurança contra leões, elefantes e outros animais selvagens do parque, utilizou uma câmera Nikon D7200 DSLR e drones Phantom 3 Pro e 4 Pro para fotografar a área de Mapungubwe, registrando cerca de 10.000 fotos no total. Essas imagens foram então carregadas no RealityCapture, combinadas num único sistema de coordenadas para criar modelos 3D texturizados e, por fim, importadas para o Twinmotion para os acabamentos finais. Esse processo incluiu decorar o ambiente com árvores baobá duplicadas a partir de uma única digitalização, criar água simulada para uma cisterna e adicionar panoramas de fundo deslumbrantes obtidas pelas filmagens com drones.
Próxima parada… Petra!
A equipe do Projeto Zamani incorporou de forma definitiva o RealityCapture e o Twinmotion ao seu fluxo de trabalho, e já os considera elementos essenciais para seus projetos futuros, junto com a Unreal Engine, que será utilizada em seu mais recente empreendimento. Realizada em Petra, Jordânia, esse projeto mais recente se tornou possível graças a uma Epic MegaGrant.A vasta escala da paisagem de Petra fez com que documentá-la levasse mais de uma década, com a equipe realizando os primeiros levantamentos entre 2011 e 2014. Com o apoio do MegaGrant e o uso das mais recentes tecnologias de captura, eles retornaram a Petra em março de 2022 e trouxe para casa terabytes de dados, incluindo cerca de 100.000 fotos.
Todos esses dados estão agora sendo processados no RealityCapture, antes de dar vida a uma experiência 3D na Unreal Engine 5, onde a equipe utilizará o sistema de geometria virtualizada Nanite da engine para lidar com as enormes malhas em tempo real. Mal podemos esperar para ver os resultados!