Zamani项目:使用Twinmotion和RealityCapture创建虚拟遗产地

遗产提供了一扇通往过去的窗口,它不仅能够帮助我们洞悉当下,也鼓舞着我们规划未来。通过提高公众对遗产的认知度,将有助于形成文化认同,促成大度、包容的氛围。然而,世界各处的遗产地往往只有有限的记录资源,甚至根本没有。这些遗址还面临着其他威胁:自然灾害、海平面上升、故意破坏、文化恐怖主义和大众旅游。

失去这些意义重大、历史底蕴丰厚的场所将是一场灾难,开普敦大学的Heinz Rüther教授在意识到这一点之后,于2004年构思了Zamani项目,这项非营利性倡议重点关注非洲区域,旨在通过优质、精确的数字孪生向全世界展示这片土地上的遗产地。在教育公众了解遗产保护的重要性方面,这项倡议也发挥了关键作用。

过去17年,通过与联合国教科文组织世界遗产基金会等重要的遗产组织展开合作,在首席调查员Rüther的领导下,Zamani项目团队对18个国家和地区的65处遗址做了数字化记录。如今,在Twinmotion和RealityCapture的帮助下,这些数字记录正以美丽而迷人的形式出现在3D动画和沉浸式体验中。

Rüther的团队包括第一年就参与了该项目的首席科学官Roshan Bhurtha和Ralph Schroeder,以及五年前加入的Bruce McDonald。
 

使用RealityCapture重现遗产地

为了捕捉遗产地,并以数字化方式重建它们,该团队使用了强大的摄影测量软件RealityCapture,它允许人们通过一组图像和/或激光扫描数据创建超级逼真的3D模型。2021年3月,其制造商Capturing Reality加入了Epic Games大家庭,此后,该产品和Twinmotion一样,都成为了虚幻引擎生态系统中的一部分。

团队使用Z+F激光扫描仪,再配合单反相机和无人机,从现场收集了大量点云数据和摄影数据。RealityCapture能够处理这些数据,将它们合并成分辨率极高的单个3D模型。
接下来,模型会被简化,使三角形的数量降低到可控水平。然后RealityCapture就可以从原始数据中提取法线贴图和纹理,并将它们应用到网格体上。最终,它将生成一个具有纹理的高质量模型,可直接导入到Twinmotion中。通过在RealityCapture中使用适用于虚幻引擎的导出预设,用户可以获得最佳结果,并以正确比例生成OBJ格式的网格体,供Twinmotion使用。
“RealtyCapture制作的3D模型质量极高,”McDonald说,“将它们导入Twinmotion后,效果惊人。”
 

通过Twinmotion将3D模型转化成逼真的沉浸式体验

Twinmotion能够完美地导入具有完整纹理的高分辨率资产,一旦将3D模型导入其中,团队就可以润色环境,让Zamani项目开始讲述故事。

“Twinmotion使我们能够将遗产地逼真地呈现给无法亲身到访的人们。”McDonald说,“我们在努力创造动画和体验,我们要做的不仅仅是展示一个3D模型,更是要在一个尽可能贴近现实的环境中展示这个模型。”
 
Twinmotion具备许多逼真的可视化功能,有助于实现这种更高层次的真实感。例如,它附带的Quixel Megascans库提供了高质量的扫描资产和材质,你可用它们构建逼真的背景环境;你还可以导入高度图数据,创建背景地形。McDonald对这两项功能称赏不已。

不仅如此,它还可以根据遗产地的真实地理位置,轻松地给出正确的日出和日落位置。花点时间巧妙处理这些小细节,这将决定最终结果的可信程度。

McDonald说,有了这些场景设置,在Twinmotion中创建动画就很容易了。他还提到,默认的光照质量非常出色,通过控制摄像机创建视频剪辑也很容易,而且当摄像机靠近时,还能让门自动打开。
 
在编辑场景的同时,Twinmotion还允许团队通过虚拟现实(VR)头盔沉浸在场景中,这提供了前所未有的真实感。

场景制作完毕后,团队可以从同一个项目中导出高分辨率静态图像、标准视频或360°视频、全景图和关联在一起的全景图集,甚至是完整的交互式3D演示。使用Twinmotion云服务,用户可以通过简单的URL将全景图集和演示共享给世界上任何地方的人,对方可通过智能手机、平板电脑或计算机上的网络浏览器直接访问它们,无需准备高规格硬件或下载任何文件。用户也可以在VR中观看本地演示。

Twinmotion虽然功能强大,但也以易用性和平稳的学习曲线而闻名,这将转化为更高的生产力和更快的结果。“我们能够在Twinmotion中快速生成漂亮的高质量动画,”McDonald说,“之前,在其他软件中,这需要花很长时间。”
 

塞拉利昂的邦斯岛堡垒

2021年,Zamani项目团队访问了塞拉利昂,为世界遗产基金会的一个项目记录弗里敦的老弗拉湾学院。之后,团队沿塞拉利昂河而上,捕捉并重现了邦斯岛上的奴隶堡垒

邦斯岛是一座跨度为1600英尺的无人岛,1670年成了一处奴隶贸易站。1808年,该堡垒进入废弃状态,这座岛最终也在1840年被遗弃。1948年,其所在国宣布,将邦斯岛设为国家纪念区。 
去年,Zamani项目团队在一天半时间内,就近乎完整地记录了整块遗产地。他们使用尼康D7200单反相机拍摄了大约4500张照片,并使用Z+F 5010X扫描仪扫描了70多份彩色激光扫描数据,然后在RealityCapture和Twinmotion的帮助下,将这些数据转化成了大量素材——从3D模型和全景图,到静态图像和动画等等,一应俱全。
 

南非马蓬古布韦

Zamani项目团队记录的另一处遗产地位于马蓬古布韦。马蓬古布韦位于南非北部边境,毗邻津巴布韦和博茨瓦纳,林波波河和沙谢河在此处交汇。它被认为曾是非洲次大陆上最大的王国,在14世纪被废弃。

马蓬古布韦遗产地几乎未受到破坏,这片区域包含几个世纪前的宫殿遗址和完整的居住区。这里还有两片被认为是早期首都的地区,它们在很大程度上仍保留着原貌。这一罕见的发现使人们有机会深入了解一个发展了400多年的社会。

捕捉马蓬古布韦这项任务只是一个大型项目中的一部分,该项目由南非遗产资源局(SAHRA)主导,专门记录位于的南非的遗产地。项目的最终目的是制作一段动画,在2020年迪拜世博会的南非展位上播放。

Zamani项目团队在一名武装护林员的全程陪护下(防止狮子、大象和公园里的其他野生动物危害他们的人身安全),使用尼康D7200单反相机、Phantom 3 Pro和Phantom 4 Pro无人机拍摄了马蓬古布韦地区,照片数量总计约为1万张。随后,他们在RealityCapture中导入了这些照片,并将它们合并到了一个坐标系中,用于创建具有纹理的3D模型,而这些模型最后会被导入Twinmotion中,以便优化细节。在这个过程中,他们使用取自某次扫描的猴面包树装扮了环境,为蓄水池创建了模拟水体,并添加了无人机镜头所提供的壮观全景背景。
 

下一站,佩特拉!

Zamani项目团队已经将RealityCapture和Twinmotion牢固地整合到了工作流程中,并将它们视作未来项目中的关键因素,此外,他们还打算在最新的项目中引入虚幻引擎。在Epic MegaGrant的帮助下,这个以约旦佩特拉古城为目标的项目才得以实现。

佩特拉地形辽阔,因此,对它的记录工作在十多年前就展开了——团队在2011年至2014年之间曾进行过初步调查。2022年3月,他们带着MegaGrant的资金和最新的捕捉技术再次访问了佩特拉,而他们带回来的则是TB级的数据,其中包括大约10万张照片。

目前,团队正在使用RealityCapture处理所有这些数据,之后,他们打算在虚幻引擎5中创建3D体验,引擎的Nanite虚拟化几何体系统将帮助他们实时处理巨大的网格体。我们迫不及待地想看到结果!