Étude de cas
1 décembre 2022
Le Zamani Project : créer une version virtuelle du patrimoine bâti avec Twinmotion et RealityCapture
Le patrimoine nous ouvre une fenêtre sur le passé, nous permet de mieux comprendre le présent et nous encourage à préparer l'avenir. En prenant conscience de la valeur du patrimoine, nous pouvons participer au développement des identités culturelles et promouvoir la tolérance comme l'acceptation des autres. Cependant, un grand nombre de sites patrimoniaux dans le monde possèdent une documentation limitée, voire inexistante. Ils sont également confrontés à d'autres menaces, dont les catastrophes naturelles, l'élévation du niveau de la mer, les actes de vandalisme, le terrorisme culturel et le tourisme de masse.
Comprenant que la perte de ces zones historiques et culturelles serait catastrophique, le professeur Heinz Rüther de l'université du Cap a créé le Zamani Project en 2004, une initiative à but non lucratif qui permet d'accéder à des sites patrimoniaux africains depuis le monde entier, à travers des répliques numériques précises et de haute qualité. Cette initiative joue également un rôle important dans la sensibilisation du public sur l'importance de la conservation du patrimoine.
Au cours des 17 dernières années, l'équipe du Zamani Project (dirigée par le professeur Rüther en tant que chercheur principal) a documenté plus de 65 sites dans 18 pays de manière numérique, en collaboration avec de grandes organisations patrimoniales telles que l'UNESCO et le World Monument Fund. Aujourd'hui, cette documentation numérique prend la forme de superbes et stimulantes animations en 3D et expériences immersives, avec l'aide de Twinmotion et de RealityCapture.
L'équipe de Heinz Rüther est composée notamment des directeurs scientifiques Roshan Bhurtha et Ralph Schroeder, qui participent au projet depuis la première année, ainsi que de Bruce McDonald, qui les a rejoints il y a cinq ans.
À l’aide de scanners laser Z+F, de caméras DSLR et de drones, l'équipe récolte une énorme quantité de nuages de points et de données photographiques sur les sites, que RealityCapture peut ensuite traiter et fusionner en un seul modèle 3D à très haute résolution.
Comprenant que la perte de ces zones historiques et culturelles serait catastrophique, le professeur Heinz Rüther de l'université du Cap a créé le Zamani Project en 2004, une initiative à but non lucratif qui permet d'accéder à des sites patrimoniaux africains depuis le monde entier, à travers des répliques numériques précises et de haute qualité. Cette initiative joue également un rôle important dans la sensibilisation du public sur l'importance de la conservation du patrimoine.
Au cours des 17 dernières années, l'équipe du Zamani Project (dirigée par le professeur Rüther en tant que chercheur principal) a documenté plus de 65 sites dans 18 pays de manière numérique, en collaboration avec de grandes organisations patrimoniales telles que l'UNESCO et le World Monument Fund. Aujourd'hui, cette documentation numérique prend la forme de superbes et stimulantes animations en 3D et expériences immersives, avec l'aide de Twinmotion et de RealityCapture.
L'équipe de Heinz Rüther est composée notamment des directeurs scientifiques Roshan Bhurtha et Ralph Schroeder, qui participent au projet depuis la première année, ainsi que de Bruce McDonald, qui les a rejoints il y a cinq ans.
Recréer des sites patrimoniaux avec RealityCapture
Afin de capturer les sites patrimoniaux et de les reconstruire numériquement, l'équipe utilise RealityCapture, un puissant logiciel de photogrammétrie qui permet de créer des modèles 3D ultra-réalistes à partir d'ensembles d'images et/ou de numérisations laser. Ce produit fait désormais partie de l'écosystème de l'Unreal Engine aux côtés de Twinmotion, depuis que ses créateurs de Capturing Reality ont rejoint la famille Epic Games en mars 2021.À l’aide de scanners laser Z+F, de caméras DSLR et de drones, l'équipe récolte une énorme quantité de nuages de points et de données photographiques sur les sites, que RealityCapture peut ensuite traiter et fusionner en un seul modèle 3D à très haute résolution.
Zamani Project - Univerty of Cape Town
Le modèle est ensuite simplifié afin de réduire le nombre de triangles à un niveau raisonnable, avant que les textures de normales et autres textures ne soient extraites des données d'origine par RealityCapture et appliquées au maillage. Cela permet d'obtenir un modèle texturé de haute qualité, prêt à être importé dans Twinmotion. Le préréglage d'exportation de l'Unreal Engine est utilisé dans RealityCapture afin d'obtenir des résultats optimaux et de produire un maillage OBJ à une échelle adaptée à Twinmotion.
"La qualité des modèles 3D produits par RealityCapture est excellente", affirme Bruce McDonald. "Ils sont superbes une fois importés dans Twinmotion."
"Twinmotion nous permet de donner vie aux sites patrimoniaux pour celles et ceux qui ne peuvent pas les visiter", explique Bruce McDonald. "Nous souhaitons créer des animations et des expériences qui ne se contentent pas de montrer un modèle 3D, mais de l'afficher dans un environnement qui correspond le plus possible à la réalité.
"La qualité des modèles 3D produits par RealityCapture est excellente", affirme Bruce McDonald. "Ils sont superbes une fois importés dans Twinmotion."
Du modèle 3D à l'expérience immersive photoréaliste avec Twinmotion
Une fois que le modèle 3D est importé dans Twinmotion (le logiciel peut importer des ressources haute résolution accompagnées de leurs textures sans problème), l'équipe applique les finitions à l'environnement avant que l'équipe du Zamani Project s'empare de la narration."Twinmotion nous permet de donner vie aux sites patrimoniaux pour celles et ceux qui ne peuvent pas les visiter", explique Bruce McDonald. "Nous souhaitons créer des animations et des expériences qui ne se contentent pas de montrer un modèle 3D, mais de l'afficher dans un environnement qui correspond le plus possible à la réalité.
Zamani Project - Université du Cap
Twinmotion permet d'atteindre ce niveau de réalisme élevé grâce à ses fonctionnalités de visualisation photoréaliste. Par exemple, la bibliothèque incluse de Quixel Megascans offre des ressources et des matériaux numérisés de haute qualité, destinés à créer des arrière-plans réalistes. Il est également possible d'importer des textures de hauteur afin de créer des paysages contextuels. Ces deux fonctionnalités sont très prisées par Bruce McDonald.
De plus, il est facile de s'assurer que la position du soleil est correcte à son lever et à son coucher en fonction de l'emplacement géographique réel du site. Il est très important de peaufiner ces détails afin d'obtenir un résultat crédible.
D'après Bruce McDonald, il est facile de créer des animations une fois que la scène est mise en place, grâce à la qualité de l'éclairage par défaut, aux contrôles intuitifs de la caméra pour créer des séquences vidéo ou encore à la possibilité d'ouvrir des portes automatiquement lorsqu'une caméra s'en approche.
De plus, il est facile de s'assurer que la position du soleil est correcte à son lever et à son coucher en fonction de l'emplacement géographique réel du site. Il est très important de peaufiner ces détails afin d'obtenir un résultat crédible.
D'après Bruce McDonald, il est facile de créer des animations une fois que la scène est mise en place, grâce à la qualité de l'éclairage par défaut, aux contrôles intuitifs de la caméra pour créer des séquences vidéo ou encore à la possibilité d'ouvrir des portes automatiquement lorsqu'une caméra s'en approche.
Twinmotion permet également à l'équipe de se plonger dans la scène pour la modifier à l'aide d'un casque de réalité virtuelle (VR), ce qui offre un niveau de réalisme jusqu'alors hors de portée.
Une fois la scène terminée, l'équipe peut exporter des images fixes en haute résolution, des vidéos standards ou à 360°, des panoramas ou des panorama sets liés et même des présentations en 3D interactives, le tout à partir du même projet. Sur le Twinmotion Cloud, les panorama sets et les présentations sont partageables avec n'importe qui, n'importe où dans le monde via un simple lien. Les utilisateurs peuvent y accéder sur le navigateur internet d'un smartphone, d'une tablette ou d'un ordinateur, sans avoir besoin d'un matériel très performant ou de télécharger des fichiers. Les présentations locales peuvent également être visionnées en VR.
Ses fonctionnalités sont puissantes, mais Twinmotion est réputé pour sa facilité d'utilisation et sa faible courbe d'apprentissage, ce qui se traduit par une meilleure productivité et des résultats plus rapides. "Grâce à Twinmotion, nous sommes en mesure de générer de superbes animations de haute qualité en un rien de temps", indique Bruce McDonald. "Cela nous prenait beaucoup de temps avec d'autres logiciels."
L'île de Bunce est une île inhabitée de 503 × 106 mètres, établie comme plateforme de commerce d'esclaves en 1670. Le fort a été abandonné en 1808 et le reste de l'île en 1840. En 1948, l'île de Bunce a été classée comme monument national.
Une fois la scène terminée, l'équipe peut exporter des images fixes en haute résolution, des vidéos standards ou à 360°, des panoramas ou des panorama sets liés et même des présentations en 3D interactives, le tout à partir du même projet. Sur le Twinmotion Cloud, les panorama sets et les présentations sont partageables avec n'importe qui, n'importe où dans le monde via un simple lien. Les utilisateurs peuvent y accéder sur le navigateur internet d'un smartphone, d'une tablette ou d'un ordinateur, sans avoir besoin d'un matériel très performant ou de télécharger des fichiers. Les présentations locales peuvent également être visionnées en VR.
Ses fonctionnalités sont puissantes, mais Twinmotion est réputé pour sa facilité d'utilisation et sa faible courbe d'apprentissage, ce qui se traduit par une meilleure productivité et des résultats plus rapides. "Grâce à Twinmotion, nous sommes en mesure de générer de superbes animations de haute qualité en un rien de temps", indique Bruce McDonald. "Cela nous prenait beaucoup de temps avec d'autres logiciels."
Fort de l'île de Bunce, Sierra Leone
En 2021, le Zamani Project s'est rendu au Sierra Leone dans le cadre d'un projet du World Monument Fund visant à documenter l'ancienne université de Fourah Bay à Freetown. Ensuite, l'équipe a remonté la rivière du Sierra Leone afin de capturer et de recréer le fort des esclaves de l'île de Bunce.L'île de Bunce est une île inhabitée de 503 × 106 mètres, établie comme plateforme de commerce d'esclaves en 1670. Le fort a été abandonné en 1808 et le reste de l'île en 1840. En 1948, l'île de Bunce a été classée comme monument national.
Zamani Project - Univerty of Cape Town
L'année dernière, l'équipe de Zamani Project a documenté la quasi-totalité du site en un jour et demi. Elle a pris environ 4 500 photos à l'aide d'un appareil photographique reflex numérique Nikon D7200 et plus de 70 numérisations laser en couleur avec un scanner Z+F 5010X. Elle a ensuite transformé ces captures en un grand nombre de ressources (modèles 3D, panoramas, images fixes, animations, etc.) avec l'aide de RealityCapture et Twinmotion.
Mapungubwe, Afrique du Sud
Mapungubwe est un autre site sur lequel le Zamani Project a travaillé. Situé à la frontière nord de l'Afrique du Sud, près du Zimbabwe et du Botswana, et à la jonction des fleuves Limpopo et Shashe, Mapungubwe était considéré comme le plus grand royaume du sous-continent avant d'être abandonné au cours du XIVe siècle.Restant majoritairement intact, Mapungubwe présente des habitations et des palais vieux de plusieurs siècles. Le royaume abrite également deux zones considérées comme d'anciennes capitales, qui sont elles aussi intactes. Cette trouvaille offre un aperçu d'une société qui s'est développée durant plus de quatre siècles.
La capture de Mapungubwe s'inscrivait dans le cadre d'un plus grand projet dirigé par la South African Heritage Resource Agency (SAHRA) et visant à documenter les sites patrimoniaux de l'Afrique du Sud. L'objectif était de créer une animation destinée à être présentée sur le stand de l'Afrique du Sud à l'Expo 2020 de Dubaï.
L'équipe du Zamani Project (accompagnée en permanence par un garde forestier armé afin d'assurer leur sécurité contre les lions, les éléphants et les autres animaux sauvages du parc) a utilisé un appareil photographique reflex numérique Nikon D7200 et des drones Phantom 3 Pro et 4 Pro afin de photographier la zone de Mapungubwe. Elle a capturé environ 10 000 photos au total. Ensuite, ces clichés ont été chargés dans RealityCapture et fusionnés dans un système de coordonnées afin de créer des modèles 3D texturés. Puis, ces modèles ont été exportés dans Twinmotion l'application des touches finales. Lors de ce processus, l'environnement a été habillé à l'aide de baobabs dupliqués à partir d'une seule numérisation, de l'eau a été simulée pour une citerne et de superbes arrière-plans panoramiques ont été ajoutés à partir des images des drones.
L'équipe du Zamani Project (accompagnée en permanence par un garde forestier armé afin d'assurer leur sécurité contre les lions, les éléphants et les autres animaux sauvages du parc) a utilisé un appareil photographique reflex numérique Nikon D7200 et des drones Phantom 3 Pro et 4 Pro afin de photographier la zone de Mapungubwe. Elle a capturé environ 10 000 photos au total. Ensuite, ces clichés ont été chargés dans RealityCapture et fusionnés dans un système de coordonnées afin de créer des modèles 3D texturés. Puis, ces modèles ont été exportés dans Twinmotion l'application des touches finales. Lors de ce processus, l'environnement a été habillé à l'aide de baobabs dupliqués à partir d'une seule numérisation, de l'eau a été simulée pour une citerne et de superbes arrière-plans panoramiques ont été ajoutés à partir des images des drones.
Prochain arrêt… Petra !
L'équipe de Zamani Project a totalement intégré RealityCapture et Twinmotion dans son flux de travail. Elle les considère comme des éléments clés de ses prochains projets, tout comme l'Unreal Engine qui sera utilisé pour sa prochaine préservation. Se déroulant à Petra, en Jordanie, ce projet a été rendu possible grâce à une subvention Epic Megagrant.Comme le paysage de Petra est immense, sa documentation a commencé depuis plus de dix ans. Les premiers relevés de l'équipe ont eu lieu entre 2011 et 2014. Armée de sa subvention Epic Megagrant et des dernières technologies de capture, l'équipe s'est à nouveau rendue à Petra en mars 2022. Elle a capturé des téraoctets de données, dont environ 100 000 photos.
Toutes ces données sont actuellement traitées dans RealityCapture avant qu'une expérience 3D ne soit créée avec l'Unreal Engine 5. L'équipe utilisera le système de géométrie virtualisée Nanite du moteur afin de gérer les énormes maillages en temps réel. Nous avons hâte de voir le résultat !