Zamani Project：Twinmotion と RealityCapture で仮想的な遺跡を作成
遺産は過去とつながる窓であるだけでなく、現在についての理解を深めるためにも役立ち、未来のことを考えるよう促す役割も担っています。遺産についての意識を高めることで、文化的アイデンティティと他者に対する寛容さを育むことができます。しかし、世界中の遺跡の多くでは、記録を残すためのリソースが限られているか、そういったリソースがまったくありません。また、そうした遺跡は、自然災害、海面の上昇、破壊行為、文化的テロリズム、マス ツーリズムなど、さまざまな脅威にさらされています。
影響力を持つ歴史あふれる場所を失ってしまうと重大な事態を招くという認識のもと、2004 年に、ケープタウン大学の Heinz Rüther 教授は Zamani Project の概念をまとめました。非営利の取り組みとして行われるこのプロジェクトは、アフリカに重点を置いて遺跡をデジタルで再現し、高品質かつ正確な成果に世界中からアクセスできるようにします。また、遺産の保護の重要性について人々に伝えるうえで重要な役割を担います。
それから 17 年の間に、ユネスコやワールド・モニュメント財団など、遺産の保存に取り組む主要な組織と協力し、主任研究者の Rüther 教授が率いる Zamani Project のチームは、18 か国の 65 か所以上の遺跡をデジタル形式で記録してきました。現在は、デジタルの記録は美しく魅力的な 3D アニメーションとイマーシブなエクスペリエンスとして作成されており、そのために Twinmotion と RealityCapture が利用されています。
チーム メンバーのうち、最高科学責任者の Roshan Bhurtha 氏と Ralph Schroeder 氏はプロジェクトの初年度から参加しています。また、Bruce McDonald 氏は 5 年前から参加しています。
プロジェクトのチームは、Z+F のレーザー スキャナー、デジタル一眼レフ カメラ、ドローンを利用して、遺跡から大量の点群データと写真データを収集しています。それらのデータを RealityCapture で処理し、マージして単一の高解像度 3D モデルを作成します。
影響力を持つ歴史あふれる場所を失ってしまうと重大な事態を招くという認識のもと、2004 年に、ケープタウン大学の Heinz Rüther 教授は Zamani Project の概念をまとめました。非営利の取り組みとして行われるこのプロジェクトは、アフリカに重点を置いて遺跡をデジタルで再現し、高品質かつ正確な成果に世界中からアクセスできるようにします。また、遺産の保護の重要性について人々に伝えるうえで重要な役割を担います。
それから 17 年の間に、ユネスコやワールド・モニュメント財団など、遺産の保存に取り組む主要な組織と協力し、主任研究者の Rüther 教授が率いる Zamani Project のチームは、18 か国の 65 か所以上の遺跡をデジタル形式で記録してきました。現在は、デジタルの記録は美しく魅力的な 3D アニメーションとイマーシブなエクスペリエンスとして作成されており、そのために Twinmotion と RealityCapture が利用されています。
チーム メンバーのうち、最高科学責任者の Roshan Bhurtha 氏と Ralph Schroeder 氏はプロジェクトの初年度から参加しています。また、Bruce McDonald 氏は 5 年前から参加しています。
遺跡の RealityCapture による再現
遺跡をキャプチャしてデジタルで再現するために、チームでは強力なフォトグラメトリー ソフトウェアである RealityCapture を使用しています。このソフトウェアを使用すると、一連の画像またはレーザー スキャンから、極めてリアルな 3D モデルを作成できます。2021 年 3 月に製造元である Capturing Reality が Epic Games ファミリーの一員となったことを受け、RealityCapture は Twinmotion と同様に Unreal Engine のエコシステムの一部となっています。プロジェクトのチームは、Z+F のレーザー スキャナー、デジタル一眼レフ カメラ、ドローンを利用して、遺跡から大量の点群データと写真データを収集しています。それらのデータを RealityCapture で処理し、マージして単一の高解像度 3D モデルを作成します。
次に、モデルをシンプルにして、管理できるレベルまでトライアングルの数を減らします。そして、RealityCapture によって元データから法線マップとテクスチャを抽出し、メッシュに適用します。その結果、テクスチャを適用した高品質なモデルができあがり、Twinmotion にインポートできる状態となります。最適な結果を得るために、RealityCapture で Unreal Engine へのエクスポートのプリセットを使います。これによって、Twinmotion での利用に適したスケールの OBJ メッシュを作成します。
「RealityCapture によって作成される 3D モデルは非常に高品質です。Twinmotion にインポートすると、とてもよい見た目になっています」と McDonald 氏は述べています。
McDonald 氏は次のように述べています。「Twinmotion を使うと、現場を訪れることができない人のために、遺跡をリアルなものとして再現できます。ただ 3D モデルを表示するのではなく、できるだけ現実に即した環境でモデルを表示するアニメーションとエクスペリエンスの作成に努めています」
Twinmotion で 3D モデルからフォトリアルなイマーシブ エクスペリエンスを作成
Twinmotion はテクスチャが適用された高解像度のアセットを問題なくインポートできます。3D モデルを Twinmotion に取り込んだら、環境に仕上げを施すことができ、それによって Zamani Project がストーリーテリングの領域に踏み込むことが可能になります。McDonald 氏は次のように述べています。「Twinmotion を使うと、現場を訪れることができない人のために、遺跡をリアルなものとして再現できます。ただ 3D モデルを表示するのではなく、できるだけ現実に即した環境でモデルを表示するアニメーションとエクスペリエンスの作成に努めています」
Twinmotion は、フォトリアルなビジュアライゼーションのためのさまざまな機能を通じて、高いレベルのリアリズムの実現を可能にしています。たとえば、組み込まれている Quixel Megascans のライブラリにより、スキャンされた高品質なアセットとマテリアルを利用して、真に迫った背景の環境を作成できます。また、高さマップのデータをインポートして、文脈に応じた景観を作ることもできます。どちらも McDonald 氏の価値観を反映することにつながります。
また、遺跡の実際の地理的位置に基づいて、日の出と日の入りの時点での太陽の位置を正確に再現することも容易です。信憑性のある成果を作り出すには、このように、ディテールの部分にかける時間をできるだけ短くすることが不可欠です。
シーンをセットアップできれば、Twinmotion ではアニメーションを簡単に作成できると McDonald 氏は述べています。その要因として、デフォルトのライティングの質、ビデオ クリップの作成におけるカメラの制御のしやすさ、カメラが近付いたときにドアが自動的に開く機能などを挙げています。
また、遺跡の実際の地理的位置に基づいて、日の出と日の入りの時点での太陽の位置を正確に再現することも容易です。信憑性のある成果を作り出すには、このように、ディテールの部分にかける時間をできるだけ短くすることが不可欠です。
シーンをセットアップできれば、Twinmotion ではアニメーションを簡単に作成できると McDonald 氏は述べています。その要因として、デフォルトのライティングの質、ビデオ クリップの作成におけるカメラの制御のしやすさ、カメラが近付いたときにドアが自動的に開く機能などを挙げています。
また、Twinmotion では、チームが VR ヘッドセットを使って編集しながらシーン内に入り込むことができます。こうすれば、以前では手が届かなかったレベルのリアリティを得ることができます。
シーンが完成したら、同じプロジェクトからさまざまな形式でエクスポートできます。高解像度の静止画像、標準または 360 度のビデオ、パノラマ画像とそれにリンクしたパノラマ セット、インタラクティブな 3D プレゼンテーション全体をエクスポートできます。Twinmotion Cloud を使うと、シンプルな URL を通じてパノラマ セットとプレゼンテーションを世界中のどこにいる誰とでも共有できます。その URL にはスマートフォン、タブレット、コンピューター の Web ブラウザからアクセスできます。高スペックのハードウェアや、ダウンロードは不要です。ローカルにあるプレゼンテーションは VR で表示することもできます。
Twinmotion は、このように優れた機能を備えているにもかかわらず、使いやすく、短期間で習得できることで知られています。これは生産性の向上と早期の成果実現を意味します。McDonald 氏は次のように述べています。「Twinmotion では、美しい高品質のアニメーションをごく短時間で生成できます。これまでほかのソフトウェアでは、アニメーションの生成には長い時間がかかっていました」
バンス島は幅 500 メートルほどの無人島です。1670 年に奴隷貿易の拠点となりました。1808 年に要塞が使われなくなり、1840 年には島が放棄されました。1948 年に、バンス島は国の遺跡に指定されました。
シーンが完成したら、同じプロジェクトからさまざまな形式でエクスポートできます。高解像度の静止画像、標準または 360 度のビデオ、パノラマ画像とそれにリンクしたパノラマ セット、インタラクティブな 3D プレゼンテーション全体をエクスポートできます。Twinmotion Cloud を使うと、シンプルな URL を通じてパノラマ セットとプレゼンテーションを世界中のどこにいる誰とでも共有できます。その URL にはスマートフォン、タブレット、コンピューター の Web ブラウザからアクセスできます。高スペックのハードウェアや、ダウンロードは不要です。ローカルにあるプレゼンテーションは VR で表示することもできます。
Twinmotion は、このように優れた機能を備えているにもかかわらず、使いやすく、短期間で習得できることで知られています。これは生産性の向上と早期の成果実現を意味します。McDonald 氏は次のように述べています。「Twinmotion では、美しい高品質のアニメーションをごく短時間で生成できます。これまでほかのソフトウェアでは、アニメーションの生成には長い時間がかかっていました」
シエラレオネのバンス島の要塞
2021 年に、Zamani Project はシエラレオネを訪れました。ワールド・モニュメント財団のプロジェクトで、フリータウンにあるフォーラー・ベイ・カレッジの旧校舎を記録することが目的でした。その後チームは、バンス島での奴隷貿易の拠点となった要塞をキャプチャして再現するために、シエラレオネ川の上流に向かいました。バンス島は幅 500 メートルほどの無人島です。1670 年に奴隷貿易の拠点となりました。1808 年に要塞が使われなくなり、1840 年には島が放棄されました。1948 年に、バンス島は国の遺跡に指定されました。
昨年、Zamani Project のチームは、1 日半かけて遺跡のほぼ全体を記録しました。デジタル一眼レフ カメラ Nikon D7200 で 4,500 枚ほどの写真を撮り、Z+F 5010X スキャナーで 70 回以上のカラー レーザー スキャンを行いました。それから RealityCapture と Twinmotion を利用して、3D モデル、パノラマ画像、静止画像、アニメーションなどの大量のマテリアルに変換しました。
南アフリカのマプングブエ
Zamani Project はマプングブエの遺跡でも作業を行いました。南アフリカの北国境付近、ジンバブエとボツワナの近くに位置し、リンポポ川とシャシ川の合流点にあたるマプングブエは、14 世紀に放棄されるまで、南アフリカ亜大陸で最大の王国の首都であったと考えられています。ほぼ手付かずのままとなっているマプングブエには、何世紀も前の宮殿や集落の地域が残されています。また、より古い首都と見られる地域も 2 つ、同様に手付かずのまま残されています。この貴重な発見から、400 年以上かけて発展した社会について窺い知ることができます。
マプングブエの記録は、South African Heritage Resource Agency (SAHRA) による、南アフリカの遺跡を記録する大規模なプロジェクトの一環として行われました。最終的な目標は、2020 年ドバイ国際博覧会の南アフリカ館で展示するアニメーションを作成することでした。
現在は国立公園となっているマプングブエには、ライオンやゾウなどの野生動物が棲息しています。そうした動物から身を守るために、Zamani Project のチームには、武装したパーク レンジャーが常に付き添いました。チームはデジタル一眼レフ カメラ Nikon D7200 とドローンの Phantom 3 Professional および Phantom 4 Pro を使って、マプングブエで合計 10,000 枚ほどの写真を撮影しました。それらの写真を RealityCapture にアップロードし、1 つの座標系に統合して、テクスチャを適用した 3D モデルを作成しました。それからようやく Twinmotion に取り込み、ディテールの仕上げを行いました。このプロセスでは、まず、1 回スキャンしたものを複製したバオバブの木を環境に加えました。また、貯水池のために水のシミュレーションを作成しました。そして、ドローンの映像を元にしたパノラマの美しい背景を追加しました。
現在は国立公園となっているマプングブエには、ライオンやゾウなどの野生動物が棲息しています。そうした動物から身を守るために、Zamani Project のチームには、武装したパーク レンジャーが常に付き添いました。チームはデジタル一眼レフ カメラ Nikon D7200 とドローンの Phantom 3 Professional および Phantom 4 Pro を使って、マプングブエで合計 10,000 枚ほどの写真を撮影しました。それらの写真を RealityCapture にアップロードし、1 つの座標系に統合して、テクスチャを適用した 3D モデルを作成しました。それからようやく Twinmotion に取り込み、ディテールの仕上げを行いました。このプロセスでは、まず、1 回スキャンしたものを複製したバオバブの木を環境に加えました。また、貯水池のために水のシミュレーションを作成しました。そして、ドローンの映像を元にしたパノラマの美しい背景を追加しました。
次のプロジェクト：ペトラ
Zamani Project のチームは、ワークフローに RealityCapture と Twinmotion をしっかりと組み込み、この 2 つのツールは Unreal Engine とともに将来のプロジェクトに不可欠な要素になると考えています。Unreal Engine は最新のプロジェクトで導入する予定です。ヨルダンのペトラが舞台となる最新のプロジェクトは、Epic MegaGrants によって可能になっています。ペトラのランドスケープは規模が非常に大きく、すでに 10 年以上かけて記録が行われています。チームで最初の調査を実施したのは 2011 年から 2014 年のことでした。MegaGrants の資金と最新のキャプチャ テクノロジーを手に 2022 年 3 月にペトラを再度訪れたチームは、約 100,000 枚の写真を含む数テラバイトのデータを持ち帰りました。
そのデータすべてを現在 RealityCapture で処理中です。その後 Unreal Engine 5 で 3D エクスペリエンスを作成します。仮想化ジオメトリ システム Nanite を利用して大量のメッシュをリアルタイムで処理する予定です。どのようなものができあがるのか、ご期待ください。