写真から3Dオブジェクトを作り，カメラアングルを変えつつ撮影できる。話題のNeRF技術と活用が語られたセッションをレポート［CEDEC 2024］

　開発者向けカンファレンス「CEDEC2024」の初日となる2024年8月21日，「先端AI技術を用いた高速＆高精度な3Dコンテンツクリエーション　〜映像制作・バーチャルプロダクションへの展開〜」と題した講演が行われた。写真から3Dオブジェクトを生成する「NeRF」の特徴，LEDスクリーンと実際の俳優を組み合わせるバーチャルプロダクションにおける活用などが語られた。

●登壇者
・小林優斗氏（ソニー　技術開発研究所　コンテンツ技術開発部門　知的映像技術開発部）
・遠藤和真氏（ソニーPCL　ビジュアルソリューション部門 コンテンツクリエイション部 コンテンツプロデュース課　統括マネジャー）

左から，小林優斗氏，遠藤和真氏

写真から3Dオブジェクトを作り，カメラアングルを変えつつ撮影もできる

　本講演のテーマとなるNeRFとは，Neural Radiance Fields（ニューラル放射輝度場）の略。2020年にカリフォルニア大学とGoogle Researchの技術者が発表した技術で，複数の視点から撮影した2D画像から3D空間を再現し，自由な視点から見た画像を生成する。ざっくり表現すれば，写真で撮った物体を3Dで再現し，自由に視点を変えられるといったところだろうか。
　同様の技術では「フォトグラメトリ」が知られているが，NeRFは空間を色と存在確率というボリュームの集合体と捉える。そのため，ほかの技術で再現が難しい植物の葉や茎といった細い物体，金属や窓ガラスの反射，半透明な物体の再現を得意とし，必要となる写真の枚数もフォトグラメトリよりも少なく済む。

　その一方，計算に要する時間がどうしても長くなり，新しめの技術ゆえに既存ツールの対応も進んでいない。また，修正や加工が難しく，ボケや浮遊物といった劣化が発生しやすいといった弱点も存在しているものの，日進月歩で研究が進んでいるのが現状であるという。
　ソニーは，映像コンテンツを作るソニーPCLと共に開発を進めており，誰でも高品質の素材が作れるシステムや，Unreal Engineと連携できるプラグイン，特定の物体を消したり，昼に撮影した3D空間を夜に変えたりする編集技術といった成果が得られているそうだ。

NeRF技術の概要

植物の葉や茎といった細い物体も問題なく再現できる

フォトグラメトリでは車の窓ガラスの反射を再現するのに失敗，表面がボコボコになってしまった（左）。一方，NeRFでは問題ない（右）

撮影した画像の高解像度化や，物体を消したりライティングを変えたりする編集技術が開発されている

　講演では，こうした技術で作られた3D空間を撮影時の背景として用いた実例も紹介された。この手法は「バーチャルプロダクション」と呼ばれている。
　大型LEDディスプレイに背景映像を映し出し，その前で演者が演技するというもので，従来のクロマキー合成よりも自然な映像を得られ，編集の手間が少なくなるといったメリットがあるという。一枚絵としての背景を用いる「Screen Process」と，カメラの向きに応じて3Dの背景が自動的に変化する「In-Camera VFX」の2種類の手法が存在するが，講演では後者について語られている。

バーチャルプロダクションには一枚絵としての背景を用いる「Screen Process」（上写真）と，カメラの向きに応じて3Dの背景が自動的に変化する「In-Camera VFX」（下写真）が存在する

　「リテイク」は有人月面着陸を成し遂げたものの，記録用カメラの録画ボタンを押し忘れた男を主人公とした物語だ。主人公が宇宙船から月へ向けて飛び出すシーンは，バーチャルプロダクションを用いてワンカットで表現されている。
　背景となる宇宙船や宇宙空間はUnreal Engineでリアルタイムレンダリングが行われた3DCGであり，まったく問題のないクオリティが得られたという。YouTubeではメイキング映像も公開されているので，バーチャルプロダクションの現場と完成した映像を確認可能だ。

「リテイク」のメイキング映像。宇宙船から月へ向けて飛び出すシーンにIn-Camera VFXが用いられている

　「帰り道」はNeRFをバーチャルプロダクションの現場で使う検証デモ。小学生2人が住宅街や商店街など，複数のロケーションからなる帰り道を辿っていき，その際の心情変化が描写される短編映像だ。
　国内の映像制作では一般的な納期を想定したうえで，フォトグラメトリで高クオリティの背景を作り込む代わりにNeRFを使えるかどうかの検証が行われている。

「帰り道」の企画背景。NeRFによって，In-Camera VFXに用いる背景を作れないかを検証した

「帰り道」ではLEDスクリーンの前に演者が立ち，NeRFで作った背景はカメラに連動して動く。CGとは思えない背景だ

　映像制作の現場においては，さまざまな制限が課せられる。フォトグラメトリに使うためのスキャンが許されないケースもあるし，現地でロケをするにも演者の拘束時間が限られ，できるだけ短時間で済ませなければならないなんてことも起こり得る。
　そうした中でもNeRFを使えば，制作を効率化できたという。

　「帰り道」の場合，現地でのNeRFデータ用撮影が2日，演者をバーチャルプロダクションに迎えた実際の収録は1日で済ませられた。
　また，背景を撮影するにしても1か所あたり10分ほどで済み，フォトグラメトリなら2000枚ほど必要なところが，NeRFは50〜100枚程度でOKだというから違いはかなり大きい。
　NeRFは撮影自体もフォトグラメトリより簡単なため，レギュレーションを定めておけば，撮影を終えてロケ地から撤収した後であっても地元のスタッフに頼んで追加のデータを撮ってもらうことも可能だという。

こちらは「帰り道」のメイキング。NeRF用のロケハンも短くて済んだようだ

　LEDスクリーンに静止画や動画を表示する手法でも映像を撮ることはできるものの，カメラワークを変えたり，複数のアングルで撮影したりすると難しいものがある。また，現実のロケーションを3DCG化するにしても工数がかかってしまう。
　しかし，NeRFはほかの手法と比べて手間が少なく，カメラの動きに応じて背景の3DCGのアングルも変化してくれるため，「帰り道」のようなドラマ的な映像にも向いているそうだ。

　今回はNeRF技術の概要と，映像制作の現場における事例についての講演だったが，ゲームなどの応用にも議論を進めていきたいと小林氏は語る。実物をスキャンして3DCG化する取り組みとしては，自分のガンプラでバトルを楽しめる「ガンプラスキャン」といった例もあり，ゲーム開発の現場にもNeRFのニーズが存在しているはずだ。

4Gamer「CEDEC 2024」記事一覧