「Ready Player One」のアセットを使ったVR脱出ゲームに注目。NVIDIAが力を入れる先進的なVR技術の数々を体験してみた

VR Villageの展示エリア。ここもNVIDIAの展示スペースが一番大きかった

　2018年3月に行われたNVIDIA主催の開発者向けイベント「GPU Technology Conference 2018」（以下，GTC 2018）では，企業のブースが並ぶ展示会場の一画にかなり広いスペースを取って，VR専門の展示コーナー「VR Village」が行われていた。VR Villageでは，ゲーマーが体験する機会は滅多にない先進的なVR技術やコンテンツ，VR HMDのデモが行われており，いずれも実に興味深いものだ。そこで本稿では，4Gamer読者の関心を呼び起こしそうなVRネタをピックアップしてレポートしたい。

Ready Player Oneの世界にダイブできるVRコンテンツが人気

　近年のNVIDIAは，エンターテインメント用途だけでなく，企業がビジネスの中で使う業務用VRに関する技術開発にも力を入れている。その一例が，GTC 2017で発表となった多人数同時参加型VR会議システム「Holodeck」（旧称 Project Holodeck）だ。

　Holodeckについては，筆者によるGTC 2017基調講演レポートで詳しく説明しているが，簡単に説明すると，離れた場所にいる人々が仮想空間上に集まってミーティングをしたり，同じく仮想空間上にCGで表現した製品や試作品を評価したりできるシステムである。
　仮想空間での会議なので，たとえば実物大の乗り物や建築物をCGで再現することも可能だ。遠隔地にいる商品企画担当者とデザイナー，工場側のスタッフがHolodeckを使えば，全員が実物大のVR映像を見ながら，どこをどう修正すべきかとディスカッションできるのである。

2018年1月のCES 2018に合わせて，NVIDIAが行ったイベントにおけるHolodeckのデモ。これは仮想空間の映像で，2人の人物がロボットのようなアバター姿で表示されており，実物大で中央に置かれた自動車のデザインを検討するという内容だった

　VR Villageで面白かったのは，本来はビジネス用途向けのHolodeckを使って，NVIDIA自体が作ったVRゲームを展示していたところだ。会期中，連日大人気だったVRゲーム「Aech's basement」（エイチの地下室）は，日本でも2018年4月20日に公開予定の映画「Ready Player One」の世界観をゲーム化した作品である。
　ゲームは，映画の登場人物であるエイチの秘密基地に迷い込んでしまった来場者の3人が脱出を目指すという，いわゆる「脱出ゲーム」だった。地下室内で拾ったアイテムやヒントを駆使して，10分以内に部屋から脱出できればクリアとなる。使用するVR HMDは，国内でも販売の始まったばかりのHTC製「Vive Pro」だ。

Aech's basementのイメージ画像

Aech's basementを体験中の筆者。装着しているVR HMDはVive Proだ。だが，ホストPCとは有線でつながっていたため，やや動きにくかった

　映像はかなり美しく，地下室から見える2045年の未来の景色や，室内の数々の調度品の緻密な作り込みは，「まるで映画のセットそのもの」という印象を受けた。それもそのはず，Aech's basementで使用しているアセットは，実際の映画で利用されたCGアセットを，リアルタイムのVR向けにコンバートしたものであるとのこと。最近では，映画制作で使うCGアセットを流用して，ゲームやVRコンテンツを制作することが盛んに行われつつある。Aech's basementのそうしたVRゲームの1つというわけだ。

体験後は記念撮影コーナーで記念写真を撮ってもらえる。設定としては，映画で描かれるアバター変身をモチーフにしたそうだが，筆者が持っている小道具は，CGではなく実物だ

　ちなみにHolodeckは，Epic Gamesのゲームエンジン「Unreal Engine 4」（以下，UE4）をベースとしているが，こうした映画制作用CGアセットを流用するパイプラインの構築は，UE4の得意とするところである。ゲームメカニクスの構築は，NVIDIAのスタッフが制作したとのことで，「HolodeckはUE4ベースなので，こうしたゲーム展開の構築はUE4の機能で制作できる。（UE4を）使い慣れていれば難しいことはない」という話だった。

　今回の展示を見た限り，Holodeckは業務用VRだけでなく，動き回れる多人数同時参加型VRエンターテイメントの開発プラットフォームとしても有用なのではないかという気がする。ただ，Aech's basementは一般公開の予定はないとのこと。NVIDIAが出展するイベントでなら，再び公開する可能性はあるそうなので，見かけた人はぜひ体験してほしい。

8K×8Kの360度3D立体視映像をVR HMD向けに表示するデモを体験

360度立体視映像の体験コーナー

　「実写系VR」と呼ばれることもある360度の3D立体視映像は，スポーツやイベントの配信の現場で導入事例が増えている。NHKが，平昌冬期オリンピックの360度映像をネット配信していたのも，そうした事例の1つと言えよう（関連リンク）。NVIDIAも，プロフェッショナル向けの360度映像技術には熱心に取り組んでおり，VR Villageの展示コーナーでも，そうしたデモを精力的に行っていた。
　今回体験できた360度立体視映像のデモは2つ。
　1つは，業務用や放送業界用の360度カメラのメーカーであるZ CAMが開発した「Z CAM S1 Pro」で撮影した360度3D立体視映像を，VR HMDのViveで鑑賞するというものだ。ここまで読むだけだと，今さら珍しい体験ではなさそうに思えるが，実はいくつか新しい技術を盛り込んだコンテンツなのだ。

写真右下に見えるように，デモの体験には既存のViveを使用していた

Z CAM S1 Pro。上側にある2つのレンズがカメラで，見えない位置にも2つのレンズがある

　コンテンツについて説明する前に，撮影で使ったカメラの説明しておく必要がある。Z CAM S1 Proとは，撮影解像度2816×2816ピクセルのカメラを4基，4方向に向けて備えた360度カメラだ。
　Z CAM S1 Proは，本体だけで6K×2.8Kピクセルの円筒形をした360度映像を出力できるのだが，最近のファームウェアアップデートにより，4基のカメラがそれぞれ撮影した90度の視差を持つ映像から，中間的な視差を持つデータを出力することもできるようになった。このデータをZ CAMのPC向けアプリケーション「WonderStitch」（関連リンク）を使用して重ね合わせつつ色調調整や変形を行って縫い合わせる（スティッチ，つなぎ合わせる）ことで，2眼分の8K×8K解像度の極座標映像に変換できるのだ。
　なお，ここで言う極座標映像というのは，360度映像を球体の表面にテクスチャマッピングしたような映像形式のこと。2眼分の映像を生成するのは，3D立体視に対応させるためだ。

　話を戻すと，WonderStitchで縫い合わせ処理や極座標変換を行う処理系には，NVIDIAが開発した360度ビデオ作成用ライブラリの「VRWorks 360 Video」を採用しているというのが，Z CAM S1 Proを用いたデモのアピールポイントである。NVIDIA製GPUを搭載するPCで実行すれば，GPUによるアクセラレーションが効くので高速に処理できますよ，というわけである。

　GPUによるアクセラレーションは，表示のときにも使われている。Viveに向けて8K解像度の極座標映像を表示するためには，映像の中からユーザーが見ている方向の画角110度分を切り出したうえで，Viveの片目あたり解像度である1080×1200ピクセルにリサイズして表示する必要がある。VRWorks 360 Videoは，この切り出しからリサイズまでの処理を，NVIDIA製GPUを使って行えるという。それにより，極めて低遅延かつリアルタイム性に優れた再生ができるというわけだ。


　基本的には，Viveを被ってデモ映像を見るだけのデモだったが，実はそれだけでなく，興味深い実験も体験できるようになっていた。
　デモで使った再生映像は2種類が用意してあった。1つはここまで述べてきた8K×8K（7680×7680ピクセル）の極座標映像で，2つめは同一シーンを4K×4K（3840×3840ピクセル）に縮小した極座標映像だ。

4K×4K映像のVRデモを表示しているセカンドスクリーンの映像

　Viveは，片目あたりの水平画角が約110度，解像度が1080×1200ピクセルなので，360度全周映像の解像度は，およそ約3.5K×1.2Kの解像度があれば，Viveのパネル解像度にマッチする。実際，デモで体験した4K×4Kの極座標映像は，Viveのパネル解像度よりもやや高いので，それなりに高品位な映像であった。
　だが，8K×8Kの元映像から切り取って縮小した映像は，4K×4Kの映像よりも綺麗に見える。ディテール感が向上するだけでなく，首を振ったときに映像を構成するピクセルのうねり（ピクセルシマー）が明らかに少なくて自然に感じられたのだ。

　8K×8Kの極座標映像を水平画角110度で切り出すとざっくり2.4K×2.4Kくらいになるので，これをViveの解像度に合うように「スーパーサンプリング」して生成した映像のほうが，空間方向だけでなく時間方向にも情報量が増える。言い方を変えると，テンポラルアンチエイリアシング的な効果が現れているためだろう。
　つまり，このデモは，「今後は，さまざまな解像度のVR HMDが混在する時代になるので，配信元はできるだけ解像度の高い映像ソースを持っておいて，表示するデバイスに合わせて加工したうえで出力したほうが，よりよい映像体験が提供できる」という啓蒙でもあるわけだ。

　2つめのデモは，Z CAMの360度カメラ「Z CAM V1 Pro」（関連リンク）を使ったものだ。Z CAM V1 Proを使用して，会場の360度映像を撮影し，それを8K×8Kで二眼分の極座標映像に再構築して，体験者のViveにリアルタイムでストリーミングするという内容だった。

Z CAM V1 Proの実機。円周上に並べた8基のカメラと天頂部にある1基のカメラで360度映像を撮影するZ CAMの最上位モデルだ。お値段は3万3880ドル（税別，約363万円）

こちらは別の日に展示されていた下位モデルの「Z CAM V1」。Z CAM V1 Proとの違いはカメラの数とレンズのスペックで，カメラの数自体は，Z CAM V1のほうが10基と多い。税別価格は8880ドル（約95万円）だ

　撮影映像の配信は，WonderStitchのリアルタイム版とも言える「WonderLive」（関連リンク）を使用していた。当然ながら，WonderLiveもVRWorks 360 Videoを利用しているそうだ。

Z CAM V1で撮影した360度映像を，円筒状に展開したパノラマ風映像

　筆者もリアルタイムストリーミングデモを体験してみたが，映像の画質は，先述したスタンドアロン版とほぼ同等という印象だ。Viveを被っている自分自身も映像に映っているので，自分の動きがどれくらいの遅延で映像に反映されるかを試してみたところ，あくまでも体感であるが，遅延は大体1秒前後といったところであった。処理の複雑さを考えると，なかなかの低遅延ぶりだと言える。

色んなポーズをとって，その様子がVR HMDに見えるまでの遅延を計測している筆者。意外に低遅延で感心した

デモを動かしていたPCは，MSI製のノートPCだったが，Volta世代のGPU「Quadro GV100」を搭載していた。デモにおけるGPUの3Dグラフィックスパイプライの負荷は30％程度だが，ビデオデコーダーの負荷は100％の上限に張り付いたまま

　ところで，ブースにいたNVIDIA担当者に，360度3D立体映像の処理で，GPUのどんな部分に負荷が集中するのかを聞いてみたところ「ビデオデコーダーだ」と即答された。高解像度のリアルタイム撮影映像を同時に何ストリームもデコードするので，ビデオデコーダーに負荷が集中するというのは理解できる話だ。

眼球のサッケード運動を利用して，VRユーザーの歩みをコントロールする「Saccadic Redirected walking」

　「Redirected walking」という技術，あるいは効果をご存じだろうか。
　Redirected walkingとは，「認知科学」や「心理物理学」におけるテーマの1つで，簡単に言えば「人間は，視覚をはじめとする五感で把握した情報の影響が大きいために，知覚的な移動量と物理的な移動量は一致しない」現象のことをいう。
　Redirected walking効果をVR用途で利用すると，たとえば，物理的には直線的に50mしか移動していないにもかかわらず，VRコンテンツ内で前後左右に数100mも歩き回ったかのように感じさせられる。「Free Roam」（自由に歩き回れる）タイプのVRコンテンツでは，この現象を効果的に取り込んで，VR体験の満足度を上げていく取り組みが行われているのだ。

現実では狭い部屋の中をぐるぐる回っているだけにもかかわらず，広大な空間を歩き回ったようなVR体験が得られる。この効果がRedirected walkingである

　東京ジョイポリスのフリーローム型VRアトラクション「ZERO LATENCY VR」や，東京大学大学院情報理工学系研究科の廣瀬･谷川･鳴海研研究室が公開した「Unlimited Corridor」は，Redirected walking効果を応用したVR体験の好例である。

　VR Villageでは，Redirected walking効果を用いた最新の研究成果をもとにしたデモを体験できた。それは，NVIDIAとニューヨーク州立大学ストーニーブルック校，そしてAdobe Systemsの共同研究によって作られた「Saccadic Redirected walking」（サッケードリダリレクテッドウォーキング）というVR体験である。

Anjul Patney氏（Real-time Rendering research group，NVIDIA）

　筆者は事前に，この研究の筆頭研究者でもあるNVIDIAのAnjul Patney氏による技術解説セッション「Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection」（無限VR開発に向けた動的なサッケードリダイレクションの研究）も聴講していた。セッションの内容を踏まえてSaccadic Redirected walkingとは何かを説明すると，従来のRedirected walking効果を，眼球のサッケード運動中に介入させる応用技術といったところか。

　眼球のサッケード（※サッカードとも）運動と言われても，なんのことやらという人は多いだろうから，噛み砕いて説明しよう。
　人間の眼球は，自分では「目を動かしていない」と思っていても，小刻みに振動するように動いているという。それでも，実際には安定した視界で見えている。面白いのは，「サッケード運動があるにもかかわらず，人間はどうして安定した視界を得られるのか」が，正確に分かっていないことだ。人間の脳には，高性能な天然の手ぶれ補正機構が備わっているという仮説もある。


　そこでPatney氏の研究グループは，サッケード運動が起きている瞬間を狙ってRedirected walking効果を加えると，より大きい効果を得られるのではないかという仮説を立てたという。そして，仮説を立証した論文をGTC 2018に合わせて発表するとともに，仮説を実証するVRデモをVR Villageに出展したというわけだ。
　VR HMDを使っていると，ヘッドトラッキングが微妙にずれてきて，VRコンテンツをプレイし始めたときと，プレイし終わったときで，現実世界における体の位置がずれたことはないだろうか。Saccadic Redirected walkingとは，このような現実世界と仮想世界の方向がずれる体験を，サッケード運動中に意図的に感じさせるテクニック，と言い換えると分かりやすいだろうか。

眼球のサッケード運動中にRedirected walking効果を与えるのがSaccadic Redirected walkingの原理，というスライド

　もちろん，そのずれ具合は，VRコンテンツの歩行ルート設計に合わせて，計算して生じさせるものだ。
　たとえば，体験者の歩行ルートがある程度定まっているVRコンテンツでは，サッケード運動中にVR HMDの映像を微妙に操作することで，体験者が歩くルートを外部から操作できるという。これを利用すれば，体験スペースの実寸よりも広い仮想世界を歩き回っているかのように，体験者に感じさせられるそうだ。

Patney氏が講演で示したSaccadic Redirected walkingの例。中央と右にあるCG映像は体験者が見ている映像で，左上が体験者，左下がデモの図式化した平面図だ。平面図における黄色い枠が現実の体験スペースで，緑色の枠は仮想空間の広さを示す。オレンジ色の線は，体験者がVR空間の中を歩いたと思い込んでいるルートで，水色の折れ線が体験者が実際に歩いたルートだ。1回目の方向転換時に，体験者はサッケード運動中に映像を操作されて，現実世界では大きく方向転換をしているのが分かる

Saccadic Redirected walkingのVRデモを体験中の筆者。デモで使われていたVR HMDはViveだが，内部には，Appleが買収したSensoMotoric Instruments製の視線追跡デバイスを組み込んだカスタム品だった

　というわけで，筆者も研究チームが制作したVRコンテンツを体験してみた。デモの内容は，巨大なチェス盤上に立った参加者が，指示されるチェスの駒に向かって歩くというシンプルななものだ。デモを体験中，筆者は，広いチェス盤の四隅を歩たつもりだったが，体験したあとに自分の歩いたルートを確認すると，Saccadic Redirected walking効果によって歩くルートをねじ曲げられて，狭い範囲をぐるぐる回っていただけと知って驚かされた。

筆者が歩いたルートを投影した平面図。赤い線はVR空間内で歩いたと思っているルートで，チェス盤の四隅を歩いていたつもりだが，実際に歩いたのは緑色の線で，狭い範囲をぐるぐると回っただけなのが分かるだろう

　同じデモを，NVIDIAスタッフが体験する様子を動画で撮影したので，ぜひ見てほしい。動画の最後に，スタッフがVR空間内で歩いたように感じたルートが赤い線で，実際に歩いたルートを緑色の線で示した平面図が出てくるが，まったく一致しておらず，Saccadic Redirected walkingの効果が分かると思う。


　ブースにいたPatney氏に，どういうタイミングでサッケード運動が起きやすいのかを質問したところ，「注視しているときにもサッケード運動は起こるが，そのタイミングは比較的ランダムで，いつ起こるか確実には分からない。しかし，動体を目で追うように視線を動かすと，サッケード運動が起こりやすいことは分かっている。具体的には方向転換をするときや，特定の表示に視線を向けたときに，サッケード運動が起こる確率が高い。このことから，今回のVRコンテンツでは，体験者にそうした眼球移動を誘発しやすいような内容にした」という回答が返ってきた。

　実際のVRゲームに応用することを考えると，たとえばホラーゲームであれば，物音でプレイヤーを狙った方向に振り向かせたり，画面内のメッセージを目で追わせたりすることで，サッケード運動を誘発させやすくなりそうだ。Saccadic Redirected walkingは，今後のフリーローム型VRコンテンツの開発において，重要な要素となっていくかもしれない。

5K解像度の新しいハイエンドVR HMD

「VRHero 5K」を体験

VRgineersブースのVRHero 5K展示コーナー

　VR Villageには，VR HMDの新製品にまつわる展示もいくつかあった。その中でも筆者が注目したのは，チェコの新興VR HMDメーカーであるVRgineersの「VRHero 5K」だ。

　名称から想像できるとおり，VRHero 5Kは，片目あたりの解像度が2560×1440ピクセルの有機ELパネルを2枚採用し，両眼解像度では5120×1440ピクセルを実現したハイエンド市場向けのVR HMDだ。パネルの種類と解像度は，Starbreezeのハイエンド市場向けVR HMD「StarVR」と同等である。


　異なるのは画角で，StarVRは210度であるのに対して，VRHero 5Kは170度と，やや狭い。「画角のスペックは，競合と比較して小さいが，（VR HMDとして）決して劣っているわけではない」と，VRgineersの共同創設者であるMartin Holecko氏は述べていた。

VRHero 5Kを手にしたVRgineersの共同創設者のHolecko氏

　StarVRは，2枚の有機ELパネルを左右の眼を取り囲むようにV字型で配置することにより，210度の広い画角を実現していた。しかし，左右の眼から有機ELパネルまでの距離が，眼球の正面と端で異なるという特性があったため，やや外周が見えづらかった。正面を見ているときの焦点距離と，端を見ているときの焦点距離が変わってしまうので，違和感があったのだ。
　それに対してVRHero 5Kは，2枚の有機ELパネルを配置する角度をStarVRよりも浅くしたそうで，画角は170度に留まったが，その分，左右の目からパネルまでの焦点距離が安定しているのだという。RiftやViveの画角は110度なので，170度もあればハイエンドとして十分と判断したのかもしれない。

2枚の有機ELパネルを組み合わせる角度を浅くしたため，ゴーグル部分の横への張り出しはStarVR以上に大きい。重さは約1kgで，ViveやRiftの2倍ほどもある

緑の眼光のような照明は単なるイルミネーションだ（左）。会場でのデモは，「Quadro P6000」を搭載したSilverdraft Supercomputing製のPC「Demon VR」を使っていた。ポジショントラッキングには，SteamVR Trackingを利用しているとのこと（右）。つまりViveのベースステーションと同じもののようだ

　Holecko氏は，「StarVRに対して大きな差別化のポイントとなっているのは，接眼レンズだ」とアピールする。
　StarVRやRift，Viveもそうなのだが，VR HMDの多くは，接眼レンズに平面薄型構造のフレネルレンズを使っている。一方のVRHero 5Kでは，厚みのある立体レンズをあえて採用したという。しかも，VRHero 5Kの光路に合わせた専用設計のレンズだというから，そのこだわりは大したものだ。

こだわりの接眼レンズはフレネルレンズではなく，立体的な専用設計のレンズとのこと

　フレネルレンズは，厚みのあるレンズを同心円状に分割して，厚みを軽減させたレンズで，その構造上，表面には同心円状にギザギザしたノコギリのような溝と突起が存在する。フレネルレンズでは，斜めに入射した光がギザギザ部を通過するため，そのたびに屈折や回折を起こす。そのため，VR HMDの接眼レンズとしてフレネルレンズを用いた場合，外周部に行くほどぼやけて見えたり，色ズレ（色収差）が顕著になったりする。
　こうした欠点があるものの，フレネルレンズは薄くて安価なので，VR HMDの低価格化に大きく貢献している。

　しかし後発のVRHero 5Kでは，低価格よりも高い品質を求めたということなのだろう。筆者もデモを体験させてもらったが，視界の隅々まで非常にクリアであった。視界の中央も外周も違和感なく見られるので，とにかく解像感がスゴイのだ。

BMWの新車をVR空間で体験している筆者。写真左上に，筆者の視界を通常のディスプレイでモニターした映像が映っている

　こだわりのクオリティは価格に反映されており，VRHero 5Kの価格は約9000ドル（約96万9000円）と，なかなかのお値段だ。もっとも，コンシューマー向けの展開は最初から考えていないそうで，現状は業務用やプロフェッショナル向けに訴求しているそうである。現在までに，BMWをはじめとするヨーロッパの大手自動車メーカー数社に納入実績があると，Holecko氏は述べていた。会場のデモもエンターテインメント系ではなく，BMWの実写をVRで見学できるというものだった。
　ちなみに国内では，日本バイナリーが正規代理店となっており，すでに販売中であるとのことだ（関連リンク）。

NVIDIAは，VR分野にかける力を緩めない

　GPUを売るNVIDIAとしては，高性能なGPUを必要とするVRは注力する価値のある技術テーマである。GTC 2018でも，力の入れ具合は2017年と変わっておらず，大きなスペースをとって自社やパートナー企業のソリューションやデモを披露していたが印象的だった。

　ちなみに，2018年のVR Villageは，NVIDIAが開発したVRソフトウェアソリューションの展示や，企業向け，あるいは業務用VRを意識した展示が多めだったように思う。コンシューマー向けVRが今後も普及していくかどうかは，正直まだ読み切れない部分がある。しかしNVIDIAは，今のところ「VRに注力する力は緩めないぞ」という姿勢を見せているようで，それはVR Villageからも感じられたように思う。
　2018年は，PCやゲーム機につながずに使えるスタンドアロン型VR HMDが出揃う年でもあるし，Vive Proのような第2世代VR HMDの動向も気になるところ。今後も注意深くVR業界を見ていくことにしたい。

GTC 2018会場の廊下でリアルタイムAIアプリケーション開発企業のwrnchがデモを披露していた。ビデオカメラで撮影した人のボーン構造をリアルタイムに認識して（左），モーションキャプチャでCGキャラクタを動かすというものだ。筆者は謎の人面ニワトリに変身。腰をかがめると金の卵を産む。なんというか……，アメリカ独特のセンスだ

NVIDIAのGTC 2018公式Webサイト（英語）