［GDC 2018］キャラクターが外の世界を感知する。Magic Leapの開発者達が新世代のAI技術をアピール

　仮想現実（VR/Virtual Reality）と拡張現実（AR/Augmented Reality）の双方のコンセプトを採り入れたテクノロジーが複合現実（MR/Mixed Reality）と呼ばれるもので，Googleやアリババ，サウジアラビアの政府系ファンドなどからバックアップを得ているMagic Leapが，2017年12月に制作発表したMRヘッドマウントディスプレイ「Magic Leap One」は，GDC 2018で台風の目となっている。

Magic LeapのInteraction Directorであるアレイシア・レイデッカー氏（右）とDirector of Interactionのブライアン・シュワブ氏（右）

　そんなMagic Leapに所属するInteraction DirectorのAleissia Laidacker（アレイシア・レイデッカー）氏と，Director of InteractionのBrian Schwab（ブライアン・シュワブ）氏が，GDC 2018で「Mixed Reality: Bringing Games and AI to the Real World」（複合現実： ゲームとAIを現実世界へと持ち出す）と題したセッションを行った。
　2人とも役職が似ていてややこしいが，急速に拡大中の企業であるための応急処置と言ったところだろうか。面白いことに，彼らは数年前までUbisoft Entertainmentに共に在籍しており，「アサシンクリード ユニティ」以前のシリーズでゲームAIにおける「ナヴメッシュ」（Navigation Mesh/複雑なゲーム世界のスペースやテラインにおいて，エージェントのパスファインディングを効率的にサポートする抽象データ構造）をいち早く取り入れた，R&Dチームに所属していた経歴を持つ。GDCにおいては今年で10年目となるAIサミットでも常連の論客として知られる2人が，揃ってMagic Leapに転職し，揃って壇上に上がったのだから，今回のイベントでもひときわ人気だった理由も分かるだろう。

　ILMxLABやピーター・ジャクソン監督が立ち上げたWingnut ARがコンテンツを開発中であることもすでに知られているMagic Leap Oneだが，GDC 2018においては，「Lumin OS」を採用したことが発表された。これは，「Linux」と「Android Open Source Project」(AOSP)を元に開発された専用OSであるという。
　また，Unreal EngineやUnityが，対応する「Lumin SDK」を公開したことがアナウンスされるとともに，Magic Leapの公式サイトからコンテンツクリエイターがSDKをダウンロードできるようになった。Unreal Engineの公式サイトの最新情報によると，「Magic Leap One」は以下のような機能を搭載しているという。

• ヘッドトラッキング
• アイ（視線）トラッキング
• ジェスチャーおよびハンドトラッキング
• ルームスキャニングおよびメッシュ化機能
• 空間オーディオ
• マイクロフォンによる音声インプット
• 6DOFのハンドコントローラー「Totem」によるトラッキング
• VulkanおよびOpenGLへの対応
• 「Unreal Engine 4」のデスクトップ及びモバイル向けフォワードレンダリング・パス

　まだ「Magic Leap One」のパブリックデモを行う段階にはないのか，レイデッカー氏とシュワブ氏の講演は，会場に集まったAIプログラマー達に，MRテクノロジーの台頭によるAIの新しいコンセプトを喚起する内容だった。そんな中で，筆者のような一般ゲーマーの心に残ったのが，シュワブ氏の「キャラクターがゲーム世界だけで完結せず，外の世界を認識して行動できるようになる」という説明だ。レイデッカー氏は，机の上に立つ小人のようなキャラクターであれば，机上から床までの距離を認識し，プレイヤーに「こんなに高いと飛び降りられないから手助けしてよ」と手を伸ばして降ろしてもらうことを促したり，プレイヤーのペットがキャラクターの前を通り抜けたりすると，その動物を認識して「私，犬は苦手なのよ」と反応すると言った具合が想定されるという。



　シュワブ氏によると，「VRコンテンツを制作した経験から言うと，ゲーム世界に表現される描写が増えすぎると，圧倒されたユーザーはほとんど何もしなくなる」傾向が見られるそうなのだが，レイデッカー氏も「MRコンテンツでは現実世界に投影されるキャラクターは極力少なくすることで，ユーザーが物怖じせずに様々な行動をとれる配慮をするのが良さそうだ」と，これまでのMagic Leapでの研究の一端を披露していた。

レイデッカー氏がMagic Leapに採用されたばかりの頃に試作した，ネコ調教コンテンツのモックアップ

　また，シュワブ氏は「Magic Leap One」のヘッドトラッキングセンサーは非常に性能が良いとも話していた。頭を傾けたり，仰け反らせたりといった微妙な動きも感知できるほどで，言葉やコントローラ操作で会話しなくても，首を縦に振ったり横に振ったりするだけで，キャラクターがリアクションを認識してくれるという。じっとしていても，呼吸によって体や頭が微妙に動くものだが，そうした僅かな動き，さらには心拍数さえも計測できるというから驚きだ。
　もちろん「Magic Leap One」は，頭の動きだけでなく，ハンドトラッキングとアイトラッキング，そして言葉による音声入力もサポートしている。さらに，カメラセンサーによって屋外や屋内といった大まかな場所の認識や，昼夜の変化などもキャッチし，それをキャラクターの言動に活かすこともできるらしい。これが実現すれば，かなり複雑なインタラクションが達成できるのは間違いないだろう。


　レイデッカー氏は，さらに「今回，我々がAIサミットで講演する目的は，皆さんに“World Space”（現実世界の空間）を意識したAI開発をしてもらいたいからなのです」と続ける。「Lumin OS」には，上記したナヴメッシュを継続的に演算し続ける「ダイナミック・ナヴメッシュ」というシステムが採用されており，プレイヤーが「Magic Leap One」を装着しながら移動し続けることを想定しているようだ。
　もう1つ，「キャラクターのためのAI開発」にも触れ，現実世界の状況を把握したキャラクターが，それに従った思考ルーチンを働かせる「GOAP」（Goal Oriented Action Planning）の進化系が必要になってくると語っていた。GOAPは，2005年にMonolith Productionsが開発した「F.E.A.R.」で採用された，目標を達成するために順序よく行動を組み立てる技術だ。同作は，敵キャラクターがオフィスデスクに身を隠したり，迂回してプレイヤーの側面を突いたりといった動きが話題になったが，上記した机上や犬と遭遇したときの思考ルーチンなどに，こうした技術が必要となってくるということだろう。

現実世界の空間を意識したAIのデザインで考えなければならないこと

こちらは，MRコンテンツにおけるAIデザインの五か条

　ようやく，その片鱗を見せ始めた「Magic Leap One」だが，今回のGDC 2018では，さらなる新情報にも期待できそうだ。果たして，我々のゲーム体験にどのようなインパクトを与えるものになるのか。レイデッカー氏とシュワブ氏の講演を聞く限り，その潜在性は非常に高く感じられた。

Magic Leap公式サイト