PC用の3Dカメラ技術「RealSense」をゲームに使うと何ができるのか。Intelが最新情報とデモを公開

　2014年6月25日，Intelの日本法人であるインテルは，都内にて記者説明会を開催し，ノートPCに内蔵可能な3Dカメラモジュール「RealSense 3D camera」と，同カメラを活用するハードとソフトの総称である「Intel RealSense Technology」（以下，RealSense）の最新事情について説明した。RealSenseの現状と今後のスケジュール，活用事例について，説明会の情報をもとにレポートしたい。

RealSenseの開発者向け外付けカメラモジュールを取り付けた2-in-1ノートPC「VAIO Duo 13」（左）。右はカメラモジュールに寄ったところだ。紫色に光って見えるのが，深度計測用の赤外線レーザーモジュールである

　なお，RealSenseについては，2014年1月の発表，そして，Game Developers Conference 2014でのソフトウェア開発者向けセッションをレポートしているので，未読の人はこれらも合わせて参照してもらえれば幸いだ。

RealSense 3D cameraのカメラモジュール試作品。詳しくは後段で述べるが，これはRealSense 3D camera F200と呼ばれるタイプだ。銀色のプレート上に並んでいる3つの部品は，左から赤外線カメラ，通常のカメラ，赤外線プロジェクタである

3種類のカメラが用意されるRealSense

タブレット端末にも搭載可能に

RealSense 3D cameraのモジュールを披露するUXプロダクト・マーケティング・マネージャーの岩本由香里氏

　RealSenseの説明を担当したのは，Intel Asia Pacific JapanにてUXプロダクト・マーケティング・マネージャーを担当する岩本由香里氏と，インテルで戦略事業企画室ディレクターを務める亀井慎一朗氏である。
　説明会ではまず，岩本氏が，RealSense 3D cameraに3種類のバリエーションが存在することを明らかにした。具体的には，ノートPCや液晶一体型PCのベゼル部に内蔵し，インカメラとして使う「RealSense 3D camera F200」（以下，F200）と，2-in-1デバイスやタブレット端末に内蔵してアウトカメラとして使う「RealSense 3D camera R200」「RealSense 3D camera R100」（以下順に，R200，R100）だ。

RealSense 3D cameraのバリエーション。インカメラ用が1製品，アウトカメラ用は2製品が用意される

　3製品の細かなスペックは公表されなかったが，亀井氏によるとアウトカメラタイプのR200は，3Dスキャン用に使う場合を重視し，深度情報の測定能力がインカメラタイプよりも強化されているという。また，タブレットやスマートフォンへの搭載も可能なR100は，（おそらく消費電力的な制約から）リアルタイム処理は行えないとのこと。写真撮影後，画像の加工時に深度情報を利用するような使い方を想定しているそうだ。
　なお，F200やR200は，今のところCoreプロセッサをCPUに搭載するWindows PCでの利用を前提としているが，「将来的にはAtomプロセッサ搭載製品や，Androidデバイスにも対応する予定」（亀井氏）という。

R200の試作品を搭載したIntel製タブレット（左）。背面には穴が5つ用意されていた。おそらくは，紫色に光っているのが赤外線プロジェクタで，3つ並んでいるのは2つが赤外線カメラ，1つがいわゆる“普通の”カメラだと思われるが，詳細は分からない

　もう1つ，亀井氏の説明で興味深かったのは，開発キットの強化についてだ。Intelは2013年の時点で，PCメーカーやソフトウェア開発者向けに，「Perceptual Computing SDK 2013」（以下，2013年版）として，カメラとソフトウェア開発キットのセットを提供していたのだが，その2014年版では，両方とも改良され，認識能力が大幅に向上したという。
　たとえば手の認識では，2013年版が「10点＋ピンチ操作」の認識に留まっていたのに対して，2014年版開発キットでは22点の認識が可能となり，指の関節を1つずつ識別できるようになった。また，顔認識では2013年版だと認識点が7つしかなかったのだが，2014年版では78点となり，目鼻口はもとより，眉や顔の輪郭までも識別できるようになり，ユーザーの表情を細かく識別し，再現できるようになったそうだ。

2014年版で実現された強化点。手と顔の認識はとくに強化されているほか，3Dスキャンへの対応や深度情報を使ったリアルタイムの背景除去といった機能も追加された

こちらは2013年版で使われていたCreative Technology製カメラ。外付け型Webカメラのように，液晶パネルの上にクリップで固定して使う製品だった

　さらに亀井氏によると，現在のRealSense 3D cameraならば，皮下の血管を見て脈拍を判別することも可能であるとのこと。表情の認識だけでなく脈拍も見ることで，ウソ笑いが分かるかもしれないレベルに達しているという。

RealSenseの機能をゲーム風デモで披露

　一通りの説明に続いて亀井氏は，RealSense 3D cameraによるデモをいくつか披露した。いずれもゲームやエンターテインメント的な要素を備えたデモなので，4Gamer読者にとっても興味深いのではないかと思う。

亀井氏が絵本のページをRealSense 3D cameraに認識させると（上），画面は絵本のページを再現したミニゲーム風画面に切り替わる（下）

　亀井氏が最初に披露したのは，絵本の各ページを認識させると，ページの内容に応じた場面が表示され，その中で遊べるという，「インタラクティブな絵本」的なものだった。
　なんらかの理由で引き籠もってしまった少年が，絵本の世界に飛び込んで遊ぶという設定で，開始直後はベッドの上にうずくまっている少年の姿が画面に映し出されている。そこに，小さなボートに乗った少年が海を行く絵を認識させると，画面は，少年が乗ったボートが海に浮かんでいる場面に切り変わった。その状態で，亀井氏がカメラの前で水をすくい上げるように手を動かすと，画面内の海では大波が立って少年の乗ったボートを揺り動かし，それに少年は大喜びするといった具合だ。

　そのほか，カメラの前で身体を動かすと，それに応じて少年も動き，海底を探検したり，ジャングルの中を風に乗って飛んだりといったこともできるようになっていた。

　続いては，RealSense 3D cameraの3Dスキャン機能を使ってプレイヤーの顔を取り込み，格闘ゲーム風のキャラクターにするというデモだ。これは米3D Systemsのサービス「3DMe」を使ったデモだという。
　まず亀井氏が，RealSense 3D cameraの前で正面を向いたり斜め横を向いたりすると，アプリケーションがその顔データを取り込んで，顔の3Dモデルが作成される。その顔モデルを格闘ゲームに出てきそうなキャラクターの顔部分に合成すると，自分の顔が付いたキャラクターができあがりというわけだ。ちなみに，そのキャラクターは「アメリカ人が考えた忍者」（亀井氏）だそうで，胸元の手裏剣以外は忍者らしく見えないというあたり，実にありがちである。

ユーザーがカメラの前で顔を左右に動かすと（左），アプリケーション側で顔データを取り込んで（右），それを基に顔の3Dモデルを作成してくれる

顔の3Dモデルができたら，キャラクターの顔部分にはめ込んで，格闘ゲームに使えそうな自分のキャラクターができあがり。しかし，これが忍者といわれても……

こちらは，3DMeで作ったキャラクターモデルを，3Dプリンタで立体化したというもの。プロゴルファーの体に亀井氏の顔を合成したのだそうだ。

　キャラクターはほかにも何種類か用意されているようだが，亀井氏は日本でこのサービスをリリースするときには，「日本向けのキャラクターを入れたい」と述べていた。日本風はともかく，何かの格闘ゲームとコラボレーションして，自分の顔入りキャラクターでも戦えるようになると面白いかもしれない。

　最後のデモは，R200の試作機を組み込んだタブレットを使ったものだ。
　まず亀井氏は，上着を脱いでテーブルの上に無造作に置き，それをタブレット内蔵のカメラで写す。すると，アプリケーションはテーブルと服の形状を取り込んで3Dモデルを作り，続いてそれを基に立体的なマップを生み出した。そしてそのマップに，ロボットのキャラクターを置いて動かすと，ロボットはマップの起伏に合わせて上り下りするといった具合である。
　身近な物からゲームのマップを作って遊ぶというのは，なかなか面白い使い方ができそうなアイデアといえるのではないだろうか。

亀井氏が脱いだ上着をタブレットで撮影すると（左），テーブルと上着の形状を元にマップが作られて，白いロボットがその上を動き回る（右）。いかにもゲームに応用できそうなデモだ

　提供スケジュールの話にも触れておこう。RealSenseは現在，前出の開発キットが限定的に提供されている状態で，搭載PCや外付けカメラユニットの登場は，F200とR100が2014年内，R200が2015年とされている。

　対応ソフトウェアは，現在40社以上が開発中とのことだ。
　なおIntelでは，ソフトウェア開発者向けのコンテストとして，賞金総額100万ドルという「RealSense App Challenge 2014」を開催する予定だ。2013年のコンテストでは，日本人開発者のアプリケーションが最優秀賞に選ばれているので，今年も日本の開発者に続いてほしいと，亀井氏は訴えていた。興味のある開発者は，エントリーしてみてはどうだろうか。

RealSense 公式Webページ