リストバンド型生体センサーとAIで感情を可視化。ホラーゲームで感情がどう変化するのか体験してみた［TGS2024］

　このところ，何かと「AI」が話題だ。「ストリートファイター6」（PC / PS5 / PS4 / Xbox Series X|S）では，9月24日のアップデートにより，数百万人のプレイデータを学習して生成されたAIプレイヤーと対戦できる「Vライバルマッチ」が追加となった。
　東京ゲームショウ2024の会場には，AIテクノロジーパビリオンというコーナーがあり，AIを活用した製品やサービスを提供する企業がブースを連ねている。ひときわユニークな展示を行っていたのが「OVOMIND」だ。リストバンド型生体センサーで，人の感情を読み取ってデータ化し，そのデータをゲームにリアルタイムで反映するというデモを行っていた。

OVOMINDブース

　OVOMINDのサービスは，リストバンド型生体センサーで，皮膚の温度や発汗，心拍数といったデータを測定し，機械学習によってセンサーを装着している人がどんな感情をいだいているかを導き出すというものだ。2024年内に開発キット「DK1」を提供する予定で，価格は199ドルとのこと。

リストバンド型生体センサー

センサー部分

開発キットのDK1は199ドル

　高精度な結果を得られる学習済みモデルがあるそうで，後述するデモでは，センサーが検出したデータと筆者が自覚していた感情に大きなブレなく判定していた。

　プレイヤーの感情をリアルタイム数値化することで，ゲーム開発に役立てられる。たとえば，「あのギミックを解くときにプレイヤーがイラついていた」とか「この戦闘ではかなり興奮していた」といったことを分析できるわけだ。
　加えて，読み取った感情をもとにして，ゲームの演出を変化させるといった仕組みも提案していくそうだ。

　また，ゲーム開発者だけでなく，ストリーマーやゲーマーにもOVOMINDをアピールしたいという。ストリーマーの場合，感情データを使って配信の振り返りを行える。そのときの感情や気分によって，ゲームプレイやトークにどのような影響が出るか分かるわけだ。配信時のコメントと組み合わせた分析もできそうだ。OVOMINDのWebサイトによると，YouTubeやTwitchなど配信プラットフォームを問わずに利用できるようだ。後述するが検出した感情データは，スマートフォンでも表示できる。配信者のなかには心拍数を表示させる人もいるが，同じようにOVOMINDのデータを配信画面に載せるといった使い方もできそうだ。

　ゲーマー向けのサービスについては，今後具体的に検討するとのこと。ただ，ストリーマーと同じように感情データを使ってゲームプレイを分析するといった使い方が考えられる，格闘ゲームやFPSといった対戦ゲームでは，「どういった場面で冷静さを欠いた」かを分かるだけでも得られるものは多い。
　ゲームの録画データとセンサーで得たデータのタイムスタンプを突き合わせればいいので，意外と簡単に実現できるかもしれない。

　ここからはOVOMINDの体験デモの様子をレポートしたい。「DEAD SHADOWS」という廃工場を歩くホラーゲームをプレイして，感情データを検出した。このゲームは，画面全体が薄暗く，真っ暗な場所もある。道中を照らす懐中電灯は充電式で，長時間の点灯には不向きなアイテムという扱いだ。常に懐中電灯のバッテリー残量をチェックする必要があり，これによって焦りやすくなっていた。怪しげな音や突然のマネキン，開かないドアなど，感情の動きを誘発するポイントも多々ある。

DEAD SHADOWSのタイトル画面

リストバンド型生体センサーをスマートフォンとペアリングさせ，スマホ側にデータを蓄積。プレイ終了後にサーバーにデータを送信し，パラメーターやヒートマップを確認できる

デモは，岐阜プラスチック工業の家庭用防音ブース「GAMEBOX」で行った。さらにヘッドフォンを装着して極力外音が気にならないようにする環境を用意している

　今回のデモには，読みった感情に応じて，画面端が暗くなるビネット効果や画面が明るくなるといった演出が変化する仕組みも取り入れているという。ただ，筆者の場合，あまり怖がる場面がなかったからかそういった目立つ変化はなかった。

　また，恐怖を感じると画面左上のゲージが減っていき，0になるとゲームオーバーになるといったルールもあった。「クトゥルフの呼び声」における「SAN値」の可視化や「SANチェック」のような仕組みも実装できそうだ。

感情の状態によって減っていくゲージ。これが0になるとゲームオーバーだ

　実際にプレイしてみると，ドアの鍵を探すときに少しいらついた，マネキンを見たときに「動くんじゃないのか」と警戒したといった感情の動きを，正しくリアルタイムに検出できていた。

スマートフォンにリアルタイムで感情の状態や心拍数が表示される。興奮している状態であっても，スマホの画面を撮影しようとするとき，冷静な状態だと判断されていた（と同時に冷静以外の画面撮影に難義した）

ゲーム終了時の画面

　ひと通りゲームをプレイした感情データは，ヒートマップの形でも表示される。縦軸は興奮/冷静，横軸はポジティブ/ネガティブといった指標でマップ上の各所にどんな感情なのかが書かれている。
　結果から表示されたヒートマップを見てみる。上は興奮している状態，下は冷静な状態，左はネガティブ，右はポジティブという見方で各所に感情が書かれており，分布からどういった感情を抱いていたかが分かる。

ヒートマップ

Googleレンズでの翻訳も添えておく

　筆者の場合，マップの中央から右軸方向に向けてデータが分布しており，どちらかというとポジティブな反応だったことが分かる。これは，「あらまぁ素敵な配管」などと別の意味で興奮していたのが大きいのかもしれない。ホラーゲームが苦手な人の場合，マップ左側にデータが分布しやすいそうだ。
　また，冷静さを示す下方向にもデータがあるが，画面撮影をしたり，ゲームの仕様を確認したりといった場面での動きだろうと分析できる。

　OVOMINDのサービスをゲームに組み込めば，プレイヤーの感情によって，NPCのセリフが変わったり，シナリオが変化したりといったゲームが登場するかもしれない。また，OVOMINDは，個人レベルで自分の感情を分析できる点も大きいなポイントだ。今後の製品開発に期待したい。
　ところでOVOMINDのセンサーを付けた状態で，筆者の推しである高垣楓さんやアグネスタキオンを眺めたらどうなるんだろう，これ。

OVOMIND公式Webサイト

4Gamer「東京ゲームショウ2024」記事一覧