生成AIを活用したQA工数削減の試み。スクエニと東大・松尾研究室の共同研究を紹介するセッションをレポート［CEDEC+KYUSHU 2025］

　2025年11月29日，福岡・九州産業大学にてコンピューターエンターテイメント開発者向けのカンファレンス「CEDEC＋KYUSHU 2025」が開催された。本稿では，その中から「生成AIが切り開くゲームプレイAIの新境地とゲーム開発への活用」と題されたセッションをレポートする。


　スクウェア・エニックスのAI＆エンジン開発ディビジョンに所属する狩野竜示氏と城所 憲氏，そして東京大学 松尾・岩澤研究室の奥村悠希氏の3名が登壇したこのセッションでは，ゲームAI研究の歴史と最新の研究，そしてスクウェア・エニックスと東京大学の共同研究による，ゲームプレイAIエージェントの実験結果などの解説が行われた。

スクウェア・エニックス AI＆エンジン開発ディビジョン 生成AIユニットのAIリサーチャー 狩野竜示氏と，同AIエンジニアの城所 憲氏

東京大学大学院 工学系研究科 技術経営戦略学専攻 松尾・岩澤研究室 学術専門職員の奥村悠希氏

ゲーム業界の課題と近年AIができるようになったこと

　近年のゲーム業界では，各社ともリリースするゲームのQA（Quality Assurance，品質保証）の工数増大が大きな課題となっている。その背景にあるのはゲームのマルチプラットフォーム化で，つまりPCやPlayStation，Xbox，そしてSwitchなど，ゲームを展開するプラットフォームすべてでテストしなければならいことが負担となっている。
　またゲームの大規模化に伴うアセット数の増加やマップの肥大化，再現性の低い不具合の原因特定なども，QAの工数増加の理由である。
　これらのQAの工数を削減するべく，AIなどによる自動化技術の活用が求められている。


　しかし従来の自動チェックツールでは，クラッシュなどゲームが進行不能になるタイプのバグしか対応できないことが多い。実際のQAでは，そもそもゲームが仕様どおりかどうかといった，細かい確認が求められる。QAを自動化するには，ツールがこれらを確認できるようにならなければならないのだ。


　一方，近年のAI研究では，LLM（大規模言語モデル）を用いたゲームプレイが可能になってきている。つまりゲーム画面やログなどの情報をもとに，LLMが次にどのような操作をすればいいか思考するのだ。実際にGemini 2.5 ProやGPT-5が「ポケットモンスター」をクリアした事例もあるそうで，この方面は着実に進歩してきている。

機械学習/LLMの基礎知識

　セッションでは機械学習やLLMの簡単な解説も行われた。LLMは機械学習の一種であり，機械学習とは学習データとなる入出力のペアから学習を行い，未知の入力に対しても望ましい予測を出力する計算式（関数）を作成する手法だ。


　セッションでは，ある人物の体重や年齢，性別，そして親の身長といった情報から，機械学習で作成した計算式によって身長を予測する事例が示された。その結果が正しいとは限らないが，計算式の調整で精度を上げられるので，正確な予測が難しいケースでは機械学習が使われることが多いという。

計算式を単純化した例も示された

　そうした機械学習の中でも，従来のゲームプレイAIでは「強化学習」が用いられてきた。この手法では，入力した情報をもとに，もっとも望ましい状態（報酬）にたどり着くような出力を行う計算式をAIが学習していく。この場合の報酬には，ゴールへの到達やスコアの向上はもちろん，「相手に一番大きなダメージを与える攻撃手段」なども含まれている。


　古典的な強化学習によるゲームプレイの課題は，入力できる情報や行動の種類をあらかじめ固定しなければならないことだ。このため，特定のゲームの特定の場面でしか使えず，汎用性がない。
　また報酬についても，ゴールに到達したときはどのくらいの数値なのか，スコアをどう評価するかなど，人間側であらかじめ数値化して定義しておく必要があり，調整に手間がかかってしまう。


　それに対してLLMを用いたゲームプレイAIでは，ゲーム画面内の情報やログなどをそのまま情報として入力できる。この自由さがまずメリットであり，加えて言語を使った論理的な推論が可能なので，複雑なタスクも実行できてしまう。一方で，コンピュータの計算リソースと，計算にかかる時間が膨大になるのがデメリットだ。


　LLM――つまり大規模言語モデルの，言語モデル”とは何かという説明も行われた。
　これは簡単に言うと，「これまでに入力された全てのトークン（文字以上単語未満の文字列）から，次のトークンを予測するAIのことだ。その一例として，セッションではニューラル言語モデルが示された。
　「これまでに出現した単語（トークン）から次の単語を予測する」なんてことは困難だが，上記のとおり機械学習を用いれば，まず出て来ないであろう単語の出現確率を下げるといった調整を施し，学習させれば，高い精度の文章が生成できる。


　ニューラル言語モデルのAIで用いられるトークンや単語は，予測の精度を高めるために，それぞれ数百〜数千のパラメータで調整・表現される。それらを元に，次に出てくるトークン・単語の出現率を計算するわけだが，その計算式が複雑になるほどAIのモデルは“大きく”なる。
　このモデルを大きくし，学習データを増やすほど，AIの性能は高くなる。この報告が2020年前後行われて以降，このモデルの規模を大きくする試みが行われているのが現状である。


　とはいえ，単に次のトークンを予測する学習だけではChat GPTのようなタスク処理はできない。そこで行われるのが「インストラクション・チューニング」だ。
　ここでいう“インストラクション”は，いわゆるプロンプトのことで，このチューニングにより，例えば「翻訳してください」という指示のあとに「これはペンです」と入力すると，「This is a pen.」と出力されるようになる。
　このインストラクションを用いた入力と出力を学習データとして学習させて，ようやくさまざまなタスクを処理できるLLMが得られるのである。


　また「マルチモーダル化」により，テキストだけでなく画像も情報として入力できるLLMも登場している。こうしたAIを使えば，例えばゲーム画面にどんな情報が表示されているかも説明できるようになる。


　さらにマルチモーダル化は，「チェーン・オブ・ソート」（Chain of Thought，思考の連鎖）も可能にする。
　例えば「宿屋に泊まって」という一見単純な指示は，実際には今自分がどこにいるかを把握するところから始めなくてはならない。街の外にいるのなら，まず街まで移動して，着いたら宿屋がどこにあるか把握し，そこまで移動する。宿屋に辿り着いたら，今度はカウンターがどこにあるのか把握して……と，いくつもの段階を踏まなければならないのだ。
　最近のLLMは，そうした複雑なタスクに対応するべく，チェーン・オブ・ソートによってタスクを細分化して処理できるようになってきている。


　「LLMエージェント」は，それぞれ異なる役割（プロンプト）を与えた複数のLLMをエージェントとして用意し，それらを連携させることで高度な処理を実現する手法だ。「1つのプロンプトでも実現できるのでは？」と思うかもしれないが，複数のプロンプトを用いるほうが性能が向上する経験則があるとのこと。またエージェントを複数にすることで，外部のツールやデータベースとの連携が可能になるメリットもある。


　ゲームプレイにLLMエージェントの仕組みを活用するなら，「画面内の情報を解釈するエージェント」や「解釈した情報から現状を分析するエージェント」「現状から次の行動を決定するエージェント」などが考えられるとのことだった。

ゲーム自動プレイの既存研究の流れ

　続いてAIを用いたゲームプレイの研究について，4つの事例が紹介された。
　2013年の「Playing Atari with Deep Reinforcement Learning」は，強化学習をゲームプレイに応用する転機となった論文だ。この論文では，深層強化学習を用いてAIに人間以上のパフォーマンスを発揮させたり，画像認識で用いられる畳み込みニューラルネットワークを使い，ゲームの状態を把握させたりする「Deep Q-Networks」（DQN）が提案された。


　この研究では，長らく深層強化学習のベンチマークとして用いられてきた，「Atari 2600」収録の49タイトルうち29タイトルで，AIが人間と同等か，それ以上のパフォーマンスを出したことが確認されている。


　2023年の「VOYAGER: An Open-Ended Embodied Agent with Large Language Models」は，LLMをゲームに応用した初期の論文である。
　対象となったタイトルは「Minecraft」で，道具のアンロックを目的とし，その中で多様なスキルの習得と，独自に課題の提案をしつつ進化していくAIエージェント「VOYAGER」の研究成果が報告されている。
　LLMが活用されたのは，現在行うべきタスクの推論や複雑な行動をまとめたスキルの生成・改善であり，これによりダイヤ製ツールのアンロックまで達成できたとのことである。


　VOYAGERは，「Automatic Curriculum」「Skill Library」「Iterative Prompting Mechanism」の3つの要素で構成されている。

ゲームの状態の取得や行動の制御には，Minecraft APIが用いられている。これにより，LLMが利用しやすい形でデータを取得できたそうだ

　「Automatic Curriculum」は，現在の状態に応じて，理由とともに実行すべきタスクを推論するもので，例えば「自分が空腹状態」「近くに豚がいる」といった状況であれば，「豚を倒して，空腹を解消しよう」とする。


　「Skill Library」では推論したタスクと，設定されたスキルの類似性から，今使うべきスキルを検索する。例えば鉄のピッケルを作るなら，まず材料を手に入れなくてはならないので，それに関連したスキルを検索して実行するイメージだ。


　「Iterative Prompting Mechanism」は，生成したスキルを環境からのフィードバックや，実行エラーをベースに改善していくものだ。
　例えば石のシャベルを作るには，木の棒が2個必要となる。そこに「木の棒を作るには板材が2個必要」といった追加の情報が得られたら，「石のシャベルを作る」という関数に，「まず版材の数を確認し，足りなければ採取に行く」といった，具体的な処理が付け加えられる。


　これにより，「ReAct」のようなシンプルなAIエージェントでは困難だった道具のアンロックがVOYAGERでは可能になり，かつそれに費やした時間もかなり削減できたそうだ。


　2024年の「Cradle: Empowering Foundation Agents Towards General Computer Control」では，VOYAGERの手法を踏襲しつつ，APIに依存することなくタスク全般を処理するフレームワーク「Cradle」が提案された。

　これは人間と同じインタフェースで操作を行うAIエージェントであり，つまりはゲーム画面を画像として認識し，キーボードとマウスの操作を出力するものである。テストの対象となったのは市販のゲームタイトル4つと，ブラウザやメールアプリなど一般的なソフトウェア5つである。


　Cradleは画像から必要な情報を抽出するため，タスクの実行手順がVOYAGERよりも増えている。
　それでも「レッド・デッド・リデンプション2」では，画面内に映っているNPCに付いていく，あるいは画面内に映っているフィールド上の特定の場所に移動するといったタスクにおいて，高い成功率が確認できたそうだ。一方で画面外にある建物や，特定のオブジェクトを探すようなタスクでは，LLMの空間認識能力の低さのため，あまりうまくいかない結果となった。


　同じく2024年の「Scaling Instructable Agents Across Many Simulated Worlds」は，Google DeepMindの大規模模倣学習による，言語駆動型のAIエージェント「SIMA」を用いた事例だ。
　これは3Dのシミュレーション環境内で言語指示を与え，それに従う挙動を取るような汎用エージェントを作る試みであり，その特徴は人間がプレイしたゲームのログデータを使い，大規模な模倣学習を行ったことにある。


　テストの対象となったのは，一人称視点または三人称視点の，人間の視界に近い挙動のカメラを採用した10本以上の市販タイトルと，研究用の3Dシミュレーション環境である。またタスクとしては「宇宙船へ向かう」「木を切る」といった，10秒以内に完了するような比較的簡単なものが選ばれている。


　SIMAは，テキストによる指示やゲーム内の状況を示す画像/動画の埋め込みベクトルを得て，それらをGoogleの深層学習のアーキテクチャ「Transformer」に渡し，時系列順に8つのコードを出力する仕組みとなっている。


　タスクの成功率は，「止まる」「運転する」といった複数のゲーム間で共通する，基本的な動作であれば高い成果が得られた。一方で，建築や戦闘などの精密な操作や，オブジェクト間の位置関係を把握する必要があるような高度な認識を求められるタスクの成功率は低かった。

スクウェア・エニックスと東京大学松尾研究室の共同研究による自動プレイシステム

　セッションの後半では，スクウェア・エニックスと東京大学 松尾研究室の共同研究によるゲームの自動プレイシステムが紹介された。

　本研究の背景には，セッションの冒頭で示されたとおり，現在ゲーム業界の課題となっている，QAにかかる膨大な工数がある。これまでにもQAを自動化するツールはあったが，局所的な場面にしか使えず汎用性が低かった。またゲームごとに実装したり，モデルを作ったりする必要があり，開発・保守に高いコストがかかるといった問題もあったという。

　そこで今回の取り組みでは，さまざまなタイトルで汎用的に使えるツールを作り，それがどこまで実用に足るかを検証することとなった。すなわち特化した学習や作り込みを行うことなく，ゲームの画面やログ情報のみで，QAを自動化することを目指したわけだ。


　LLMを用いたタスクにおいて，課題となるのはハルシネーション（もっともらしい嘘）をいかに抑制するかということだ。例えば「宝箱を開けて，革の帽子が入っていることを確認する」といったQAタスクでハルシネーションが起こると，革の帽子という単語を認識したAIエージェントが，嘘の報告をしてしまいかねないのだ。

　そこで今回の試みでは，「行動タスク」と「評価タスク」を明確に分離することにした。宝箱を開けるまでの行動タスクを処理する実行エージェントと，得られたアイテムが期待どおりであったか確認する評価タスクを行う評価エージェントに分離し，それぞれのエージェントには必要最低限の情報しか与えないようにする。


　一方で，タスクを遂行するうえで有用な情報は，あらかじめ仕様書から抽出したうえで実行エージェントに渡しておく。例えば戦闘におけるコマンドの遷移（“まほう”を選んでから使用する魔法を選ぶ）や，重要な変数（選択中の魔法にはカーソルがつく）などは，LLM任せではなかなかうまくいかないという。


　これらを総合し，実際の行動実行にあたっては，ゲーム画面から得られる情報，タスクから指示，仕様書から抽出された予備情報が実行エージェントに入力され，推論の結果の行動が関数として出力される。これをゲームに反映し，再び次のサイクルに移る。これを繰り返してプレイが進行していく。


　他方，行動の評価は非常にシンプルだ。推論の履歴や選択した行動などが評価エージェントに渡され，実行結果のサマリが出力される。最終的にはこのサマリから，タスクと期待値が合致しているかを判断し，成否を判断するわけだ。


　今回のテストでは，戦闘時の行動やショップでの買い物，宝箱の開封がタスクとして設定され，検証が行われたが，ステップが多いタスクや，細かい移動が必要となるものは，あまりうまくいかなかった。
　「魔法を使ったときにMPが正しく消費されているか」「宝箱が開封前であるか」「右に回り込んだ位置から宝箱が開けるか」といったものがこれにあたり，次なる課題となったそうだ。

LLMの空間認識能力の課題解決のためのログダンプシステム

　セッションの終盤には，上記の移動を伴うタスクの課題を解決したシステムが紹介された。
　この課題は，LLMの空間認識能力の欠如が大きな原因であり，それ自体は先行研究でも指摘されている部分である。この改善策として，先行研究ではRAM情報から位置情報を直接取得するといった工夫が提案されており，今回の取り組みでもこれを導入することにしたという。

　具体的には，LLMの空間認識能力を向上させるために，ログダンプシステムが開発/導入されることになった。これはプレイヤーやNPC，マップの遷移が発生するイベントといったエンティティの位置情報や，マップの横幅と縦幅，それから通行できないセルといったコリジョン情報を，LLMが直接参照できるようにするものである。
　これらがJSON形式でAIエージェントに渡され，これを参照しながら行動できるようにした。

右下がダンプされた情報から作成されたマップ情報だ。なお，これは人間に分かりやすく表示したもので，AIはJSON形式のデータを直接参照して行動している

　このログダンプシステムは，ログダンプ用シングルトンとロギングコンポーネントで構成されていて，プログラム的には非常に簡単な処理である。前者はゲームのブートシーン（タイトル画面など）に配置するだけでよく，後者はStart関数のような初期化関数に一文追加するだけである。氏はこれをゲームモジュールに対して侵襲性が低い（＝導入のハードルが低い）と評していた。


　実際の移動処理では，LLMに推論させるのは目的地のみとし，経路探索は専用のアルゴリズムであるA*（エースター）に委託する形式とした。これまでは経路探索までLLMが行っていたが，この変更を加えたことで，最初の村におけるすべての建物へ正常に移動できるようになったそうだ。


　右側から宝箱を開けるタスクも，宝箱の位置情報をAIに与えることにより，正常に宝箱の右隣に移動することができるようになった。一方で，キャラクターの向きの把握に課題があり，宝箱を開けるまでには至らなかった。
　実用までには，まだいくつもハードルが残されているという自動プレイシステムだが，着実に進歩はしている様子。今後ますますの発展に期待したい。