Li ら: LLM は2Dゲームを「遊んで勝てる」か — Fukai が読む GVGAI-LLM

一段落要約

大規模言語モデル(LLM。大量の文章で学習し、続きや応答を生成するAI)は文章を書くのは得意だが、2Dゲームを「実際に遊んで勝てるか」はまったく別の話だ。本稿で紹介するのは GVGAI-LLM、118本のアーケード風ゲームを言語モデルに遊ばせ、その推論力と問題解決力を測るためのベンチマーク(性能を比べるための共通の試験問題集のようなもの)である。盤面を ASCII 文字(キーボードで打てる記号)の地図に変換して言語モデルに渡し、勝率や「意味のある手の割合」で振る舞いを評価する。

結論を先に言ってしまうと、現在のモデルはほとんどのゲームをクリアできない。論文によれば、GPT-4o-mini は 540 レベル中 477 で勝率 0%、全体の勝率は 10.27% にとどまった。空間を把握する力と、数手先を見越して計画を立てる力に、まだ根深い弱点がある——本稿はその中身を、論文を開かなくても要点が掴めるように解きほぐしていく。

はじめに

今日私が紙にプリントして色ペンを入れたのは、Yuchen Li、Cong Lin、Muhammad Umair Nasir、Philip John Bontrager、Jialin Liu、Julian Togelius らによる「GVGAI-LLM: Evaluating Large Language Model Agents with Infinite Games」である。所属はニューヨーク大学(NYU)を中心に、ウィットウォーターズランド大学、Meta、嶺南大学などにまたがる。出典は arXiv のプレプリント(arXiv:2508.08501)で、論文中の注記によれば AAAI 2026 に投稿し査読中の段階だ。つまりまだ peer-review(専門家による査読)を通ったとは限らない原稿であり、本稿でもそう扱う。

なぜ今日これを選んだか。著者の一人 Julian Togelius は、PCG(Procedural Content Generation、ゲームの内容を自動生成する技術)とゲーム AI の研究を長年牽引してきた人物で、その研究室が「LLM にゲームを遊ばせると何が起きるか」を正面から測りにいった、という点に惹かれた。生成 AI を「作る側」ではなく「遊ぶ側・解く側」に立たせると、どこでつまずくのかが見えてくる。ゲームを作る人にとっても、AI をプレイテスト(試遊によるテスト)や難易度調整に使うときの土台になる話だと考えた。

背景

この研究の土台になっているのが GVGAI(General Video Game AI、汎用ビデオゲーム AI)という枠組みだ。これは「一つのゲームだけが上手い AI」ではなく「初めて見るゲームでもそこそこ遊べる AI」を測るために作られた、100本以上の 2D ゲームを集めた研究用の環境である。ゲームのルールとレベルは VGDL(Video Game Description Language、ゲームの規則と盤面を短い記述で表す言語)で書かれており、新しいゲームやステージを次々に作れる。論文タイトルの「Infinite Games(無限のゲーム)」はここから来ていて、AI が答えを丸暗記してしまうのを防げる利点がある。

これまでの LLM のベンチマークは、知識を問う MMLU や、コード生成を問う HumanEval のように、静的な——つまり一問一答で答えが固定された——課題が中心だった。だが実際にゲームを遊ぶには、刻一刻と変わる盤面を読み、空間の位置関係を把握し、数手先を見越して動く必要がある。著者らは「構造化された記号の世界で、ゲーム的なルールと空間推論を伴う意思決定を測るベンチマークが無い」という穴を指摘し、そこを埋めるために GVGAI を言語モデル用に作り替えた。これがこの研究の出発点である。

アプローチ

方法の核は「ゲームの世界を、言語モデルが読める文章に翻訳する」ことにある。各ステップで盤面は ASCII 文字の二次元の地図に直され、加えてルールも自然言語に翻訳される。論文の Translator(翻訳器)というモジュールは、たとえば『アバターが鍵に触れると鍵は消えてアバターが手に入れる』のように、ゲーム内部の規則を平易な文に置き換える。そのうえで Player(プレイヤー)モジュールが、今の盤面と目標から「右に動く」といった具体的な一手を選ぶ。重要なのは、モデルにはコードの実行も先読みシミュレーションも与えられず、言葉だけで考えさせる点だ。

基本設定は zero-shot(ゼロショット、例題を見せず、その場の盤面だけで答えさせるやり方)で、しかも過去の手や状態の記憶を一切渡さない。各ステップを独立に扱うことで、暗記ではなくその場の推論を測る狙いだ。著者らは過去のやり取りを履歴として渡す contextual prompting(文脈つきの指示)も試したが、推論の誤りが積み重なり、トークン(モデルが文章を扱う最小単位)の消費とコストが増えるだけで勝率は上がらなかったため、本評価では採用しなかったと述べている。

評価のものさしも工夫されている。一つは「意味のある手の割合」で、壁に向かって歩き続けるような無駄な手ではなく、盤面に実際の変化を起こした手がどれだけあったかを見る。もう一つは「手数の効率」で、より少ない手数で勝てたかを 0 から 1 の値で表す。そして「勝率」。これらを平均した総合スコアで、モデルの振る舞いを多面的に捉えようとしている。数式そのものは論文に載っているが、要は『無駄打ちが少なく、短手数で、ちゃんと勝てるか』を測る指標だと読めばよい。

発見

一つ目の実験では、GPT-4o-mini を 118 本すべてのゲームで評価した。結果は手厳しい。論文の Table 2 によれば、テストした 540 レベルのうち 477 レベルで勝率は 0%、全体の勝率は 10.27%、総合スコアは 0.2764、手数の効率は平均 0.3293 だった。意味のある手の割合は平均 49.71% で、半分近くは盤面に何の変化も起こさない手だったことになる。人間なら直感で解ける小さく単純なステージでも、モデルは取りこぼす——著者らはこう述べている。

二つ目の実験では、6つのモデル(gpt-4o-mini、o3-mini、gemini-2.0-flash-exp、gemini-2.5-pro、deepseek-chat、Deepseek-r1)を、リアルタイムのアクションから空間パズルまで性質の違う6ゲーム(zelda、aliens、boulderdash、realsokoban、escape、sokoban)で比べた。Table 3 を見ると、LLM の中では推論特化の GPT-o3-mini が頭一つ抜けており、Aliens で 80.0%、Zelda で 72.0%、Sokoban で 52.0%、Escape で 44.0% の勝率を出した。同じく推論モデルの Deepseek-r1 は Sokoban 50.0%、Escape 54.5% と、計画が要る局面で健闘している。一方で realsokoban はほぼ全モデルが 0% で、わずかに gemini-2.5-pro が 4.0% を出したのみだった。

比較対象として置かれた古典的な探索アルゴリズムは、やはり強い。木探索系の olets は Aliens 100.0%、Zelda 76.0%、Escape 68.0% を記録している。著者らは「LLM は探索ベースの手法に総じて及ばない」と整理しつつ、Sokoban や Escape のような計画重視の環境では一部の LLM が驚くほど健闘した点に注目し、『探索だけでは足りない場面で役立つ構造的な推論の素地を持つのかもしれない』と慎重に述べている。なお、空間把握を助けるために座標を明示するタグ付けも試されたが、論文の Table 6 では Fisher の正確確率検定(少ない試行数でも差が偶然かを判定する手法)で有意な改善は得られなかったと報告されている。

使いどころ

では、ゲームやパズルを作る人はこの研究をどう使えるか。具体例を挙げたい。第一に、もし自分が倉庫番(Sokoban)系の押しパズルを作っていて、AI をプレイテスターとして使おうと考えているなら、この論文は現実的な見取り図になる。realsokoban がほぼ全モデルで 0% だったという事実は、『箱を押して経路を作る』類の多手先の計画を、今の言語モデル単体には任せきれないことを示している。AI に解かせて難易度を測るなら、推論特化モデルを選ぶか、外部に探索アルゴリズムを併用する設計が要る。

第二に、もしハイパーカジュアルや PCG でレベルを自動生成しているなら、VGDL のように『ルールとレベルを短い記述で書ける言語』を用意し、生成したステージをアルゴリズムで自動評価するループの発想がそのまま参考になる。クリア可能かどうかを機械的に確かめる仕組みを生成パイプラインに組み込めば、壊れたレベルを量産せずに済む。第三に、チュートリアルやヒント機能を作るなら、論文の失敗分析が宝の地図になる。モデルが『鍵を拾った後の自分』を別人だと誤認したり、進めるのに何もしない手を選んだりする癖を知っておけば、プレイヤー補助 AI の弱点を先回りして設計できる。

加えて研究・教育の文脈でも使える。盤面を ASCII にして座標を明示する、ルールを自然言語に翻訳して渡す、といった本論文のプロンプト設計(モデルへの指示の組み立て方)は、自作のゲーム AI を試すときの実践的なレシピになる。著者らが公開しているコード(GitHub のリポジトリ)を土台にすれば、手元のゲームを言語モデルに遊ばせる実験を、ゼロから作らずに始められる。

限界

限界は、著者自身が認めている点と、私が読んで気づいた点の両方を書いておく。著者らがはっきり述べているのは、このベンチマークは『まだ全く解けていない(very far from solved)』段階だということ、座標タグ付けによる空間補助は核心的な弱点を解消しきれないこと、そして言語モデルは A*(エースター、最短経路を探す古典的な探索手法)のような意味でのアルゴリズム的な経路計画を持っていないこと、文脈つきの指示も効かなかったこと、である。失敗は偶然のノイズでは説明できず、空間把握・記号の同一性・行動の整合の三つに根がある、と整理している。

Fukai がここで指摘するのは、評価設計の偏りだ。118 本すべてを回したのは GPT-4o-mini 一つだけで、複数モデルの比較は6ゲームに限られている。だから『どのモデルが全体として強いか』を 118 本規模で言い切ることは、この論文だけではできない。また zero-shot で記憶を一切渡さない設計は、その場の推論を測るうえでは筋が通っているが、実際に人が使うエージェントは記憶や道具を併用するのが普通だ。本ベンチマークの数字を『LLM はゲームが解けない』と一般化しすぎないよう、私は注意したい。

もう一点、評価されたモデル(gpt-4o-mini、o3-mini、gemini、deepseek 系)は 2025 年なかば時点の顔ぶれであり、この分野はモデルの更新が速い。そして本稿は AAAI 2026 に査読中のプレプリントで、被引用もまだ多くは積み上がっておらず、広く議論された段階とは言えない。結論は今後の版で動きうる、という前提で読むのが安全だと考える。

Fukai の読み

ここからは私の解釈だと断ったうえで書く。私はこの研究を、ゲーム AI 研究が長年積み上げてきた『汎用性をどう測るか』という問いの、言語モデル時代における新しい一章として位置づけたい。設計批評の語彙で言えば、GVGAI が VGDL という小さな記述言語で『無限にゲームを作れる試験場』を用意したことの意味は大きく、これは難易度や面白さを評価する物差しそのものを、特定のタイトルから切り離して再利用可能にする試みに近いと読める。探索アルゴリズムが今なお言語モデルを上回るという結果は、私には『言葉で考えること』と『盤面を空間として計画すること』が別の能力であることを、静かに突きつけているように映る。

おわりに

より深く知りたい人は、同じ著者陣による関連研究も合わせて読むと地図が見える。LLM を 2D マップの移動課題で評価した GameTraversalBenchmark(Nasir, James, Togelius, 2024)は、本論文の空間推論の弱点と地続きの話だ。生成側の理論を押さえたいなら、Shaker, Togelius, Nelson による教科書『Procedural Content Generation in Games』(2016)が土台になる。著者らは将来、言語モデルに『ゲームを遊ぶ』だけでなく『ゲームを設計する』——ルールやレベルを生成させる——方向への拡張を予告しており、作る側にとってはむしろここからが本題かもしれない。私はその続報を、濃いめのコーヒーを淹れて待ちたい。

参考文献

本記事で参照した論文と関連資料:

・GVGAI-LLM: Evaluating Large Language Model Agents with Infinite Games (Li, Lin, Nasir, Bontrager, Liu, Togelius, 2025, arXiv preprint; AAAI 2026 査読中)

・著者らの公開コード(GitHub: doveliyuchen/GVGAI_GYM)

・関連研究: GameTraversalBenchmark (Nasir, James, Togelius, 2024)(LLM の 2D マップ移動・計画能力の評価)

・関連研究: Shaker, Togelius, Nelson『Procedural Content Generation in Games』(Springer, 2016)(PCG の教科書)