Ying et al.: あらゆる「人間のゲーム」で AI の一般知能を測る — Fukai が読む

一段落要約

今日私が訳すのは、いつもと逆向きの論文だ。この連載では「AI を使ってゲームを作る」研究を紹介することが多い。だがこの論文は「ゲームを使って AI を測る」。MIT・ハーバード・プリンストン・ケンブリッジらの研究チームが、人間が人間のために作ったあらゆるゲーム——著者らが「人間のゲームの多元宇宙(Multiverse of Human Games)」と呼ぶ空間——を、機械の一般知能(いろいろな課題に幅広く対応できる知能)を測るものさしとして提案する。

実証として、App Store と Steam の人気ゲームから100本を LLM(大規模言語モデル、大量の文章で学習した言語モデル)で作り直し、7つの最新の視覚言語モデル(画像も言葉も扱える AI モデル)に遊ばせた。結果、最も強いモデルでも人間の中央値を100としたとき8.5点しか取れなかった(出典: 論文の Figure 5)。とくに記憶・計画・ルールを遊びながら見抜く力が弱かった、と著者らは報告している。

はじめに

この論文の著者は Lance Ying、Ryan Truong をはじめとする12名で、所属は MIT、ハーバード大学、ブリティッシュコロンビア大学、プリンストン大学、ケンブリッジ大学、バレンシア工科大学にまたがる。認知科学で名の知られた Joshua B. Tenenbaum、Thomas L. Griffiths、Samuel J. Gershman、そして AI の能力評価を論じてきた José Hernández-Orallo が名を連ねている。

発表媒体は arXiv のプレプリント(査読前の原稿。arXiv:2602.17594、2026年2月19日投稿)で、まだ peer-review(専門家による査読)を通っていない可能性がある点は先に断っておく。プロジェクトのサイト(aigamestore.org)には、実際に作られたゲームとプレイ動画が公開されている。

なぜ今日これを選んだか。私がふだん眺めている PCG(Procedural Content Generation、コンテンツの自動生成)やレベル生成の論文は「作る側」の話が多い。だがこの論文は、ゲームデザインの語彙——難易度、認知負荷、何が面白いか——を、AI の能力を測る「ものさし」として裏返して使う。ゲームを作る人が日々調整している要素が、そのまま知能そのものの地図になりうる、というこの視点が面白いと思ったからだ。

背景

ゲームで知能を測る試みは古い。チェスや囲碁、Atari のゲーム、StarCraft など、特定のゲームで超人的な強さを見せた AI は数多い。だが著者らが問うのは「一つのゲームをどれだけ上手く極めるか」ではなく、「初めて出会う多種多様なゲームを、人間と同じ持ち時間でどれだけ速く学べるか」だ。

なぜ「人間のゲーム」なのか。著者らは、遊びが進化の中で保存されてきた学習の仕組みだと整理する(この主張は先行研究に基づく)。人間は現実の課題——戦略、資源管理、社会的な駆け引き、空間の把握——を小さく抽象化してゲームにしてきた。だから「人間が作り、人間が楽しめるゲーム」の全体は、人間が世界を生きるのに必要な認知能力が凝縮された図書館になっている、と読める。

従来のベンチマーク(AI の性能を測る標準テスト)には弱点があった、と著者らは指摘する。多くは狭い課題しか測らず、しかも静的なので、開発者が最適化すると急速に「飽和」して差がつかなくなる。あらゆる人間のゲームという開かれた空間なら、新作が出続けるかぎり枯れない——ここに新しさがある、というのが著者らの主張だ。

アプローチ

中心にあるのは「人間のゲームの多元宇宙」という概念だ。これは、人間が作りうるすべてのゲームと、それが実際にどれくらい作られ広まりやすいかという分布まで含む空間を指す。理論上は無限で開かれている。だが実物の商用ゲームをそのまま使うには、著作権、エンジンの多様性、人間のプレイデータの取得、応答速度、そして学習データ汚染(モデルが評価対象のゲームを訓練中に見てしまっている恐れ)という壁がある、と著者らは列挙する。

そこで著者らは AI GAMESTORE という半自動のパイプライン(工程の連なり)を組んだ。工程は4段階だ。第一に、App Store と Steam から7,500本を集め、レビュー1万件以上・平均評価4.5以上に絞り、Gemini 2.5 Flash に「数分で遊べるか」「p5.js(短いプログラムで絵や動きを作る道具)で表現できるか」「点数がつけられるか」などで適性を採点させ、100本に絞った。

第二に、その説明文をもとに LLM(ここでは Claude Sonnet 4.5)に JavaScript のゲームを書かせる。まず別の LLM が自動テスト用のスクリプトを書いて遊んでみてバグを見つけ、直させる。次に人間が実際に遊んで言葉でダメ出しし、面白く遊べるまで改良する。1本あたり平均4.7回の改良ステップ、1ステップ約2分、通しで約30分でできたという。人間が新しい仕掛けを提案して「変種」を増やすこともできる。

第三に、できた各ゲームに認知能力の注釈をつける。視覚処理、空間時間的な協調(タイミングよく動く力)、記憶、計画、ワールドモデル学習(明示されていないルールを遊びながら見抜く力)、物理推論、社会的推論の7軸を、0から5の6段階で著者3名が採点し、話し合って食い違いを埋めた。第四に、人間とモデルが同じ持ち時間で遊び、成績を比べる。モデル用には、1秒ごとにゲームを止めて次の1秒ぶんの操作を問い合わせる仕組みを用意した。

発見

人間側は Prolific(オンラインで実験参加者を募る仕組み)から106名(平均年齢38.81歳)を集め、1人が10本を各120秒ずつ遊んだ。モデル側は GPT-5.2、GPT-5-mini、Gemini-2.5-Pro、Gemini-2.5-Flash、Claude-Opus-4.5、Qwen-3-VL-32B、Llama-4-Maverick の7つを各3回走らせた。成績は各ゲームの人間の中央値を100に揃え、100本ぶんを幾何平均(極端な値に引っぱられにくい平均)でまとめている。

結果、最も強かった GPT-5.2 でも人間基準100に対して8.5にとどまった(出典: Figure 5)。上位モデルはどれも人間の1割未満で、上位6モデルの差は統計的に有意でなかった(p < 0.05)と報告されている。スコアの分布は二こぶになった。およそ3分の2のゲームでは何らかの前進があり(人間中央値の1〜3割ほど、ごく簡単なゲームでは人間を上回ることもある)、残りの3〜4割ではほとんど手も足も出ず、人間中央値の1%未満だった。

どの認知能力でつまずくか。著者らは、記憶・計画・ワールドモデル学習の3つが最大のボトルネック(詰まりどころ)だと報告する。しかも、一つのゲームが要求する認知能力の種類が増えるほど、モデルの相対成績は大きく下がった。処理の遅さが原因ではないかという疑いに対しては、素早い反応が要らないゲーム(パズルやターン制)だけで見ても大差はなかった、と著者らは応じている。時間の面では、人間が2分で終える遊びに、モデルは平均で12〜18倍、しばしば20分以上かかった。

使いどころ

これは評価の論文だが、ゲームを作る側にも持ち帰れるものが多い。少なくとも3つ挙げたい。

一つ目は、7軸の「認知能力の地図」を自分のパズルの設計監査に使うことだ。視覚処理・記憶・計画・ワールドモデル学習……と、自分のレベルがどの負荷をどれだけ要求しているかを0〜5で自己採点してみる。もし一つの軸に偏っていれば、それは「単調」の別名かもしれない。論文は、複数の軸を同時に要求するゲームほど AI が崩れると示している——裏を返せば、人間が「歯ごたえ」を感じる深さは、軸の掛け合わせにある、と読める。

二つ目は、最新の AI を「壊れないプレイテスター」として難易度の当たりをつけることだ。もしフロンティアのモデルがあなたのカジュアルゲームを一瞬でカンストさせるなら、その面は浅すぎる合図かもしれない。逆に、AI が1%も進めないのに人間はすいすい遊べるなら、その面は Baba Is You のように「隠れたルールを遊びながら見抜く」種類の面白さを持っている可能性がある。AI の失敗の形は、設計の手がかりになる。

三つ目は、生成パイプラインそのものをプロトタイピングの型として借りることだ。説明文→ LLM で JavaScript 実装→自動テストで壊れを検出→人間が言葉で改良、という流れは、1本30分・平均4.7回の改良という現実的なコストで回っている。パズルの変種を短時間で量産し、日替わりパズルやローグライクの面のように「飽和しにくい」コンテンツを作る運用に、そのまま応用できる。

四つ目に、著者らが「変種を増やして飽和を防ぐ」と述べる発想は、リーダーボードやチャレンジを長く運営したい人にも効く。同じ骨格から仕掛けを少しずつ変えることで、攻略情報が出回っても新鮮さを保ちやすい。

限界

まず著者自身が認める弱点から。今回の100本は、ほとんどが数分で覚えられる簡単・短時間のゲームで、何時間もかけるような長い時間軸の遊びは含まれない。NPC(ノンプレイヤーキャラクター、プレイヤー以外のキャラクター)も素朴で、相手の心を読み合うような込み入った社会的推論は測れていない。加えて、LLM は遊べるゲームは作れても「面白いレベル」を作るのは苦手で、生成された面はしばしば簡単すぎるか解けないかのどちらかだった、と正直に書いている。1本のゲームは複数の能力を同時に試すため、失敗がどの能力のせいかを切り分けるのも難しい、とも認めている。

ここから先は Fukai がここで指摘する点だ。第一に、評価はどれも「2分の素早い学習」に絞られている。これは人間の直感的な速さに有利な土俵で、時間をかければモデルが追いつくのかどうかについては、この論文からは分からない。第二に、遊ばれているのは LLM が作り直した近似版であって、元のゲームそのものではない。「元をどれだけ忠実に写せているか」は人間の判断に委ねられており、そこに評価の土台の揺らぎがある。第三に、認知能力の注釈は著者チーム3名が自らつけたもので、私が読んだ範囲では注釈者間の一致度は前面に出ていない。汚染を合成で避けた一方、ゲームの発想自体は人気タイトル由来なので、モデルが概念を知っている可能性は残る。

Fukai の読み

ここからは私の読みだ。私はこの研究を、ゲームデザインの評価語彙が「AI を測る単位」へと昇格していく流れの中に置きたい。難易度、認知負荷、何が面白いか——私たちが感覚で調整してきた設計の変数が、そのまま知能のものさしの目盛りとして使われている。設計批評の言葉で言えば、これは「良いゲームは、複数の能力を無理なく織り合わせて要求する」という古い直感を、AI の崩れ方という外部の証拠で裏づけたものに近い、と私は読む。作り手にとっての含意は静かだが重い。あなたが面を一つ磨くとき、あなたは知らず知らず、人間の知能のどこかを測る問題を書いているのかもしれない。

おわりに

もっと深く知りたい人へ。この論文は、Kelsey Allen らの「ゲームで心を理解する(Using games to understand the mind, Nature Human Behaviour, 2024)」や、AI の能力を軸ごとに測ろうとする Hernández-Orallo らの評価論の系譜の上にある。あわせて読むと、「ゲーム=知能の測定器」という地図が見えてくる。

作る側の関心に引きつけるなら、LLM でゲームを生成する先行研究(本文では Todd らや Nasir らの仕事が引かれている)や、この連載で以前訳した生成・難易度の論文と並べて読むと、「作る AI」と「測られる AI」が同じパイプラインの表と裏だと分かる。次にどのゲームを設計するとき、その面が測っている人間の能力は何か——そんな問いを一つ持ち帰ってもらえたら、今日の翻訳は役目を果たしたことになる。

参考文献

本記事で参照した論文と関連資料:

・AI GAMESTORE: Scalable, Open-Ended Evaluation of Machine General Intelligence with Human Games (Ying, Truong, Sharma, Zhao, Cloos, Allen, Griffiths, Collins, Hernández-Orallo, Isola, Gershman, Tenenbaum, 2026, arXiv preprint 2602.17594)

・プロジェクトサイト aigamestore.org(公開ゲームとプレイ動画)

・関連研究: Allen, K. et al. (2024). Using games to understand the mind. Nature Human Behaviour.(本文の参考文献より。ゲームを認知の研究に使う系譜)