Ye ほか: 子ども向け知能検査で画像も扱う AI(MLLM)を測る — Fukai が読む

ひとことで言うと

KidGym は、子ども向けの知能検査(ウェクスラー式知能検査。子どもの知能を複数の下位能力に分けて測る、長年使われてきた検査群)の発想を借りて、画像も文章も扱える大規模言語モデル(MLLM、Multimodal Large Language Model。文章に加えて画像などを一緒に処理できるモデル)の「賢さ」を5つの能力に分けて測るベンチマークだ。実行・知覚推論・記憶・学習・計画の5能力を、2Dのマス目(グリッド)上に並んだ12種類の課題(6つは単一能力、6つは複数能力を組み合わせた複合課題)で、易しいL1から難しいL3まで測る。

ShanghaiTech 大学のチームが9つの最新モデルを評価した。結果を私なりに要約すると、o3・GPT-5・Gemini-2.5-Pro といった上位モデルは、分類や記憶の再生ではほぼ満点を取る一方で、意味を持たない抽象的な図形を組み立てるパズル課題では最高でも0.30、個数の数え上げでも人間の1.00に対して最高0.72にとどまった。派手な言語課題ではなく、静かに「数える・組み立てる・複数のルールを同時に扱う」ところで現行モデルは崩れる、というのがこの論文の要点である。

はじめに — 何の論文か

今日紹介するのは、Hengwei Ye ら ShanghaiTech 大学のチームによる『Children’s Intelligence Tests Pose Challenges for MLLMs? KidGym: A 2D Grid-Based Reasoning Benchmark for MLLMs』だ。出典は arXiv のプレプリント(arXiv:2603.20209、2026年3月投稿。プレプリントとは、学術誌や会議の査読=専門家による審査をまだ正式には通っていない段階の公開原稿のこと)であり、この記事の時点では peer-reviewed(査読済み)として扱わないよう気をつけて読む。責任著者は Zheng Tian、ベンチマークは著者らのプロジェクトページで公開されている。

私がこの論文を今日選んだのは、テーマが二つの世界の橋渡しになっているからだ。一つは AI 評価、もう一つは子どもの認知発達を測る心理学の伝統である。ゲームやパズルを作る人にとって、「どの能力を、どの順で、どれくらいの難しさで試すか」という問いは日々の設計そのものだ。KidGym はそれを AI 相手に定式化しており、そのまま人間向けの難易度設計にも読み替えられる。しかも Gym API(強化学習でよく使われる、環境とやり取りするための共通のプログラム的な窓口)の上に作られているので、誰でも新しい課題を足せる拡張性がある。

背景 — なぜこの評価が要るのか

これまでの MLLM 向けベンチマーク(性能を測るための標準課題集)は、多くが「静的」だった。つまり画面の情報は最初から最後まで変わらず、一問一答で答えるだけだ。著者らはここに二つの穴を見る。一つは、現実のタスクは「動的」——連続して環境とやり取りし、行動を積み重ねて初めて完了する——なのに、それを測る課題が少ないこと。もう一つは、多くのベンチマークが単一の能力しか見ておらず、複数の能力がどう連携するのかが分からないことだ。

そこで著者らが下敷きにしたのが、心理測定AI(psychometric AI。人間向けに検証されてきた能力別の検査を AI 評価に応用しようという考え方)の流れと、ウェクスラー式知能検査である。人間の知能を単一の数字ではなく、解釈できる複数の下位能力の集まりとして捉える発想だ。ただし著者らは「人間の能力をそのまま AI に写すのは不適切だ」とも明言しており、子ども脳科学の専門家(共著者)と協力して、AI 向けに5つの能力を定義し直したと述べている。ARC-AGI-2(抽象的な視覚推論の難関ベンチマーク)や MiniGrid(グリッド上の目標達成課題)など既存の枠組みと並べた比較表(論文の Table 1)で、KidGym は「難易度段階あり・ユーザー拡張可・全能力・動的」という位置づけを主張している。

アプローチ — 5つの能力と12の課題

著者らが定義する5能力は、平たく言えばこうだ。実行(Execution。目標を具体的な正しい行動に変換できるか)、記憶(Memory。過去に見た情報を保ち、文脈として使い続けられるか)、学習(Learning。その場で与えられた新しいルールを——たとえ既存知識と矛盾していても——取り込んで使えるか)、計画(Planning。先を読んで手順を組み立てられるか)、そして知覚推論(Perception Reasoning。画像そのものから論理を立てて答えを選べるか)である。

12の課題のうち、単一能力を測る6つを絵的に説明しよう。分類(指示どおりに品物を容器に入れる=実行)、選択(先に見せた品物が隠れた後で思い出す=記憶)、並べ替え(『速い動物ほど重い』のような現実と食い違うルールに従って順位づける=学習)、迷路(色の鍵を集めて扉を開け、最短でダイヤに到達する=計画)、穴埋め(『頭の欠けた金魚』のような画像を、選択肢の中から正しい断片で補う=知覚推論)、パズル(4片からなる目標画像を、意味を持たないランダムな形の断片で組み立てる=抽象的な知覚推論)。残る6つは複合課題で、配置・数え上げ・暗号迷路・記憶迷路・記憶穴埋め・記憶暗号のように、単一課題に記憶や学習の負荷を一枚重ねてある。

評価を公平にするための工夫も、そのままゲーム設計の道具になる。シーンはスーパーやカフェテリア、農場など意味の異なる文脈で用意され、配置は毎回ランダムに初期化される。これは学習済みデータの丸暗記(データ汚染)を防ぐためだ。さらに、持ち物を覚えておくためのバックパックとヒントバーを状態として持たせ、行動は「バスケットボールを拾う」のような高レベルの操作に抽象化して、細かい一歩ずつの移動をモデルに強いない。各課題は3段階の難易度で、9つのモデルを1課題あたり100回のゼロショット(例示なしでいきなり解かせる)で回し、一部は思考の連鎖(CoT、Chain-of-Thought。途中の考えを言葉にさせる手法)と文脈内学習(ICL、In-Context Learning。手本を数例見せてから解かせる手法)も比較している。

発見 — どこで崩れるか

まず全体像として、閉じたモデル(API 越しの商用モデル)が開いたモデル(重みが公開されたモデル)を大きく上回り、単一能力の課題は複合課題より成功率が高かった。難易度が L1→L3 と上がると成功率はおおむね下がり、著者らはこれを課題設計が難しさを正しく段階づけている証拠だと述べている。o3・GPT-5・Gemini-2.5-Pro の3つが全次元で突出し、分類・選択・記憶暗号ではほぼ満点を取る場面もあった。ただし人間ベースラインは各課題でほぼ1.00に張り付いており、差は依然として大きい。

著者らが強調する崩れどころは、まず「意味を持たない抽象的な視覚情報」だ。穴埋め(FI)は動物のような名前のある画像を扱うのに対し、パズル(PU)はランダムな塊でできた任意の形を再構成させる。最も易しい L1 で、FI の最高が0.83(o3)なのに対し、PU の最高は0.30(GPT-5)にすぎず、ランダムに選んだ場合よりわずか5ポイント高いだけだった。次に「個数の数え上げ」。数え上げ課題(CO)は人間なら3段階とも成功率1.00なのに、最良の Gemini-2.5-Pro でも最易の L1 で0.72にとどまる。多くの失敗は、2〜3個の小さな塊を1個と取り違えるものだったという。画像の解像度を上げると改善したが、人間は鮮明さがなくても数えられる。著者らはこれを、現行モデルが数の頑健な表現を持たず、高解像度の手がかりに頼っている兆候だと読んでいる。

三つ目は「複合課題」だ。記憶迷路(MMA)や記憶穴埋め(MFI)は、迷路(MA)や穴埋め(FI)に記憶の負荷を一枚足しただけなのに、全モデルで成功率が大きく下がった。複数種類の情報を一度に処理したり、絡み合うルールを同時に扱ったりするのが依然として難しい、というわけだ。最後に推論法の効き方も課題ごとに違った。Gemini-2.5-Flash は CoT で大きく伸びる一方、CoT を内蔵する o3 ではゼロショットとの差がほとんどなく、ICL(手本を見せる方式)は配置がランダムに変わる記憶・学習系の課題ではかえってゼロショットより悪化することもあった。手本に引っ張られて、その場で変わるシーンを見落とすためだと著者らは述べている。総じて、5能力のうち知覚推論と計画が全モデルで弱い、というのが結論である。

使いどころ — ゲーム/パズルを作る人へ

一つ目。もし私が Sokoban-like(倉庫番のように箱や鍵を押して運ぶ系)や鍵扉つきの迷路パズルを作っているなら、KidGym の迷路系の三段構え——普通の迷路(色の鍵で同色の扉を開ける)→暗号迷路(『青い鍵で黄色い扉』のように対応を覚えてから開ける)→記憶迷路(先に見せたダイヤの位置を覚えておく)——は、そのまま難易度を一枚ずつ積む設計レシピになる。人間には自明な追加負荷が、解き手にとってどの順で効くかを整理する雛形として使える。

二つ目。もし私がハイパーカジュアルの PCG(Procedural Content Generation、コンテンツの自動生成)をやっているなら、『意味の異なるシーンを差し替え、配置を毎回ランダム初期化する』という KidGym の作り方は、同じ課題から無限のバリエーションを生む具体的な手順として真似できる。しかもこの仕組みは、AI の丸暗記を防ぐためのものだが、人間プレイヤーのパターン暗記を防いで毎回新鮮さを保つ用途にも読み替えられる。

三つ目。もし私が AI をソルバーやチューター、あるいは NPC の頭脳として組み込むなら、この論文は「AI に任せていい所と任せてはいけない所」の地図になる。数え上げと抽象図形の組み立てが弱いと分かっているのだから、個数は UI 側で明示する、抽象的な形合わせは人間向けに残す、といった役割分担が引ける。

四つ目に補助的な使い方として、L1〜L3 の3段階と5つの能力次元で課題をタグ付けする発想は、プレイヤーの弱点に合わせた出題や、アクセシビリティ・教育ゲームでの認知プロファイル別の課題選択にも応用できる。どの能力を試す一手なのかを設計者が言語化しておくと、後で難易度を調整するときの手がかりになる。

限界 — どこまで言えるか

著者自身が認めている弱点として、まず課題数が12と限定的である点が挙げられる。著者らは結論部で『現在の課題数は限られている』と明記し、拡張可能な枠組みであることをもって今後に委ねている。また、MLLM の『記憶』は毎ステップで全履歴を読み直せるため、人間の記憶とは別物だと本文で断っており、能力名を人間の概念と一対一で重ねてはいけない、と繰り返している。

Fukai がここで指摘するのは、次の点だ。第一に、これは『ゲーム』ではなく『検査』であり、面白さや動機づけ、フロー(没入感)を測るものではない。ゲーム設計に持ち帰るときは、あくまで能力プロファイルの話として受け取るべきだと私は読む。第二に、人間ベースラインは付録(Appendix C)に置かれているが、私はその付録を読んでいないので、被験者数や手続きの詳細については断定を避ける。第三に、報告値は基本的にゼロショットの成功率であり、実運用のプロンプト工夫や追加の道具立てで数字は動きうる。最後に、これは投稿されたばかりのプレプリントで被引用もまだ少ない段階なので、結論はまだ広く議論されていない、という留保を付けておきたい。

Fukai の読み

ここからは私の解釈だと明示しておく。私はこの研究を、ゲーム AI を『賢いか/賢くないか』の一次元で測る時代から、『どの能力が、どの組み合わせで欠けているか』を能力別に可視化する時代への移行の中に置きたい。設計批評の語彙で言えば、KidGym がやっているのは難易度カーブの自動プロファイリング——一手ごとに『これはどの能力を試す手か』というラベルを貼りながら曲線を描く作業——の AI 版に近い、と読める。人間の子どもを測る道具が、そのまま人工の解き手を測り、さらにその設計思想が人間向けのパズル設計に還ってくる。この円環こそ、私がこの論文に惹かれた理由である。

おわりに

もっと深く知りたい人は、抽象的な視覚推論の難しさを突きつける ARC-AGI-2 や、グリッド環境の古典である MiniGrid、複数の古典ゲームで LLM を測る SmartPlay をあわせて読むと、この分野の地図が見えてくる。当サイトで既に紹介した LLM×ゲームのベンチマーク群(GVGAI-LLM や SokoBench など)と並べれば、『何を、どの粒度で測るか』の設計思想の違いがくっきりするはずだ。私は今日も濃いめのドリップコーヒーを片手に、紙に刷った PDF へ色ペンで線を引きながら、次の一本を探すことにする。

参考文献

本記事で参照した論文と関連資料:

・Children’s Intelligence Tests Pose Challenges for MLLMs? KidGym: A 2D Grid-Based Reasoning Benchmark for MLLMs (Hengwei Ye ほか, 2026, arXiv preprint arXiv:2603.20209)

・KidGym プロジェクトページ(ベンチマーク公開)

・関連研究: Leveraging Procedural Generation to Benchmark Reinforcement Learning / Procgen (Cobbe ほか, 2019)(迷路課題の着想元)

・関連研究: MiniGrid / MiniWorld (Chevalier-Boisvert ほか, 2023, NeurIPS)、ARC-AGI-2(抽象視覚推論ベンチマーク)、SmartPlay (Wu ほか, 2024)