Triebel et al.: 名作物理パズルで、AI に「思考」と「手」の両方はあるか — Fukai が読む

ひとことで言うと

今日紹介するのは、名作の物理パズル『The Incredible Machine 2』(1994年、ピタゴラ装置のような仕掛けを組んで課題を解くゲーム)を舞台に、最近の画像とことばを同時に扱う AI(VLM。Vision-Language Model、画像を見て言葉で考えるモデル)がどこまで人間のように問題を解けるかを測った論文だ。著者らは VLATIM という評価セットを作り、5段階の課題を用意した。分かったのは、賢いとされる大規模モデルは「どう解けばよいか」の計画は立てられるのに、「画面のどこをクリックすればよいか」を正確に指させないという、思考と実行のあいだの大きな断絶だった。

どのモデルもパズルを最後まで解ききることはできなかった。査読前の arXiv preprint(投稿は2026年5月、まだ peer-review を通っていない)だが、パズル/ゲームを作る人にとっては「AI にレベルを解かせて難易度を測る」という発想の限界を具体的に教えてくれる、実務に近い一本だと私は考えて選んだ。

はじめに — 誰が、どこで

著者は Maximilian Triebel、Marco Menner、Dominik Helfenstein の3名。発表先は arXiv preprint で、arXiv:2605.11223、初版が2026年5月11日、改訂版(v2)が5月17日、分類は cs.AI(人工知能)である。査読を通った会議論文ではないので、ここでの主張はまだ第三者の査読を経ていない段階だと最初に断っておく。被引用もまだこれからの、新しい論文だ。

なぜ今日これを選んだか。私は毎朝 arXiv の新着を眺めているのだが、これは久しぶりに「実在の、しかも愛されたパズルゲーム」を正面から素材にした評価研究だった。『The Incredible Machine』は、ボールやネズミやロープや扇風機を並べて、スタートからゴールまで連鎖する装置を組み上げる——いわゆる Rube Goldberg machine(ルーブ・ゴールドバーグ・マシン。回りくどい連鎖で単純な目的を果たす仕掛け)——の元祖的なゲームだ。ここに現代の AI をぶつけると何が起きるのか。ゲームを作る側にとっても示唆が多いと感じた。

背景 — なぜこの問題が重要か

近年、画面を見て操作する AI エージェントの研究が急増している。VLM(先述のとおり、画像を見て言葉で考えるモデル)に「行動」を足した VLA(Vision-Language-Action、見て・考えて・操作するモデル)も登場し、ウェブ画面やスマホの UI を自動操作させる評価が数多く作られてきた。しかし著者らは、既存のベンチマーク(性能を測る標準課題セット)の多くが、物理的な因果——「この物体を動かすと、次に何が起きるか」——を伴う推論を十分に問うていない、と指摘する。

物理パズルはそこが難しい。ただ正しい答えを言葉で言えればよいのではなく、連続的な空間の中で正確な位置にマウスを運び、部品を置き、回し、伸ばす、という細かな操作が要る。つまり「頭で分かること」と「手を正しく動かすこと」の両方が問われる。著者らはこの、高度な論理的推論と、精密なマウス操作を要する連続的な行動空間との間の隙間(gap)こそが未解明だと位置づけ、そこを測る道具を作った。

アプローチ — VLATIM という5段階の物差し

著者らが作ったのは VLATIM(Vision-Language Against The Incredible Machine)という評価セットだ。難易度を段階的に上げた5つのパートで構成されている。いきなり「パズルを解け」と投げるのではなく、能力を分解して一段ずつ測るのがこの設計の肝だ。

パート1は視覚的接地(visual grounding。画面のどこに何があるかを、枠=バウンディングボックスで正しく指させるか)。物体の分類と位置特定を、枠の重なり具合の指標(IoU。Intersection over Union、正解の枠と予測の枠がどれだけ重なるか)や、枠どうしの距離で採点する。パート2は領域理解(そのゲーム世界のルールや物体の性質・状態が分かっているか)。パート3は事象推論(event reasoning。「これを動かすと次に何が起こるか」を、言葉と画像の両方で問う)。パート4は操作(manipulation。動かす・置く・回す・複数操作・取り除く・伸ばす、を実際にやらせる)。そしてパート5が、パズルを丸ごと解けるか、である。

採点は課題に応じて、枠の指標や、大規模言語モデルによる自動採点(LLM-E と表記される)、人間による評価(H-E と表記される)を使い分けている。評価対象は5つのモデル——オープンな UI-TARS 1.5 7B(GUI 操作用エージェント)、その土台の Qwen2.5 VL 7B、大型の Qwen3 VL 235B、そしてクローズドな Gemini 2.5 Flash と GPT-5 Mini(いずれも幅広い世界知識を持つとされるモデル)だ。数式は論文にもあるが、ここでは触れない。要は「見て、分かって、正しい場所を触れるか」を段階的に測っている、と受け取ればよい。

発見 — 計画はできる、しかし手が届かない

総合スコア(論文 Table 3、100点満点の指標)は、Gemini 2.5 Flash が 39.54 で最も高く、GPT-5 Mini 37.98、Qwen3 VL 32.52、Qwen2.5 VL 22.84、UI-TARS 1.5 が 19.76 と続いた。数字だけ見ると大きな差だが、内訳を見ると話はもっと面白い。

領域理解(パート2)では Gemini が 78.19、GPT-5 Mini が 75.48、Qwen3 VL が 60.85 と、大型モデルが高得点を取る。事象推論(パート3)でも Gemini 46.92、GPT-5 Mini 43.92 と、クローズドモデルが上位だ。つまり「ルールを理解し、何が起きるかを考える」のは大型・クローズドモデルが得意である。ところが操作(パート4)になると全モデルが大きく崩れ、しかも順位が逆転する。最も高い Qwen3 VL でも 16.96、UI-TARS 14.83、Qwen2.5 12.9 で、賢いはずの Gemini はわずか 5.83、GPT-5 Mini も 7.5 にとどまった。視覚的接地(パート1)も全体に低く、18.89〜28.46 の狭い範囲に固まっている。

そしてパート5では、どのモデルも一つのパズルすら最後まで解ききれなかった、と著者らは報告している。著者らはこの結果から、失敗には二つの型があると整理する。クローズドの大型モデルは、計画は立てられるのに画面上の正しい位置を正確に指せない——論文はこれを「Blind Strategists(目の見えない戦略家)」と呼んでいる。一方でオープンの GUI 操作系モデルは、クリックの正確さでは相対的にましだが、そもそもの推論が弱い。要するに、頭と手のどちらかしか働いていない、という診断だ。

使いどころ — ゲーム/パズルを作る人へ

第一に、AI を使った自動プレイテスト(自動でレベルを解かせて難易度や詰みを検出する仕組み)を考えている人への警告として使える。もし自分が物理連鎖系のパズル(たとえば『The Incredible Machine』系や、ボールを転がす仕掛けパズル)を作っていて、市販の VLM に「解けるか試させて難易度を測る」つもりなら、この論文はいったん立ち止まれと言っている。モデルは解き方を語れても、正確な位置指定ができず、実際にはクリック一つでつまずく。難易度推定に使う前に、まず「そのモデルは画面上の点を正確に指せるか」を自分のゲームで確かめるべきだ。

第二に、段階分解の設計思想そのものが流用できる。VLATIM の5段階(接地→理解→事象推論→操作→通し解き)は、AI エージェント向けチュートリアルや、人間のプレイヤー向けオンボーディング(最初の学習導線)の設計にもそのまま応用できる。もしハイパーカジュアルな仕掛けパズルを作っているなら、プレイヤーの学習曲線を「まず物を見分ける→性質を知る→因果を予測する→操作に慣れる→全体を解く」と分解して、各段でつまずきを計測する、という発想を借りられる。

第三に、UI・操作系の設計への示唆だ。賢いモデルほど正確なクリックでつまずいたという結果は、逆に言えば「連続的で精密なポインティングを要求するインターフェースは、AI にとっても人間にとっても負荷が高い」ことを示す。もし AI 補助や自動化を見込むパズルを作るなら、グリッド化・スナップ(位置を格子や吸着点に丸める仕組み)や、選択肢を離散化する UI を用意しておくと、AI にも人にも優しくなる。この論文は直接そうは言っていないが、操作パートの惨敗ぶりから私はそう読み取った。

限界 — どこまで信じてよいか

まず著者ら自身が Outlook(展望)で認めている点。この評価はおおむねゼロショット(zero-shot。事前の追加学習や例示なしで、その場で解かせる設定)で、しかも関連する必要な文章情報だけを与えて測っている。つまり、モデルに手取り足取り例を見せて練習させれば結果は変わりうる、という前提の上での数字だ。また対象は『The Incredible Machine 2』という特定の一作であり、ここでの成績がそのまま他の物理パズル一般に当てはまるとは限らない。

Fukai がここで加えて指摘するのは、二点だ。一つは、評価対象が5モデルと限られ、しかもクローズドモデルは中身が公開されていないため、なぜ操作で崩れるのかの原因までは切り分けられていないこと。もう一つは、採点に人間評価や大規模言語モデルによる自動採点が混じっている点で、これは物理パズルの採点として妥当な工夫だとは思うが、採点者やプロンプト次第で数字が動きうる余地があると読むべきだ。総合スコアの絶対値そのものより、「理解は高いのに操作が壊滅」という内訳の形にこそ、この論文の情報がある。

Fukai の読み

ここは私の解釈だと明示して書く。私はこの研究を、「AI は言語で考える段では賢く見えるが、身体(=画面上の手)を持たせた途端に幼くなる」という、いま各所で観測されている現象の、パズルという最も澄んだ実験場での再確認として読みたい。設計批評の語彙で言えば、これは『The Incredible Machine』というゲームが本来持っていた「頭で解く楽しさ」と「手で組み上げる楽しさ」の二層構造を、AI が片方しか掴めていないことを可視化した研究だと整理できる。パズルの手応えとは、思考と操作が噛み合った瞬間に生まれる——そのことを、AI の失敗が逆側から照らしていると私は読んだ。

おわりに

もっと深く知りたい人は、同じく画面操作エージェントを扱う GUI ベンチマーク系の研究や、当サイトで以前紹介した倉庫番による長期計画の評価(SokoBench)を合わせて読むと、「AI にパズルを解かせて何を測っているのか」という地図が見えてくるはずだ。物理パズルを題材にした評価はまだ始まったばかりで、これから追試や拡張が出てくるだろう。素材が名作ゲームだけに、続報を追いかけたい一本だ。

参考文献

本記事で参照した論文と関連資料:

・Do Vision-Language-Models show human-like logical problem-solving capability in point and click puzzle games? (Triebel, Menner, Helfenstein, 2026, arXiv preprint arXiv:2605.11223)

・DOI: 10.48550/arXiv.2605.11223(arXiv 版、査読前)

・関連研究(当サイト): 一本道の倉庫番で AI の計画する力を測る(SokoBench, Monti et al., 2026)