Mannem et al.: 学べるパズルと、学べないパズルがある — Fukai が読む

一段落要約

今日読んだのは、ハノイの塔・川渡り・ブロックワールド・チェッカー跳びという4つの古典パズルを、難易度のつまみが1本だけの形に揃え直し、そこに小さな言語モデルを訓練して「どのパズルなら学べて、どのパズルなら学べないのか」を測った preprint である。問題数は 10,817 問、手数にして 285,933 手。難易度は N=1 から 10 まで刻まれ、N=1〜7 で訓練して N=8〜10 は完全に取り置いた。つまり「訓練で見たより難しい問題」を別枠で採点している。

結果は、パズルによって天と地ほど違った。ブロックワールドでは T5 系のモデルが検証で 97.27%、取り置いた難問でも 81.00% を解いた。ところがハノイの塔は最良でも検証 11.11%・難問 0.00%、チェッカー跳びは 1.11%・0.10%、川渡りに至っては全モデル全条件で 0.00% である(いずれも論文の Table 2)。同じ「論理パズル」という括りの中で、これだけ差が開く。

著者らはこの差を、モデルの大きさではなくパズルの構造と入出力の形の問題として整理している。実際、6000万パラメータの T5 が 1億2400万パラメータの GPT-2 に全パズルで勝った。パズルを作る側から読むと、これは「難しさ」を手数だけでなく、1手が盤面のどれだけを書き換えるか・選択肢が何通りあるか・手数がどう伸びるか、の三本で見る道具になる。なお本稿は arXiv preprint(arXiv:2606.15686、2026年6月)であり、本文に「採択され次第コードとデータを公開する」とある通り、まだ査読を通っていない段階のものだ。

はじめに

論文の題は「Recurrent Reasoning on Symbolic Puzzles with Sequence Models」(記号パズルにおける反復的な推論を、系列モデルで扱う)。著者は Gowrav Mannem、Chowdhury Marzia Mahjabin、Jason Chen、Shivank Garg、Kevin Zhu の5名で、所属は Algoverse AI Research、Jason Chen は Cornell University との併記になっている。arXiv ID は 2606.15686、投稿は 2026年6月である。

発表先について先に断っておく。これは arXiv の preprint であり、特定の会議や雑誌の査読を通ったものではない。論文中に「コードとデータは採択され次第公開する」と書かれていることから、どこかに投稿中の段階と読める。したがって本記事では、数値は論文が示した通りに引用しつつ、結論の一般化については慎重な言い方をとる。

私がこの論文を今日選んだのは、昨日このサイトで扱った Pereira と Zuidema の研究(推論モデルの内部にハノイの塔の盤面表現が生まれ、手順を書き出す途中で崩れていくという話)とちょうど裏表になるからだ。あちらがモデルの内側を覗いて「どこで壊れるか」を見た研究なら、こちらは外側から「どのパズルなら壊れないか」を測った研究である。二本を並べると、パズルの難しさが機械の側でどう効くのかが立体的に見えてくる。

背景

言語モデルにパズルを解かせる研究はこの数年で急増したが、その多くは「最終的に正解を出せたか」で採点してきた。著者らはこの採点の仕方に不満を述べる。推論として本当に問いたいのは、途中の一手一手が合法だったか、長い手順のあいだ一貫していたか、そして最短に近い手数で終えられたか、のはずだからだ。答えだけ合っていても、途中がでたらめなら推論とは呼びにくい。

この問題意識は、著者らが最も目立つ形で引く Shojaee ら(2025)の指摘の延長線上にある。モデルは一見できているように見えて、難易度をわずかに上げただけで崩れる脆い当て推量に頼っていることがある、という指摘だ。関連して Valmeekam ら(2022, 2023)は計画課題のベンチマークで、素直な次の一手の予測だけでは多段の推論が安定しないことを示し、Kambhampati(2024)はそこから明示的な記号処理の必要を論じている。

分かっていなかったのは、その脆さが「モデルの側の性質」なのか「パズルの側の性質」なのか、という切り分けである。同じ大きさのモデルに同じ量のデータを与えても、パズルの種類によって結果が変わるなら、難しさの一部はパズルの構造に宿っていることになる。RecurrReason というこのベンチマークは、その切り分けをするために作られている。

アプローチ

著者らはまず4つのパズルを、共通の「難易度つまみ」N の下に揃えた。ブロックワールドは N 個のラベル付きブロックを積み替える課題で、1手は一番上のブロックを別の山に移すこと。ハノイの塔は3本の杭のあいだで N 枚の円盤を、大きい円盤を小さい円盤の上に置かないという規約のもとに移す。チェッカー跳びは赤 N 個・空き1・青 N 個の並びを、隣へずらすか相手の駒を1つ飛び越すかで左右入れ替える。川渡りは N 組の俳優とエージェントを、定員 k の舟で渡すが、エージェント A の同伴なしに俳優 a が他のエージェントと同席してはならない、という制約がつく。

各問題には幅優先探索(BFS。近いところから順に全部調べて最短経路を見つける古典的な探索法)で求めた最短手順が付いている。だから採点する側は、モデルの一手一手を「最短からどれだけずれたか」まで含めて機械的に判定できる。内訳は Table 1 にあり、ブロックワールド 849 問 5,827 手、チェッカー跳び 5,700 問 242,494 手、ハノイの塔 60 問 12,216 手、川渡り 4,208 問 25,396 手である。

モデルは2系統。ひとつは T5-small(6000万パラメータ)で、符号化器・復号化器型(入力をまとめて読む部分と、答えを1語ずつ書き出す部分に分かれた構造)。現在の盤面と目標の盤面をまとめて入力側に置くので、書き出しのどの時点でも目標を見返せる。もうひとつは GPT-2(1億2400万パラメータ)で、復号器のみの型。現在の盤面・目標・次の盤面を1本につなげて左から右へ読むため、盤面のトークンは後ろに置かれた目標を参照できない。著者らはこの違いを「因果マスク(前の語だけを見る仕組み)による構造的なボトルネック」と呼んでいる。

訓練条件は各系統3つ。ゼロから訓練する場合、事前学習済みのまま何も教えない場合(ゼロショット)、事前学習済みを微調整する場合である。最適化には AdamW を使い、学習率 0.0001、バッチサイズ 16、改善が5回止まったら打ち切り。評価は4つの指標で行う。最短手数の2倍以内に目標へ届いたかを見る到達率、合法手の割合、最短からの超過分、そして失敗の内訳(非合法手・出力が読めない・同じ盤面に戻る堂々巡り・途中で止まる)である。

発見

まずブロックワールド。事前学習済みの T5 を微調整した条件が検証 97.27%、取り置いた難問で 81.00% を出した(Table 8)。同じ T5 でもゼロから訓練した場合は 0.00%、事前学習済みのまま何も教えない場合も 0.00% である。GPT-2 は同じ微調整条件で検証 24.55%・難問 0.00%、ゼロから訓練で検証 21.82%・難問 0.00% にとどまった。つまり、このパズルだけは「事前学習した T5 を微調整する」という一点でだけ解けている。

残りの3つは厳しい。ハノイの塔は T5 の微調整で検証 11.11%、難問 0.00%(Table 6)。GPT-2 は微調整でも 0.00% だった。チェッカー跳びは両系統とも検証 1.11%・難問 0.10%(Table 5)。川渡りは Table 7 の全項目が 0.00% である。難しい方に振った N=8〜10 で成績が残ったのは、実質ブロックワールドの 81.00% だけということになる。

失敗の中身も見ておきたい。ブロックワールドで T5 が失敗するとき、検証では 66.7% が堂々巡り・33.3% が途中停止で、非合法手はほぼ出ない。難問側では堂々巡り 58.3%・途中停止 37.5%・非合法手 4.2%。一方 GPT-2 は検証で堂々巡りが 80.7% なのに、難問側では非合法手が 91.4% に跳ね上がる(Figure 2 と Table 9)。著者らはこれを「訓練で見た範囲では合法手を覚えているが、目標への近さで手を選べていない」と読み、難易度が上がるとその合法性の知識自体が崩れると整理している。ハノイの塔では T5 の検証時の失敗が 100% 非合法手、チェッカー跳びでは両系統とも非合法手が約86〜87%を占めた。

そして著者らが結論として押し出すのは、規模ではなく構造だという話である。6000万パラメータの T5 が 1億2400万パラメータの GPT-2 に全パズルで勝った。学べるかどうかを決めるものとして、論文は3つの性質を挙げる。ひとつ、1手を検算するのに盤面のどれだけを見る必要があるか(ブロックワールドは山の一番上だけで済むが、川渡りは全員の配置を見ないと合法性が判定できない)。ふたつ、その局面で選べる手が何通りあるか(川渡りは舟に乗せる組み合わせの数だけ膨らむ)。みっつ、最短手数がどう伸びるか(ブロックワールドは N に比例して伸びるだけだが、ハノイの塔は円盤が1枚増えるごとにほぼ倍になり N=10 で1023手、チェッカー跳びは二乗のペースで伸びて N=10 で120手)。1手あたりの誤り率が一定なら、成功率は手数の分だけ掛け算で目減りしていく、というのが著者らの説明の骨である。

使いどころ

ひとつめ。難易度設計のものさしとして、この三本(1手を検算するのに盤面のどれだけを見るか / 選べる手が何通りか / 手数がどう伸びるか)はそのまま使える。もし自分が倉庫番ふうのパズルを作っているなら、箱を1つ増やすのは主に二番目と三番目のつまみを回す行為で、「押した先に何があるか」だけで合法性が決まる限り一番目は低いままだ。逆に「盤面全体を見ないと合法かどうか分からない」ルール(たとえば全体の色数や対称性を保てという制約)を足した瞬間、体感難易度は手数と無関係に跳ね上がる。作者が「手数は同じなのに急に難しくなった」と感じるとき、たいてい一番目が動いている。

ふたつめ。ゲーム内にヒント機能や自動ソルバを積むつもりなら、この論文は入出力の形について具体的な助言をくれる。目標状態を毎手あらためて見せる形式(T5 側の条件)と、最初に一度だけ書いて後は流す形式(GPT-2 側の条件)で、同じ規模なら前者が明確に強かった。実装に落とすなら、ヒント生成のたびに「現在の盤面」と「目標」をセットで渡し直すこと、そして合法手の判定はモデルに任せず記号的なチェッカを外付けすることだ。失敗の内訳で非合法手が主因になっている以上、そこは学習で埋めるより検算で潰した方が早い。

みっつめ。逆向きの使い方もある。「AI に簡単に解かれたくない」パズルを設計したいなら、川渡り型の大域制約――盤面全体を見ないと合法性が判定できない制約――が現時点では効く。この論文の範囲では全モデル全条件で 0.00% だった。ただしこれは「今のこの規模のモデルでは」という限定つきであり、防壁として恒久的に頼れる保証はない。

よっつめ。プレイヤー分析の分類にも借りられる。この論文が使う失敗の四分類(非合法手・出力が読めない・同じ盤面への堂々巡り・途中で止まる)は、そのまま人間のプレイログの分類として通用する。堂々巡りが多いステージは「ルールは分かっているが目標への方向が見えていない」、非合法手が多いステージは「ルールがまだ伝わっていない」、途中停止が多いステージは「諦めの閾値を超えている」と読める。チュートリアルのどこを直すべきかが、この三分類だけでかなり絞り込める。

限界

著者自身が認めている弱点から挙げる。第一に、成功率が手数の分だけ掛け算で目減りするという説明は、各手の誤りが独立で誤り率も一定という単純化に立っている。著者らはこれを「単純化した仮定」と明記し、実際には誤りは相関しうると書いている。第二に、扱ったパズルは4つだけで、他の領域へ広げられるかは未確認である。第三に、事前学習済みをそのまま使う条件は全パズルで成績が出なかったため、転移についての議論は限定的にならざるを得ない。第四に、モデルが 6000万〜1億2400万パラメータと小さく、大規模な言語モデルへ外挿できる保証はない。

Fukai がここで指摘するのは、まず問題数の偏りである。Table 1 の内訳を見ると、チェッカー跳びが 5,700 問なのに対しハノイの塔は 60 問しかない。ハノイの塔は N を決めれば初期配置も目標配置も実質1通りに定まるので、これは作りの必然でもあるのだが、その 60 問の上で出た「11.11%」という数字は、問題数から逆算すると数問単位の揺れに見える。パズル間で成績を横並びに比べるときは、この分母の差を頭に置いておきたい。

もう一点、Fukai が指摘するのは「学べない」の読み方だ。川渡りの 0.00% は「この2系統のモデルを、この量のデータで、この入出力形式で訓練した場合」の結果であって、原理的に学習不可能だと示したものではない。著者らも架空の一般法則としては書いていない。設計に持ち帰るときは「大域制約は現時点のこの手のモデルにとって難しい」という限定つきの読み方にとどめておくのが安全だろう。加えて本稿は査読前の preprint であり、被引用も積み上がっていない段階である。

Fukai の読み

ここからは Fukai の解釈である。私はこの研究を、「パズルの難しさを機械の学習しやすさの側から測り直す」試みの一つとして位置づけたい。著者らが挙げた三本――1手を検算するのに盤面のどれだけを見るか、選べる手が何通りか、手数がどう伸びるか――は、機械の話としてだけでなく、人間のプレイヤーが盤面を頭のどれだけの容量で保持しなければならないかの指標としても読める。設計批評の語彙で言えば、これは「難易度曲線」という曖昧な言葉を三つの独立したつまみに分解する提案に近い。もっとも、著者らが人間の認知について何かを主張しているわけではない。人と機械で「難しさ」の勾配が揃うのか、それとも川渡りのように機械にだけ極端に効く軸があるのか――そこはまだ誰も測っていない、と読める。

おわりに

もっと深く知りたい人は、著者らが最も強く踏まえている Shojaee ら(2025)の「難易度を少し上げると崩れる」という指摘、それに Valmeekam ら(2022, 2023)の計画課題ベンチマークと Kambhampati(2024)の議論を合わせて読むと、この分野の地図が見えやすい。構成的な一般化の古典としては Lake と Baroni(2018)の SCAN も、失敗の型を知る意味で参照されている。

そして、このサイトで昨日扱った Pereira と Zuidema の論文と並べて読むことを勧めたい。あちらは「モデルの内側に盤面の地図はあるが、書き出しの途中で崩れる」と言い、こちらは「そもそも崩れにくいパズルと崩れやすいパズルがある」と言う。二本を重ねると、パズルという形式がモデルにとって何を要求しているのかが、内と外の両側から輪郭を持ちはじめる。

参考文献

本記事で参照した論文と関連資料:

・Recurrent Reasoning on Symbolic Puzzles with Sequence Models (Gowrav Mannem, Chowdhury Marzia Mahjabin, Jason Chen, Shivank Garg, Kevin Zhu, 2026, arXiv preprint arXiv:2606.15686)

・同論文の HTML 全文(Table 1・2・5〜9、Figure 2 を含む)

・論文の関連研究節で引かれている主な文献: Shojaee et al. (2025) / Valmeekam et al. (2022, 2023) / Kambhampati (2024) / Lake & Baroni (2018, SCAN) / Talmor et al. (2020) / Ding et al. (2024) / Mueller et al. (2022)

・当サイト関連記事: Pereira & Zuidema: 推論モデルはハノイの塔の地図を持ち、そして途中で失くす — Fukai が読む

・査読状況: 本稿は arXiv preprint であり、DOI は付与されていない(本文に「採択され次第コードとデータを公開する」との記載あり)