Waugh: 数独やスリザーリンクで AI の推論力を測る — Fukai が読む

一段落要約

数独やスリザーリンクのような「ペンシルパズル(pencil puzzle。紙と鉛筆で解ける論理パズルの総称)」を、大規模言語モデル(LLM。大量の文章で学習し、次の言葉を予測する形で文章を作る AI)の推論力を測る物差しに仕立てた研究を読んだ。著者は Approximate Labs の Justin Waugh、2026 年 3 月 2 日公開の arXiv プレプリント(査読前の原稿)である。

肝は、答えが合っているかだけでなく「途中の一手一手がルールに反していないか」を機械が厳密に判定できる点にある。62,231 問・94 種類のパズルから 300 問・20 種類を選び、11 の提供元の 51 モデルを評価した。最も強い GPT-5.2 でも、道具を使って試行錯誤する「エージェント的」な解き方で 56.0% にとどまり、著者いわく benchmark の約半分は未解決のまま残った。本記事は、この一本を論文を開かずに要点が掴めるよう解説する。

はじめに

私が今日選んだのは、「Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning(多段の検証可能な推論のためのベンチマーク)」という一本である。著者は Justin Waugh 氏(Approximate Labs)。arXiv 番号は 2603.02119、公開は 2026 年 3 月 2 日。査読を通った会議論文ではなく、企業の研究ログとして公開されたプレプリント(査読前の原稿)だという点は最初に明示しておきたい。まだ新しく、広く議論が積み重なった段階ではない。

なぜパズルサイトを名乗る私がこれを選んだか。理由は単純で、題材が私たちの庭そのものだからだ。数独、ヌリカベ、スリザーリンク、ましゅ、ヤジリン、美術館(Light Up)——ここに並ぶのは、パズル好きなら名前を聞いただけで手が動くものばかりである。それを AI 評価の道具に使うという発想が、作る側にとっても示唆に富む。私はこの研究を、パズルの『公正さ』を機械が肩代わりする話として読んだ。

背景

近年の LLM は「推論モデル(reasoning model。答える前に思考の筋道を文章で書き出すよう訓練された LLM)」として、時間(計算量)をかければかけるほど賢くなる、という性質を見せている。ではその賢さを、どう公平に測るか。ここが難しい。作文やコーディングの採点は、しばしば人間や別の AI の主観に頼らざるを得ない。

ペンシルパズルは、この採点問題をきれいに回避できると著者は言う。ルールが完全に決まっており、答えは一意に定まる(唯一解が保証されている)。つまり主観的な採点(これは人や AI の好みで揺れる判定のこと)が要らない。加えて、解くには長い連鎖の推論が必要で、種類が数十とあって構造が多様、しかも『解答集』ではなく『問題』が共有される文化なので、学習データへの答えの混入(contamination、いわゆるカンニングの元)が起きにくい——著者はこの四点を、ペンシルパズルが評価に向く理由として挙げている。

アプローチ / 方法

著者はまず、puzz.link というパズル共有サイトを源に、62,231 問・94 種類のパズルを、唯一解を検証済みの形で集めた。そこから 300 問・20 種類(難易度の段階を複数含む)を選び、これを共通の物差しとした。パズルは「制約充足問題(constraint satisfaction。決められたルールをすべて同時に満たす配置を探す問題)」であり、その多くは NP 完全(NP-complete。答えの確認は速いが、答えを見つける手間は規模が増すと急激にふくらむ問題の型)に近いと述べられている。

評価は二通り。ひとつは「直接解答(direct ask)」で、モデルに問題を渡し、一回の応答で完成解を書かせる。もうひとつは「エージェント的(agentic。AI が道具を使い、手を打っては結果を確かめ、修正を繰り返す進め方)」で、モデルは一手打つ・複数手打つ・盤面の完成度を確かめる・盤面を図に描く・ルールを問い合わせる・やり直す・降参する、といった道具を使いながら解いていく。

この研究の背骨は「一手ごとの検証(step-level verification)」にある。盤面が一手動くたびに、その状態を専用の検証器(verifier。手の正しさを機械的に判定するプログラム)が確かめ、どのルールに、盤面のどこで反したかまで具体的に返す。人や別 AI の主観に頼らない(no LLM-as-judge)。著者はこれを、途中の一手ごとに正誤の信号を与える「プロセス監督(process supervision)」や、試行錯誤で報酬を最大化する強化学習(reinforcement learning。うまくいく行動を報酬を通じて学ぶ枠組み)の土台になると位置づけている。強化学習向けに、外部プログラムから操作できる環境(Gym 互換の環境)も併せて公開された。

発見

結果は率直に言って厳しい。最も強かった GPT-5.2 を最大の推論努力で走らせても、エージェント的な解き方で 56.0%(84 問での評価)。直接解答では 27.0% にとどまる。著者は abstract で、GPT-5.2 は推論努力をゼロから最大へ引き上げると成績が 81 倍に伸びると報告している(数値は原文どおり)。裏を返せば、努力(=計算量)を注がなければほとんど解けない、ということでもある。

もうひとつの軸が「エージェント的な反復」だ。著者によれば、Claude Opus 4.6 は拡張思考なしだと直接解答で 0.3% とほぼ解けないが、道具で確かめながら反復すると 30.0% まで上がる。同じ問題での比較(matched)では、Opus 4.6 で +30.0 ポイント、GPT-5.2@xhigh で +35.7 ポイントの上積みが出たとされる。著者はここから、「じっくり考える深さ」と「試して直す反復」は別々の能力の軸だと整理している。

そしてこれは持久走でもある。エージェント的な挑戦は中央値で 29 手・17 分、上位 1 割(P90)で 113 手に達し、最長のものは 1,221 手を超え 14.3 時間に及んだという(数値は原文どおり)。著者は「一発の良い思考ではなく、長い文脈(long-context。長いやり取りを一度に扱う力)を使い続ける試練だ」と述べる。コストの変動も大きく、1 回あたり平均およそ $1.66(17,032 回の実行の平均)だが、成功一件あたりのコストはモデル間で約 67,000 倍も開いたという。提供元別に最良モデルを取ると、上位三つ(OpenAI・Anthropic・Google)はいずれも 33% を超え、中国のオープンウェイト勢の最良は 6% だった、と報告されている。

使いどころ

ここからは、パズルやゲームを作る側がこの研究をどう使えるかを、具体的に三つ以上挙げてみたい。まず一つ目、生成と検証を同じループに入れる設計だ。もし自分がヌリカベやスリザーリンクの自動生成器を作っているなら、盤面を一手進めるたびに検証器が「どのルールに、どこで反したか」を返す仕組みを内側に持たせたい。唯一解の保証と、局所化されたエラー情報が同時に手に入る。

二つ目、ヒント機能である。この研究の検証器は「間違い」ではなく「この列がこのルールに反している」という具体を返す。これはそのまま、良質なゲーム内ヒントの設計図になる。もし自分がペンシルパズルのアプリを作っているなら、単に『不正解』と出す代わりに、反したルールと場所を段階的に開示する——検証器の出力を UI に翻訳するわけだ。

三つ目、難易度推定と自動プレイテストだ。エージェント的な解決に要した手数(中央値 29 手、P90 で 113 手)は、そのまま難しさの代理指標に使える発想がある。もし自分がハイパーカジュアル向けに大量のレベルを吐き出しているなら、モデルが何回の修正で解けるかでレベルを並べ替え、難易度カーブの調整に回せる。四つ目として、この研究の二軸(深く考える力/試して直す力)は人間のプレイヤーにも重なる。先読み派と試行錯誤派の両方を支えるよう、取り消し(undo)や『確認』ボタン——これは検証器のフィードバックの人間版だ——を設計に織り込む余地がある。加えて、公開された 62,231 問・94 種類のデータセット(Hugging Face)と源の puzz.link は、そのまま制作の素材にもなる。

限界

限界を、著者が認めている点と、私が読んで気づいた点に分けて置く。著者自身は、二つの解き方を『あえて単純な基準線(simple baselines)』にとどめたと明言している。つまり凝ったプロンプト設計で点を吊り上げていないので、ここでの成績は上限ではなく下限に近い。また最大の推論努力の領域では、タイムアウトや文脈長の制約といった現実の壁が顔を出す、とも述べている。エージェント的評価が 30 問や 84 問という小さめの部分集合で行われている点も、直接解答の 300 問と比べると規模差がある(著者は同じ問題での比較値も併記しており、その配慮はある)。

Fukai がここで指摘するのは、次の点だ。第一に、これは『解く力』の物差しであって『作る・設計する力』の物差しではない。だから作り手への示唆は、あくまで間接的に読み替える必要がある。第二に、リーダーボードは GPT-5.2、Opus 4.6、Gemini 3.1 という特定バージョンの一枚のスナップショットで、56% という数字はこの版に紐づく。モデルが更新されれば早々に古びるだろう。第三に、『答えの混入が起きにくい』という利点は現時点では設計上の見込みであって、完全に証明されたわけではないと私は読む。最後に、これは査読前のプレプリントかつ企業の研究ログであり、被引用もまだほとんどない——追試や外部検証はこれからだ、という留保は外せない。

Fukai の読み

ここだけは私の解釈だと断っておく。私はこの研究を、「検証できる環境で AI を鍛える」という近年の流れの中に置きたい。設計批評の語彙で言えば、これはパズルが古くから守ってきた契約——『唯一解があり、盤面はいつでもルールで検算できる』——の自動化に近い。そして面白いのは、その検証器を最終解の審判としてではなく、一手ごとに正誤を教える『教師』として使い直したところだ。解き手を賢くするための道具が、実は作り手にとっての品質保証の道具でもある、という二重性を、私はこの一本の芯だと読んだ。

おわりに

最後に地図を渡しておく。もっと深く知りたい人は、同じく論理パズルで推論を測る系譜として、倉庫番を題材にした SokoBench や、数独の変種で創造的推論を測る Sudoku-Bench を合わせて読むと、この分野の地形が見えてくる。『答えの正誤だけでなく過程を検証する』という発想がどこまで広がっているかが掴めるはずだ。

私自身は、濃いめのドリップコーヒーを片手に、紙に刷ったこの論文へ色ペンで線を引きながら読んだ。パズルを解く AI の話でありながら、読み終えると、良いパズルとは何か——検算できる公正さと、長い手順の見通し——という問いに引き戻される。作る人にとっても、それは悪くない問いだと思う。

参考文献

本記事で参照した論文と関連資料:

・Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning (Justin Waugh, 2026, arXiv preprint)

・Approximate Labs: Pencil Puzzle Benchmark(著者による解説ページ)

・データセットと実行ログ (Hugging Face)

・ppbench.com(パズルを試し、モデルの解答を再生できる公式サイト)

・関連研究: SokoBench: Evaluating Long-Horizon Planning and Reasoning in Large Language Models (Monti et al., 2026)

・関連研究: Sudoku-Bench: Evaluating creative reasoning with Sudoku variants (2025)