Waugh：用数独与 Slitherlink 测量 AI 的推理能力——Fukai 解读

一段话总结

我读了一篇论文，把数独、Slitherlink这类"铅笔解谜(pencil puzzle，泛指用纸笔就能解开的逻辑谜题)"，改造成衡量大型语言模型(LLM，通过学习海量文本、以预测下一个词的方式生成文章的AI)推理能力的标尺。作者是 Approximate Labs 的 Justin Waugh，这是一篇 2026 年 3 月 2 日发布的 arXiv 预印本(尚未经过同行评审的稿件)。

关键在于，机器不仅能判断答案是否正确，还能严格核算"过程中的每一手是否违反规则"。研究从 62,231 道题、94 种类型的谜题中挑选出 300 题、20 种类型，评测了来自 11 家提供方的 51 个模型。即便是表现最强的 GPT-5.2，在借助工具反复试错的"能动式(agentic)"解法下也只有 56.0%，据作者所说，约有一半的基准题目仍未解出。本文希望不用打开论文，也能让读者抓住要点。

前言

我今天选的是一篇题为《Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning(多步可验证推理基准)》的论文。作者是 Justin Waugh(Approximate Labs)。arXiv 编号 2603.02119，发布于 2026 年 3 月 2 日。这里先说明一点：它并非通过同行评审的会议论文，而是作为企业研究日志公开的预印本(尚未经审阅的稿件)。还很新，尚未积累起广泛的讨论。

身为一个自称解谜网站的写手，为什么选这一篇？理由很简单，题材正是我们自己的园地。数独、Nurikabe(涂涂乐)、Slitherlink、Masyu(珍珠链)、Yajilin(箭头链)、美术馆(Light Up)——但凡是解谜爱好者，光听名字手就会痒。把这些用作AI评测工具的想法，对创作者而言同样富有启发。我把这项研究读作：机器代为承担了解谜"公正性"这件事。

背景

近年的LLM作为"推理模型(reasoning model，即在作答前先用文字写出思考过程的LLM)"，展现出一种性质：投入的时间(算力)越多，就越聪明。可这份聪明该如何公平衡量？这很难。作文或写代码的评分，常常不得不依赖人类或另一个AI的主观判断。

作者认为，铅笔解谜恰好能干净地绕开这个评分难题。规则完全确定，答案唯一(保证只有一个解)，也就不需要主观评分(那种随人或AI喜好而摇摆的判定)。此外，求解需要长链条的推理；种类多达数十种、结构各异；再加上这一领域分享的是"题目"而非"答案集"的文化，训练数据混入答案(contamination，也就是作弊的源头)的可能性较低——作者列举了这四点，作为铅笔解谜适合用于评测的理由。

方法/思路

作者首先以解谜分享网站 puzz.link 为源头，收集了 62,231 道、94 种类型、已验证唯一解的谜题。再从中挑选 300 题、20 种类型(涵盖多个难度档)，作为共同的标尺。谜题被称作"约束满足问题(constraint satisfaction，即寻找同时满足所有既定规则的排布方式)"，文中指出其中许多接近 NP 完全(NP-complete，一种验证答案很快、但随规模增大求解耗时会急剧膨胀的问题类型)。

评测分两种。一种是"直接作答(direct ask)"：把题目交给模型，要求它在一次回复中写出完整答案。另一种是"能动式(agentic，即AI借助工具，落一手、核实结果、再反复修正的解题方式)"：模型可以使用落一手、落多手、核对盘面完成度、把盘面画成图、查询规则、重来、投降等工具进行求解。

这项研究的骨架在于"逐步验证(step-level verification)"。每当盘面因一手而改变，专用的验证器(verifier，一种以机械方式判断落子是否正确的程序)就会核实该状态，并具体返回违反了哪条规则、盘面上的哪个位置出了问题——不依赖人或另一个AI的主观判断(no LLM-as-judge)。作者将其定位为"过程监督(process supervision，即不仅在最终答案、而是在每一步都给出对错信号)"以及强化学习(reinforcement learning，通过试错、以奖励学习有效行为的框架)的基础。同时也公开了可供外部程序操作的强化学习环境(与Gym兼容)。

发现

结果坦白说相当严峻。即使让表现最强的 GPT-5.2 以最大推理努力运行，能动式解法也只有 56.0%(在84题上评测)；直接作答则仅有 27.0%。作者在摘要中报告，GPT-5.2 把推理努力从零提升到最大后，成绩提升了 81 倍(数字照录原文)。反过来说，如果不投入努力(=算力)，几乎解不出来。

另一条轴线是"能动式反复"。据作者所说，Claude Opus 4.6 在不使用扩展思考的情况下，直接作答几乎解不出(0.3%)，但借助工具反复核实后能提升到 30.0%。在相同题目上的对照(matched)中，据称 Opus 4.6 提升了 +30.0 个百分点，GPT-5.2@xhigh 提升了 +35.7 个百分点。作者据此认为，"深思熟虑的深度"与"试错反复"是两条独立的能力轴线。

而且这也是一场持久战。能动式挑战的手数中位数为 29 手、耗时 17 分钟，前 10%(P90)达到 113 手，最长的一次超过 1,221 手、耗时 14.3 小时(数字照录原文)。作者写道："这考验的不是一次漂亮的思考，而是能否持续运用长上下文(long-context，一次性处理长篇往来对话的能力)。"成本波动也很大，平均每次约 1.66 美元(基于 17,032 次运行的平均值)，但不同模型之间每次成功的成本差距高达约 67,000 倍。按各提供方的最佳模型来看，前三名(OpenAI、Anthropic、Google)均超过 33%，而中国开源权重阵营中表现最好的模型为 6%。

用武之地

接下来，我想具体列举三条以上、制作解谜或游戏的人可以如何利用这项研究。第一，把生成与验证放进同一个循环的设计。如果我在制作 Nurikabe 或 Slitherlink 的自动生成器，会希望盘面每落一手，内部就有验证器返回"违反了哪条规则、在哪个位置"。这样能同时获得唯一解保证与局部化的错误信息。

第二，提示功能。这项研究的验证器给出的不是笼统的"错误"，而是具体的"这一行违反了这条规则"。这直接就是优质游戏内提示的设计图。如果我在做铅笔解谜应用，会考虑不再只显示"不正确"，而是分阶段公开所违反的规则与位置——也就是把验证器的输出翻译进UI。

第三，难度估计与自动化游玩测试。能动式解题所需的手数(中位数29手，P90为113手)，本身就可以当作难度的代理指标。如果我在为超休闲游戏批量产出关卡，可以按模型需要多少次修正才能解出来给关卡排序，再用于难度曲线的调整。第四，这项研究的两条轴线(深思能力/试错能力)同样对应人类玩家。为了同时支持"预读型"与"试错型"玩家，在设计中留出撤销(undo)与"核对"按钮——这是验证器反馈的人类版本——的空间是有意义的。此外，公开的 62,231 题、94 种类型数据集(Hugging Face)以及源头 puzz.link，本身也是现成的创作素材。

局限

我把局限分成作者自己承认的部分，与我自己阅读时注意到的部分。作者本人明确表示，两种解法都刻意保持为"简单基线(simple baselines)"——也就是没有用精巧的提示工程去堆分数，所以这里的成绩更接近下限而非上限。他还提到，在最大推理努力的区间，超时、上下文长度限制这类现实的障碍会显现出来。能动式评测只在30题或84题这样偏小的子集上进行，与直接作答的300题相比存在规模差(作者也一并给出了同题对照的数值，算是有所照顾)。

我(Fukai)在这里想指出的是以下几点。第一，这是"解题能力"的标尺，不是"制作、设计能力"的标尺，因此对创作者的启示终究要间接转译。第二，排行榜是 GPT-5.2、Opus 4.6、Gemini 3.1 这些特定版本的一张快照，56% 这个数字与这一版本绑定，模型一旦更新，很快就会过时。第三，"答案难以混入训练数据"这一优点，在我看来目前仍只是设计上的预期，尚未被完全证明。最后，这是一篇未经同行评审的预印本，且是企业研究日志，被引用次数还很少——复现与外部验证都还是未来的事，这一保留意见无法省略。

Fukai 的解读

仅此一段，我要先声明是我个人的解释。我想把这项研究放进"在可验证的环境中训练AI"这一近年的潮流之中来看。用设计批评的语汇来说，这接近于把解谜长久以来所守护的契约——"存在唯一解，盘面随时可依规则核算"——加以自动化。有意思的是，验证器并未被当作最终答案的裁判，而是被重新用作逐步告知对错的"教师"。让解题者变聪明的工具，其实同时也是创作者手中的质量保证工具——我把这份双重性读作这篇论文的核心。

结语

最后留一份地图。想进一步了解的读者，可以参照同样以逻辑谜题衡量推理的谱系：以倉庫番(仓库番)为题材的 SokoBench，以及以数独变体衡量创造性推理的 Sudoku-Bench，一并阅读会看清这一领域的地形。也能借此掌握"不只核对答案对错，还核实过程"这一想法究竟扩展到了什么程度。

我自己是端着一杯浓的手冲咖啡，在打印出来的论文上用彩色笔划线读完的。虽然讲的是解谜的AI，读完却被拉回一个问题：什么才是好的解谜——可核算的公正性，与看得清的长链条步骤。对创作者而言，我想这也不是一个坏问题。

参考文献

本文参照的论文与相关资料：

・Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning (Justin Waugh, 2026, arXiv preprint)

・Approximate Labs: Pencil Puzzle Benchmark(作者本人的解说页面)

・数据集与运行日志 (Hugging Face)

・ppbench.com(可试玩题目、回放模型解答过程的官方网站)

・相关研究：SokoBench: Evaluating Long-Horizon Planning and Reasoning in Large Language Models (Monti et al., 2026)

・相关研究：Sudoku-Bench: Evaluating creative reasoning with Sudoku variants (2025)