论文摘要 · 2026-07-14
Ahn et al.：谜题的难度不在“外观”，而在“概念”之中——Fukai 解读
认知科学 / 抽象推理与网格谜题（ARC/CogARC）
一段话摘要
今天要读的是美国波士顿大学 Caroline Ahn 等人于 2026 年 2 月发布在 arXiv 上的论文（尚未经过同行评审的预印本）。他们将为衡量 AI 抽象推理能力而设计的 ARC（Abstraction and Reasoning Corpus，一套从少量示例中推断网格变换规则并作答的题库）改造为供人类被试解答的实验版本“CogARC”，让累计 260 人解答网格谜题。其目的不仅在于正确率，更在于逐步记录并可视化人们“如何思考、在何处出错”。
先说结论：题目的难度并非由盘面大小、颜色数量等外观因素决定，而是取决于规则的概念复杂度。而且人们出错时也并非“各自散乱”地出错，而是趋于收敛到相同的错误答案。在我看来，这对谜题设计者而言意味着两条具体的启示——“难度应建立在概念的层次上，而非盘面的花哨程度”；“常见的错误答案恰恰是设计的线索”。
引言
论文以 Caroline Ahn 为第一作者，作者团队来自波士顿大学神经科学研究生院、心理与脑科学系、系统神经科学中心等机构。发表平台是 arXiv（编号 2602.22408），目前尚处于预印本阶段，即尚未通过正式同行评审。这一点想在开头先说明清楚（预印本是指作者在接受学会或期刊审查之前自行公开的稿件）。
我今天选读这篇论文的理由很简单。ARC 近年来一直作为衡量 AI“推理能力”的测试话题不断，但追根溯源，其题目本身正是在网格中涂色的谜题。也就是说，这是一份可以从谜题设计视角来解读的素材，却被认知科学的工具细致地测量了一遍。我觉得，这对思考“何为难度”的游戏创作者而言，是一份难得的实证地图。
还有一点让我不必对这项研究打太多折扣地去读。研究者以 40 人的线下试点（实验1）与 220 人的线上大规模版本（实验2）两阶段设计，确认了同一趋势是否可以再现。心理学的经验告诉我们，应对“仅此一次的漂亮结果”保持怀疑，但正因为他们内部已经做了重复验证（即用同样的流程再做一次以确认结果是否可再现），这番论述便可以更放心地跟随下去。
背景
抽象推理研究长期以来主要采用瑞文渐进矩阵（RPM，一种从 3×3 排列的图案中识别规律、并从选项中选出应填入空格图案的智力测验）之类的任务来进行。RPM 被广泛用作流体智力（即当场解决新问题的能力，不同于知识的积累）的指标。但作者指出，由于采用选择题形式、评分只是对错二选一，人们“如何思考”的过程几乎无法被观察到。
于是 ARC 应运而生。ARC 会展示若干输入与输出的对应示例，让被试推断其中隐藏的变换规则，并针对新的输入亲手画出正确的输出。由于不是选择题，而更接近自由作答，因而可以追踪人们提出了怎样的假设、如何动手操作、又在何处出错。规则所涉及的题材扎根于发展心理学所说的“核心知识”（即人们被认为从幼年起便具备的、关于物体、数量与空间的基本直觉），包括物体聚合、数量与几何等。
然而，以往针对人类被试研究 ARC 的工作，大多只让每人解答数题。因此，“同一个人的策略会随时间如何变化”“面对越难的题目人们会有怎样的行为”“出错时大家是否会收敛到同一个答案”这些过程性的动态几乎无从得知。填补这一空白正是本研究的目标。
方法
作者从 ARC 的训练题中精选出 75 题，将改造后供人类使用的题目命名为 CogARC。他们只选取输入与输出网格大小不变的题目，由 3 名评审员分别将每道题归入“物体聚合、几何与图案、数量与计数、目标导向”四个类别，并对规则复杂度按 1 至 3 分打分（复杂度由所涉核心知识的数量以及规则要素之间的纠缠程度决定）。
被试通过观察左侧排列的输入·输出示例来学习规则，再针对中间的输入，在右侧的网格编辑画面中涂色画出答案。每题最多可挑战 3 次，每次都会返回对错结果。研究团队将“难度分数”定义为达到正确答案所需的挑战次数，从 1（一次即答对）到 4（三次均未答对）分级。此外，他们还将从看到题目到首次动手操作之间的时间记录为“深思时间”。
有趣的是，研究者以毫秒为单位记录了每一步编辑操作（哪个格子被涂成了什么颜色）。这使得可以量化被试之间涂色方式的相似程度。他们使用一种比较两人操作集合重叠程度的指标（即观察重叠比例的杰卡德相似度）来衡量每道题“大家的解法是趋同还是分散”。整套流程在实验1（40人·线下）与实验2（220人·线上）两轮中都得到了运行。
发现
整体而言，人类被试解得相当不错。实验1的平均正确率为 89.5%（标准差 10.2%），实验2为 80.1%（标准差 16.6%，中位数 83.6%，最低 13.7%〜最高 100%）。但这一较高的平均值掩盖了题目之间的差异。在实验2中，首次挑战就有半数以上被试答对的题目占 78.7%，而九成以上被试一次性答对的题目仅占 17.3%，其中还夹杂着几乎无人能解的题目（以上数值均照原文记载）。
那么究竟是什么决定了难度？题目越难，深思时间越长（实验2中相关系数 r=0.69，p<.001），大家的解法也越分散（难度与编辑相似度的相关系数为 r=-0.83，p<.001，呈强负相关）。另一方面，难度与盘面大小（r=0.05）、颜色数（r=-0.05）、所需涂改次数（r=0.12）几乎无关。作者总结道，难度并非寄宿于外观或操作量，而是寄宿于“看穿规则”这件事本身。
研究还追踪了随时间推移出现的变化。随着题目推进，被试做出第一步操作的速度变快了（深思时间的斜率平均为 -0.114，具有统计显著性）。然而正确率却略有下降（难度分数的斜率平均为 0.005，虽小但显著）。这两项变化之间几乎不联动（r=-0.12，p=.066），作者认为，与其说这是“用速度换取了准确性”，不如说是对任务的熟悉与轻度疲劳所导致的适应。他们还指出，至少没有证据表明解答前面题目所积累的练习提升了后面题目的正确率。
最具启发性的是错误答案的形态。尽管答题方式近乎自由作答，但出错的方式并非各自散乱，反而有许多人收敛到了“完全相同的错误答案”（5 人以上给出同一输出即被计为共同错误答案）。在某道图案补全题中，得出共同错误答案的人数总计（71人）甚至超过了答对的人数（54人）。作者认为，这体现了人类“变换应当如此”这种直觉（即扎根于核心知识的归纳偏差，是从少量示例进行泛化时产生的系统性习惯）的两面性——它既能促进快速学习，也会让人们一齐产生相同的误解。
使用场景
以下从游戏/谜题创作者的视角列举几点可资借鉴之处。第一，难度应当建立在“概念的层次”之上。本研究中，盘面大小与颜色数几乎与难度无关，真正起作用的是规则之间的纠缠程度。如果由我来设计仓库番（Sokoban-like，推箱子使其归位的谜题）类游戏，与其靠扩大盘面或增加箱子数量来“注水”，不如添加一条机制之间相互干扰的条件（比如“若同色少于3个则重新涂色”这样的嵌套规则），这样更能有针对性地提升难度。
第二，可以将“到第一步操作为止的时间”用作难度传感器。本研究中，深思时间与难度高度相关。除了胜负或总通关时间之外，只要测量从打开关卡到首次操作之间的沉默时长，就能较早地捕捉到玩家卡在何处。如果是超休闲游戏的自动生成（PCG，Procedural Content Generation，内容的自动生成）中要动态调整难度，这段沉默时间完全可以成为实时的判断依据。
第三，把“常见错误答案”收集起来当作藏宝图。本研究将多数人收敛到同一错误答案的现象量化了出来。如果你的谜题里有大量玩家一齐掉进同一个错误，那也许恰恰证明教程或示例正在助长一种“看似合理却错误的泛化”。只要用“5人以上给出相同答案”之类的阈值把错误日志归类观察，就能看出该替换哪个示例才能纠正教学方式，这直接关系到引导流程（onboarding，教授初次玩法的引导部分）的设计。
第四，不要指望“在同一场次内靠练习变强”这种设计前提。被试虽然随时间推移操作变快了，但看穿新规则的能力本身并未提升，正确率反而略有下降。这与流体智力难以通过短期训练提升的既有认识相吻合。在长达 2 小时、75 题的马拉松式流程中，疲劳的影响也隐约可见。在设计难度曲线或安排休息节点时，应当认识到“后半段自然会变得更擅长”这一假设是危险的。
局限
也如实看一下研究的局限。首先，作者自己承认，ARC 衡量的是流体智力，应与可通过练习提升的技能学习区分开来。同时，他们也承认，由于长达 2 小时、75 题的流程，后半段正确率下降的原因可能混杂了疲劳或动机下降。此外，他们明确指出，由于只选取了输入输出网格大小不变的题目，CogARC 只是截取了 ARC 整体的一部分，并未直接测量各类核心知识本身（结果仅止于“提示”，而非确证）。
以下是 Fukai 阅读后注意到的几点。实验2的被试主要来自 Amazon 的众包劳务市场，以 18〜35 岁为主，97.7% 以英语为母语。将其直接套用到实际游戏受众身上还为时过早。难度分数也是以“挑战次数”为基础的，因而存在把“放弃”和“失败”混在同一标准下计算的隐忧。随时间推移出现的正确率下降（斜率 0.005）虽然显著，但数值极小，不应夸大解读为具有实务意义的效应。而且再强调一次，这是一篇尚未经过同行评审的预印本，尽管有内部重复验证以及与 H-ARC 等先行研究结果一致作为支撑，但把它当作定论看待还为时尚早。
Fukai 的解读
在此明确声明这是我个人的解读。我愿意把这项研究，当作对“谜题的难度不寄宿于表层，而寄宿于意义的空间”这一主张久违的实证支持来看待。用设计批评的词汇来说，这接近于一种古老的直觉——好的难度应当建立在语义层面（规则的概念深度），而非知觉层面（外观信息量）之上。而“趋同的错误答案”这一发现，在我看来更像是一次为玩家的归纳偏差绘制地图的尝试。错误答案并非失败产生的噪声，而是人们率先建立起何种假设的样本——能把这一点转化为设计输入的创作者，才是真正强大的创作者，我是这样解读的。
结语
写给想深入了解的读者。若想把握 ARC 本身构想的根基，可以阅读 Chollet 的《On the Measure of Intelligence》。再一并阅读大规模测量人类 ARC 成绩的 H-ARC（LeGris 等）、以及按规则类型整理题目的 ConceptARC（Moskvichev 等），这一领域的地图便会立体起来。如果你对灵光一现与探索的话题感兴趣，这与本站此前介绍过的 Chao 等人关于顿悟式问题解决的文章也是一脉相承的。数据集本身已经公开，亲自动手翻看那些错误答案的堆叠，或许才是最出人意料的捷径。
参考文献
本文参考的论文与相关资料：
・CogARC 行为数据集（Zenodo，CC-BY，DOI:10.5281/zenodo.18177487）
・On the Measure of Intelligence（Chollet，2019，ARC 的原始文献）
・相关研究（正文中提及）：H-ARC（LeGris 等，2024–2025）、ConceptARC（Moskvichev 等，2023）——均为探讨人类 ARC 成绩与错误答案结构的研究
Reactions (no login)
Anonymous • one of each per visitor per day