#ai-evaluation

Gould & Ward et al.：用「人类所需时间」衡量谜题难度——Fukai 解读

这是一篇由 Gould 与 Ward 等人撰写的 AI 评估论文。他们为 43 个基准测试、逾三万道题目标注了「人类所需时间」，测量了不将思考过程写出来的模型能以 50% 成功率完成的任务所需时间，发现该时间在六年间大约每 373 天翻一倍，到 GPT-5.5 已达约 3 分钟。其中涉及数独与填字游戏的难度计量方法，可以直接搬到谜题设计上使用。