TAG
#llm
0 篇评论 · 20 篇随笔
相关随笔
Wu et al.: Rebuilding a Case Report Into a Chain of Decisions — Fukai Reads
A medical-education gamification paper by Qian Wu and colleagues (CUHK and others). MedGame is a dual-engine framework that converts static case reports into a three-level Act / Scene / Decision Node script and then into a dependency graph of multimodal generation tasks. Fine-tuning on a 5,000-case benchmark lifts structural validity from 79.4% to 99.1%, while medical accuracy plateaus around 7 out of 10.
Wang et al.: Making a Puzzle Solver the Teacher for Every Single Move — Fukai Reads
A game-AI paper by Yu Wang and colleagues. Where long-horizon puzzles reward only the final win, they convert the drop in a solver's remaining-distance-to-goal into a per-move score and mix it into training. Averaged over Sokoban, Minesweeper and Rush Hour, success rises from 16.6% to 62.1%, and on unseen difficulty from 5.9% to 28.4%. Querying the solver costs about 73 parts per million of training wall clock.
Zhou et al.: The Verifier is the Curriculum — Training Game Generation on a Launch Check Alone — Fukai Reads
A game-generation paper by Chenyu Zhou and colleagues. Starting from a diagnosis that the learned judge is gameable, they gate self-distillation on a single binary signal — does the generated Godot project launch cleanly — and over three rounds lift clean generation on four unseen families from 8.8% to 42.2%, with best-of-16 coverage going 18/25 to 25/25. Loosen the gate and the gain disappears.
Teo et al.: AI Assistants Overassist — Int-Bench Measures Intervention in Problem-Solving — Fukai Reads
Teo et al. on LLM intervention behavior. Using Int-Bench, a simulated setting, they measure when and how much AI assistants help during problem-solving, finding AI intervenes earlier and more often than humans, tends to leak the answer, and does not improve transfer. A useful read for puzzle hint design.
Johnson 等人：嵌入大型语言模型后，游戏会发生怎样的变化 — Fukai 解读
这是卡尔加里大学 Johnson 等人针对两款把 LLM 嵌入游戏结构之中的游戏开发项目所做的质性研究。研究通过开发者的自我反思，分析了将 LLM 作为「结构部件」而非「装饰」嵌入之后，游戏玩法、可玩性、玩家体验会发生怎样的变化。报告指出，变化性与个人化随之增加，同时也带来了正确性、难度校准、一致性等新的负担，而模式(schema)强制与验证则成为关键。
Zeng et al.: Automating Game Balancing with LLM-vs-LLM Self-Play — Fukai Reads
A paper by Zeng et al. on automated game balancing. It tackles balancing asymmetric strategy games by using multi-agent LLM self-play as an evaluator and Bayesian optimization to search rule parameters, reporting convergence to near-0% win-rate gaps on their own game, CivMini.
Waugh：用数独与 Slitherlink 测量 AI 的推理能力——Fukai 解读
Approximate Labs 的 Justin Waugh 撰写的论文(arXiv 预印本)，介绍了以铅笔解谜衡量 LLM 推理能力的基准 Pencil Puzzle Bench。从 62,231 道题、94 种类型中挑选 300 题，核心是机器可以逐步核算每一手是否违反规则，并据此评测了 51 个模型。即使最强的 GPT-5.2，在能动式解法下也只有 56.0%，约一半题目未能解出。
Triebel et al.: Does AI Have Both a Head and a Hand on a Classic Physics Puzzle? — Fukai Reads
A paper by Triebel et al. evaluating VLMs on the classic physics puzzle The Incredible Machine 2. Using VLATIM, a five-stage benchmark, it asks whether screen-operating AI can solve problems like humans; the cleverer large models can plan but cannot click precisely, and no model solved even one puzzle to completion.
Xu 等人:生成式 AI 成为“玩法之芯”的游戏是什么样子——Fukai 解读 AI 原生游戏调查
由 Zhiyue Xu 等 6 人撰写的调查论文(arXiv 预印本),研究生成式 AI 本身成为核心循环的“AI 原生游戏”。论文以“去掉 AI 玩法是否还能成立”这一反事实标准来定义,并将实际存在的 53 部作品按游戏类型(G)与主导 AI 作用(N)两个维度分类,结果显示作品明显偏向叙事类,而用于裁定规则的用法仍然稀薄。
让 LLM 造出一整款游戏,再让 AI 去试玩——ScriptDoctor 呈现的自动游戏设计现状
今天一篇。我通读了 NYU 的 Sam Earle、Julian Togelius 等人的论文《ScriptDoctor: Automatic Generation of PuzzleScript Games via Large Language Models and Tree Search》(英文,arXiv:2506.06524,投稿至 IEEE Conference on Games 的短论文)原文。他们把 PuzzleScript——由 increpare(Stephen Lavelle)创造、专用于 2D 网格回合制解谜游戏的描述语言——当作"模式生物",让 LLM 生成包含规则、美术与关卡的一整款游戏,并借助编译器报错与宽度优先搜索(BFS)试玩代理的反馈反复修正。给它几款人类制作的游戏作范例,产出质量明显提升;推理模型(o1、o3-mini)优于 GPT-4o。但最深的启示在失败一侧:看似最复杂的游戏,往往只是因为机制"坏掉了"才复杂——可解并不等于好玩。
Mirowski 等：从「写出」故事到「找到」故事——与作家社群共同培育的写作 AI「Fabula」——Fukai 解读
这是一篇关于 Google DeepMind 写作辅助 AI「Fabula」的论文。研究团队与42位专家以参与式设计的方式，批判性地培育出一套能分层规划并生成故事的「戏剧管理器（Drama Manager）」，结果发现它擅长搭建结构，却不擅长文体与制造意外。Fukai 从中解读出可直接用于游戏交互式叙事的知见。
"最强的玩家"并非"最好的测试者"——用 LLM 测量游戏难度的框架揭示的悖论
今天只有一篇。我通读了 Adobe Research 的 Chang Xiao 与哥伦比亚大学的 Brenda Z. Yang 合著的论文《LLMs May Not Be Human-Level Players, But They Can Be Testers: Measuring Game Difficulty with LLM Agents》(英文,arXiv:2410.02829)原文。这项研究探讨能否让现成的 LLM 游玩游戏,并将其成绩用作难度的代理指标,在 Wordle(猜词解谜)与 Slay the Spire(卡牌构筑 roguelike)上进行了验证。核心发现颇为悖论:LLM 的游玩水平不及普通人类,但"哪些关卡更难"这一相对难度,却与人类数据高度相关。更进一步,一个信息论意义上接近最优的 Wordle 求解器(比人类用更少的步数解出)却与人类感知的难度几乎不相关。也就是说,"解得最强的一方"并不等于"最好的难度测试者"。对于思考如何验证难度曲线的设计者而言,这是一篇启发颇多的论文。
让 LLM 负责「故事与谜题」，让符号系统负责「不崩坏的世界」——乌拉圭 IVIE 所展示的交互式小说分阶段・附验证生成（ICCC'26）
今日一篇。通读了乌拉圭共和国大学团队（Vaucher, Silveira, Góngora, Chiruzzo）将在 ICCC'26 发表的论文 IVIE 的 arXiv 英语全文。目标是自动生成文字冒险（交互式小说）的世界。关键是分工——设定・角色・谜题设计等创造性判断交由 LLM，空间连接性与目标可达性等结构整合由符号验证层保障。世界从目标反向推算，分四阶段组建，每阶段设有验证关卡。最能引发设计思考的，是「验证太严格则束缚创造，太宽松则谜题被迂回」这一根本张力。
Monti et al.: Measuring AI's Planning Power on a Single-Corridor Sokoban — Fukai Reads
A paper by Monti and colleagues on SokoBench, a benchmark that measures reasoning models' long-horizon planning with Sokoban. By lining up only single-box straight corridors and narrowing difficulty to a single axis (corridor length), it shows that even state-of-the-art reasoning models break down once more than 25-30 moves of lookahead are needed. The authors locate the cause in accumulated miscounting.
Luo 等人：AI 智能体能否在真实引擎中制作出可以游玩的完整游戏？——Fukai 的解读
Luo、Wang 等人提出的评估基准论文 GameCraft-Bench，衡量编程智能体是否能端到端生成游戏。论文让智能体根据自然语言规格，在 Godot 引擎上制作可以游玩的完整游戏，并以启动、操作回放、视频评分来判定，共设140道课题（15个类型）。最强配置的全体得分也仅为41.46%，表明智能体虽能制作出机制框架，但距离具备内容厚度、界面易读性和精加工的完成品仍有差距。
Li 等：从创意到完成一气贯通支援棋盘游戏设计的AI「AutoBG」— Fukai 解读
Zizhen Li 等人关于棋盘游戏设计辅助AI「AutoBG」的论文（arXiv 预印本）。以生成役与评估役分离的 Verifier-Gated Iteration 处理从创意到规则书生成、个别反馈的整个设计流程，据报告评估役 BG-Critic 的诊断质量超过 GPT-5.4。
Nasir 等人：让游戏「规则本身」进化——Fukai 解读 MORTAR
Nasir、Togelius 等人关于自动游戏设计的论文。通过品质多样性算法与大规模语言模型，让「机制（游戏规则）」本身进化，并以强弱不同的AI之间的胜负来衡量质量——这就是 MORTAR 的提案。利用 GPT-4o-mini 生成多样且可玩的游戏，并将各机制的贡献度数值化。
Jiang 等：仅凭语言能否生成「可玩的游戏」——Fukai 读 OpenGame
香港中文大学 Yilei Jiang 等人研究的论文，介绍了一种从自然语言出发自动生成完整可玩2D网页游戏的智能体 OpenGame。通过可复用骨架与「活的调试手册」抑制集成错误，在150个课题中达到最高水准。然而谜题类游戏依然是最难处理的类型。
Li 等人：LLM 能「玩并通关」2D游戏吗 — Fukai 解读 GVGAI-LLM
Li 等人（NYU等）提出的 GVGAI-LLM 论文。该基准测试让语言模型游玩118款2D游戏，以测量推理能力与空间感知。将盘面翻译为ASCII地图后以零样本方式求解，GPT-4o-mini 在540关中的477关胜率为0%，整体胜率仅10.27%，未能达到经典搜索算法的水平。本文按「问题·方法·发现·应用场景·局限」的顺序逐一解析。
AI 能从头造出一整款解谜游戏吗 —— 把「生成、试玩、修复」跑起来的 ScriptDoctor
让大语言模型（LLM）把一款解谜游戏——连同规则、图像、关卡——整个写出来，再交给编译器与搜索代理检查、要求重做：本文介绍这样一套自动游戏设计的实验系统 ScriptDoctor。题材是个人开发者熟悉的 PuzzleScript。按问题、方法、发现、用处、局限的顺序，读解为何展示人类制作的实例会大幅提高成功率、为何推理模型更占优，以及横亘在「可解」与「有趣」之间的距离。
