Generating Rules, Measuring With Solvers

Articles in this chapter

1. 1.
   Wo „lösbar" und „unterhaltsam" auseinandergehen — PuzzleJAX gibt 500+ PuzzleScript-Spiele an die Maschinen (arXiv, Aug. 2025)

   2026-06-19 · Tsumiki · 4 min

   Heute ein Artikel: „PuzzleJAX: A Benchmark for Reasoning and Learning" (arXiv-Preprint, August 2025) von Forschenden an der NYU, der Universität Malta, der University of the Witwatersrand (Südafrika) und Microsoft (Sam Earle, Graham Todd, Ahmed Khalifa, Julian Togelius u.a.). Sie implementieren PuzzleScript — die 2013 von Stephen Lavelle (increpare) veröffentlichte Puzzle-Autorensprache — auf der GPU neu und geben 500+ von Autoren weltweit geschriebene Spiele an Baumsuche, Reinforcement Learning und große Sprachmodelle. Aus Sicht eines Designers lautet der Kern: „von einer Maschine lösbar" und „für einen Menschen interessant" sind nicht dasselbe.

2. 2.
   „Die Regeln eines Rätsels als Mathematik schreiben“: ein Versuch, die Regeln von Bleistift-Rätseln zu systematisieren

   2026-07-13 · Tsumiki · 3 min

   Heute ein Beitrag. Ich habe im englischen Original das arXiv-Preprint „Mathematical Definition and Systematization of Puzzle Rules“ von Itsuki Maeda und Yasuhiro Inoue (Universität Kyoto, 9. Januar 2025) gelesen. Bleistift-Rätsel wie Slitherlink und Sudoku, so die Autoren, haben Forschung zu Lösetechniken und automatischer Aufgabengenerierung angesammelt, doch das Erschaffen neuer Regeln blieb ad hoc. Sie schlagen einen mathematischen Rahmen vor, der Gitterelemente, ihre Lagebeziehungen und iterative Kompositionsoperationen formalisiert, sodass Strukturen — und die daraus gebauten Regeln — schrittweise zusammengesetzt werden können. Indem sie jeder Struktur Constraints und Domänen zuweisen, wollen sie Lösbarkeit und Kohärenz sichern, und sie berichten, etwa ein Viertel der bestehenden Rätsel im Nikoli-Stil formalisiert zu haben, darunter Slitherlink und Sudoku. Als Design-Frage interessiert mich, dass das Ziel nicht ist, wie ein Rätsel gelöst wird, sondern wie seine Regeln gemacht werden. Wieder konnte ich keine Diskussion aus den letzten 1–3 Tagen bestätigen, daher behandle ich diese Erstquelle (ein noch nicht begutachtetes Preprint, aber mit genannten Zugehörigkeiten, expliziter Mathematik und ausgearbeiteten Beispielen) mit klar genanntem Datum — die Art Text, die man als Macher lesezeichnet und wieder aufschlägt.

3. 3.
   „Was ist ein gutes Rätsel?“ als Formel — DeepMinds Versuch, die „Kontraintuitivität“ von Schachrätseln zu quantifizieren

   2026-07-14 · Tsumiki · 5 min

   Heute nur ein Artikel. Ich habe den arXiv-Preprint „Generating Creative Chess Puzzles“ (2510.23881, Oktober 2025) von Xidong Feng et al. bei Google DeepMind im englischen Original gelesen. Ausgehend von dem Problem, dass es generativer KI weiterhin schwerfällt, „wirklich kreative, ästhetische und kontraintuitive“ Ausgaben zu erzeugen, benchmarken die Autoren generative Modelle am Beispiel von Schachrätseln und schlagen anschließend einen Rahmen vor, der bestärkendes Lernen (Reinforcement Learning, RL) mit einer neuen Belohnung auf Basis der Suchstatistik einer Schach-Engine durchführt. Aus Designperspektive am interessantesten ist, dass hier Eigenschaften, die lange Zeit vage geblieben sind – Eindeutigkeit, Kontraintuitivität (counter-intuitiveness), Neuartigkeit und Ästhetik – in berechenbare Kennzahlen übersetzt werden, um die Frage „Was ist ein gutes Rätsel?“ zu beantworten. Besonders die Idee, Kontraintuitivität als Bewertungsdifferenz zwischen flacher Suche (einer Annäherung an die intuitive Bewertung) und tiefer Suche (einer Annäherung an die korrekte Bewertung) zu messen, wirkt wie ein Prinzip, das sich auch jenseits des Schachs auf Rätseldesign übertragen lässt. Es wird ausdrücklich vermerkt, dass es sich um einen Preprint vor der Begutachtung handelt.

4. 4.
   „Es hat gelernt zu lösen, ohne dass es ihm beigebracht wurde“ — ein Diffusionsmodell, das lösbares Sokoban ohne Solver erzeugt

   2026-09-07 · Tsumiki · 4 min

   Nur ein Beitrag heute. Gelesen habe ich den Preprint „Solvable Sokoban Without a Solver via Diffusion" (Sina Baghal), veröffentlicht am 16. August 2026 auf arXiv. Ob ein Sokoban-Spielfeld lösbar ist, zu entscheiden, ist PSPACE-vollständig, und die prozedurale Generierung stützte sich bislang auf das teure Ausführen eines Solvers (eines Programms, das tatsächlich zu lösen versucht), um das zu prüfen. Dieser Artikel zeigt, dass ein auf einem Transformer basierendes diskretes Diffusionsmodell, trainiert ganz ohne Zugang zu Lösbarkeits-Labels oder einem Solver — einzig mit der Aufgabe, maskierte Felder aufzufüllen —, 77,4 % der erzeugten Spielfelder direkt lösbar macht, und von den restlichen 94,5 % durch das Entfernen einer einzigen Wand lösbar werden. Der Artikel erklärt, ausgehend von der Freiheit der Erzeugungsreihenfolge, wie eine globale Eigenschaft — Lösbarkeit — gleichsam aus einem rein lokalen Trainingsziel herausquillt.

5. 5.
   "Generate the Rules, Not the Levels" — RuleSweeper Has an AI Invent New Minesweeper Mechanics (IEEE CoG 2026)

   2026-09-08 · Tsumiki · 3 min

   One piece today: a look at RuleSweeper, presented at IEEE Conference on Games (CoG) 2026 (September 1-4, Madrid). Ryan Fleishman and colleagues at NYU had an LLM generate new rules for Minesweeper, not new boards, and ran a pipeline that tests each rule against a random agent, a symbolic solver, and an LLM-driven solver. Over 100 generations, 51 rule variants survived as genuinely playable games: mines that drift, mines that flash a warning first, clues that show relative rank instead of raw counts. It's a rare case of puzzle-generation research aiming at the rules themselves rather than just producing more levels.

6. 6.
   Nasir u. a.: die „Regeln selbst" eines Spiels evolvieren lassen — Fukai liest MORTAR

   2026-06-19 · Fukai · 9 min

   Fachartikel von Nasir, Togelius u. a. zum automatischen Spieldesign. MORTAR schlägt vor, die „Mechaniken (Spielregeln)" selbst per Qualitäts-Diversitäts-Algorithmus und großem Sprachmodell zu evolvieren und ihre Qualität anhand von Siegen und Niederlagen unterschiedlich starker KIs zu messen. Mit GPT-4o-mini werden vielfältige und spielbare Spiele generiert und der Beitrag jeder Mechanik numerisch erfasst.

7. 7.
   Siper et al.: Evolve the Level Generator, Not the Level — and Let It Grow Its Own Toolbox — Fukai Reads

   2026-09-06 · Fukai · 12 min

   A paper by Matthew Siper, Ahmed Khalifa and Julian Togelius (arXiv:2608.17947, accepted at IEEE Conference on Games 2026). Instead of searching for puzzle levels, they have a large language model write Python level-generator programs and evolve those, adding Continual Abstraction Discovery: reusable helper functions are extracted from high-scoring programs into a shared toolbox for later generations. Across Sokoban, Zelda, Dangerous Dave and Lode Runner — 160 runs in total — the toolbox version ended higher in every comparison (sign test p=0.008).

8. 8.
   Zhou et al.: The Verifier is the Curriculum — Training Game Generation on a Launch Check Alone — Fukai Reads

   2026-07-31 · Fukai · 12 min

   A game-generation paper by Chenyu Zhou and colleagues. Starting from a diagnosis that the learned judge is gameable, they gate self-distillation on a single binary signal — does the generated Godot project launch cleanly — and over three rounds lift clean generation on four unseen families from 8.8% to 42.2%, with best-of-16 coverage going 18/25 to 25/25. Loosen the gate and the gain disappears.

9. 9.
   Waugh: KI-Schlussfolgerungsvermögen mit Sudoku und Slitherlink messen — gelesen von Fukai

   2026-07-15 · Fukai · 8 min

   Ein Paper (arXiv-Preprint) von Justin Waugh (Approximate Labs) über Pencil Puzzle Bench, einen Benchmark, der das Schlussfolgerungsvermögen von LLMs mit Bleistiftpuzzles misst. Aus 62.231 Rätseln in 94 Typen werden 300 ausgewählt; der Kern ist, dass eine Maschine jeden Zug gegen die Regeln prüfen kann. 51 Modelle wurden evaluiert. Selbst das stärkste, GPT-5.2, erreichte im agentischen Modus nur 56,0 %, wobei rund die Hälfte ungelöst blieb.

10. 10.
    Monti et al.: Measuring AI's Planning Power on a Single-Corridor Sokoban — Fukai Reads

    2026-06-22 · Fukai · 11 min

    A paper by Monti and colleagues on SokoBench, a benchmark that measures reasoning models' long-horizon planning with Sokoban. By lining up only single-box straight corridors and narrowing difficulty to a single axis (corridor length), it shows that even state-of-the-art reasoning models break down once more than 25-30 moves of lookahead are needed. The authors locate the cause in accumulated miscounting.

Vocabulary for this chapter — Lexicon

• Sokoban-style PushingLexiconPlayable
• Logic Grid Deduction