Waugh: KI-Schlussfolgerungsvermögen mit Sudoku und Slitherlink messen — gelesen von Fukai

Kurz gesagt

Ich habe eine Studie gelesen, die Bleistiftpuzzles — jene Familie von Logikrätseln, die man mit Papier und Bleistift löst, etwa Sudoku und Slitherlink — in einen Maßstab für das Schlussfolgerungsvermögen großer Sprachmodelle (LLMs, mit riesigen Textmengen trainierte KI, die Text erzeugt, indem sie das nächste Wort vorhersagt) verwandelt. Der Autor ist Justin Waugh von Approximate Labs; es handelt sich um einen arXiv-Preprint (ein noch nicht begutachtetes Manuskript), veröffentlicht am 2. März 2026.

Der Kerngedanke ist, dass eine Maschine nicht nur prüfen kann, ob die Endantwort stimmt, sondern ob jeder einzelne Zwischenzug innerhalb der Regeln bleibt. Aus 62.231 Rätseln in 94 Typen wurden 300 Rätsel in 20 Typen ausgewählt, und 51 Modelle von 11 Anbietern wurden evaluiert. Selbst das stärkste, GPT-5.2, erreichte im werkzeugnutzenden „agentischen" Modus nur 56,0 %, und nach Angaben des Autors blieb etwa die Hälfte des Benchmarks ungelöst. Dieser Artikel soll die Kernaussagen vermitteln, ohne dass man das Paper selbst öffnen muss.

Einleitung

Was ich heute ausgewählt habe, ist „Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning". Der Autor ist Justin Waugh (Approximate Labs). Die arXiv-Nummer ist 2603.02119, veröffentlicht am 2. März 2026. Vorab sei gesagt: Dies ist kein begutachtetes Konferenzpapier, sondern ein als firmeninternes Forschungslog veröffentlichter Preprint (ein noch nicht begutachtetes Manuskript). Es ist neu, und breitere Diskussion hat sich darum noch nicht angesammelt.

Warum wähle ausgerechnet ich, die für eine Puzzle-Seite schreibt, dieses Paper? Ganz einfach, weil das Thema unser ureigenes Feld ist. Sudoku, Nurikabe, Slitherlink, Masyu, Yajilin, Light Up (das „Museum") — bei all diesen Namen zuckt jedem Puzzle-Liebhaber die Hand. Die Idee, sie als Werkzeug zur KI-Bewertung zu nutzen, ist auch für Macher aufschlussreich. Ich habe diese Studie als Geschichte darüber gelesen, wie eine Maschine die „Fairness" eines Puzzles übernimmt.

Hintergrund

Aktuelle LLMs zeigen als „Reasoning-Modelle" (LLMs, die trainiert wurden, vor der Antwort ihren Gedankengang als Text auszuschreiben) die Eigenschaft, dass sie umso klüger werden, je mehr Zeit (Rechenleistung) man investiert. Aber wie misst man diese Klugheit fair? Das ist schwierig. Die Bewertung von Aufsätzen oder Code muss sich oft auf das subjektive Urteil eines Menschen oder einer anderen KI verlassen.

Bleistiftpuzzles umgehen dieses Bewertungsproblem sauber, so der Autor. Die Regeln sind vollständig festgelegt und die Antwort ist eindeutig (eine einzige Lösung ist garantiert), sodass keine subjektive Bewertung nötig ist (Urteile, die je nach menschlichen oder KI-Präferenzen schwanken). Zudem erfordert das Lösen lange Ableitungsketten; es gibt Dutzende Varianten mit unterschiedlichen Strukturen; und weil die Kultur „Aufgaben" statt „Lösungssammlungen" teilt, ist Kontamination (Antworten, die in Trainingsdaten einsickern — die Wurzel des Schummelns) unwahrscheinlich. Der Autor nennt diese vier Punkte als Gründe, warum sich Bleistiftpuzzles für die Evaluation eignen.

Vorgehen / Methode

Der Autor sammelte zunächst 62.231 Rätsel in 94 Typen mit verifizierten eindeutigen Lösungen, ausgehend von der Puzzle-Sharing-Seite puzz.link. Daraus wurden 300 Rätsel in 20 Typen (mit mehreren Schwierigkeitsstufen) als gemeinsamer Maßstab ausgewählt. Die Rätsel gelten als „Constraint-Satisfaction-Probleme" (die Suche nach einer Anordnung, die alle festgelegten Regeln gleichzeitig erfüllt), und viele werden als nahe an NP-vollständig beschrieben (eine Klasse, bei der die Prüfung einer Antwort schnell geht, das Finden einer Lösung aber mit der Größe rapide anwächst).

Die Bewertung erfolgt auf zwei Arten. Die eine ist „direkte Anfrage" (direct ask): Das Modell erhält das Rätsel und muss in einer einzigen Antwort eine vollständige Lösung schreiben. Die andere ist „agentisch" (eine Vorgehensweise, bei der die KI Werkzeuge nutzt, einen Zug macht, das Ergebnis prüft und Korrekturen wiederholt): Das Modell löst, indem es Werkzeuge nutzt, um einen oder mehrere Züge zu machen, den Fertigstellungsgrad des Feldes zu prüfen, das Feld als Bild darzustellen, Regeln abzufragen, zurückzusetzen oder aufzugeben.

Das Rückgrat dieser Studie ist die „Verifikation auf Zugebene" (step-level verification). Jedes Mal, wenn sich das Feld durch einen Zug ändert, prüft ein dediziertes Verifikationsprogramm (verifier, ein Programm, das die Korrektheit eines Zuges mechanisch beurteilt) den Zustand und gibt genau zurück, welche Regel verletzt wurde und wo auf dem Feld. Es verlässt sich nicht auf die Subjektivität einer Person oder einer anderen KI (kein LLM-as-Judge). Der Autor positioniert dies als Grundlage für „Prozessüberwachung" (process supervision, also ein Korrektheitssignal bei jedem Zwischenzug, nicht nur bei der Endantwort) und für bestärkendes Lernen (reinforcement learning, das Erlernen erfolgreicher Verhaltensweisen durch Belohnung via Versuch und Irrtum). Für RL-Arbeiten wurde zudem eine Gym-kompatible, von externen Programmen steuerbare Umgebung veröffentlicht.

Befunde

Die Ergebnisse sind, offen gesagt, ernüchternd. Selbst wenn man das stärkste Modell, GPT-5.2, mit maximalem Reasoning-Aufwand laufen lässt, erreicht das agentische Lösen nur 56,0 % (evaluiert an 84 Rätseln); direktes Lösen bleibt bei 27,0 %. Im Abstract berichtet der Autor, dass sich GPT-5.2 um das 81-Fache verbessert, wenn der Reasoning-Aufwand von null auf maximal erhöht wird (Zahlen wie im Original). Umgekehrt heißt das: Ohne Aufwand (= Rechenleistung) löst es kaum etwas.

Die andere Achse ist „agentische Iteration". Laut Autor löst Claude Opus 4.6 ohne erweitertes Denken im direkten Modus fast nichts (0,3 %), steigt aber auf 30,0 %, wenn es mit Werkzeugen prüft und iteriert. Bei gepaarten (matched) Rätseln werden Zugewinne von +30,0 Punkten für Opus 4.6 und +35,7 Punkten für GPT-5.2@xhigh berichtet. Daraus ordnet der Autor „Tiefe des Nachdenkens" und „Versuch-und-Korrektur-Iteration" als zwei getrennte Fähigkeitsachsen ein.

Und es ist auch ein Ausdauerlauf. Agentische Versuche erstrecken sich im Median über 29 Züge und 17 Minuten, erreichen beim 90. Perzentil (P90) 113 Züge, und der längste überschritt 1.221 Züge über 14,3 Stunden (Zahlen wie im Original). Der Autor nennt es „eine Prüfung anhaltender Nutzung von Long-Context (der Fähigkeit, lange Wechselgespräche auf einmal zu verarbeiten), nicht eine einzelne gute Gedankenkette". Auch die Kosten schwanken stark: durchschnittlich rund 1,66 $ pro Versuch (Mittelwert über 17.032 Durchläufe), doch die Kosten pro Erfolg klafften zwischen den Modellen um etwa das 67.000-Fache auseinander. Nimmt man das jeweils beste Modell pro Anbieter, liegen die Top drei (OpenAI, Anthropic, Google) alle über 33 %, während das beste chinesische Open-Weight-Modell 6 % erreichte, wie berichtet wird.

Einsatzmöglichkeiten

Von hier aus möchte ich mindestens drei konkrete Wege nennen, wie Puzzle- und Spielemacher diese Studie nutzen können. Erstens ein Design, das Generierung und Verifikation in denselben Kreislauf einbindet. Würde ich einen Auto-Generator für Nurikabe oder Slitherlink bauen, wollte ich innen einen Verifizierer, der bei jedem Zug zurückmeldet, „welche Regel wo verletzt wurde". Man erhält gleichzeitig eine Garantie für eindeutige Lösungen und lokalisierte Fehlerinformationen.

Zweitens Hinweissysteme. Der Verifizierer dieser Studie liefert nicht bloß ein „falsch", sondern konkret „diese Zeile verletzt diese Regel". Das ist direkt ein Bauplan für gute In-Game-Hinweise. Würde ich eine Bleistiftpuzzle-App bauen, würde ich statt eines schlichten „falsch" schrittweise die verletzte Regel und ihren Ort offenlegen — also die Ausgabe des Verifizierers in die Oberfläche übersetzen.

Drittens Schwierigkeitsschätzung und automatisiertes Playtesting. Die Anzahl der Züge, die ein agentisches Lösen benötigte (Median 29, P90 113), kann direkt als Stellvertreter für die Schwierigkeit dienen. Würde ich massenhaft Level für ein Hypercasual-Spiel produzieren, könnte ich Level danach ordnen, wie viele Korrekturen ein Modell braucht, und das in die Feinabstimmung der Schwierigkeitskurve einfließen lassen. Viertens spiegeln sich die beiden Achsen dieser Studie (Nachdenktiefe vs. Versuch-und-Korrektur) auch in menschlichen Spielern. Es gibt Raum, sowohl für den vorausplanenden als auch den ausprobierenden Spielertyp zu gestalten, indem man Rückgängig (undo) und einen „Prüfen"-Knopf — das menschliche Gegenstück zur Verifizierer-Rückmeldung — ins Design einwebt. Dazu kommt: Der veröffentlichte Datensatz von 62.231 Rätseln in 94 Typen (auf Hugging Face) und seine Quelle puzz.link sind direkt verwertbares Rohmaterial für die Produktion.

Grenzen

Ich trenne die Grenzen in solche, die der Autor selbst einräumt, und solche, die mir beim Lesen aufgefallen sind. Der Autor selbst stellt klar, beide Lösungsmethoden bewusst als „einfache Baselines" (simple baselines) belassen zu haben — also kein ausgefeiltes Prompt-Engineering, um die Werte aufzublähen —, sodass die Ergebnisse hier eher einer unteren als einer oberen Schranke entsprechen. Er merkt auch an, dass bei maximalem Reasoning-Aufwand reale Hürden wie Timeouts und Kontextlängenbegrenzungen auftauchen. Dass die agentische Evaluation auf kleineren Teilmengen von 30 oder 84 Rätseln stattfindet, ist ein Skalenunterschied gegenüber den 300 beim direkten Lösen (der Autor liefert aber auch gepaarte Vergleichswerte, was dies abmildert).

Was ich, Fukai, hier anmerke, ist Folgendes. Erstens ist dies ein Maßstab für die Fähigkeit zu „lösen", nicht zu „erschaffen, gestalten"; die Implikationen für Macher müssen also indirekt übersetzt werden. Zweitens ist die Bestenliste eine einzelne Momentaufnahme bestimmter Versionen — GPT-5.2, Opus 4.6, Gemini 3.1 —, und die 56 % sind an diese Versionen gebunden; sie werden mit Modellaktualisierungen rasch veralten. Drittens ist der Vorteil, dass „Kontamination unwahrscheinlich" sei, meines Erachtens derzeit eher eine Design-Erwartung als etwas vollständig Bewiesenes. Schließlich ist dies ein nicht begutachteter Preprint und ein firmeninternes Forschungslog mit bislang kaum Zitationen — der Vorbehalt, dass Replikation und externe Prüfung noch ausstehen, lässt sich nicht streichen.

Fukais Lesart

Nur hier kennzeichne ich es ausdrücklich als meine eigene Interpretation. Ich möchte diese Studie in den jüngeren Trend einordnen, „KI in verifizierbaren Umgebungen zu trainieren". Im Vokabular der Designkritik kommt das der Automatisierung eines Vertrags nahe, den Puzzles seit Langem bewahren — „es gibt eine eindeutige Lösung, und das Feld lässt sich jederzeit gegen die Regeln prüfen". Interessant ist, dass der Verifizierer nicht als Richter der Endantwort, sondern als „Lehrer" wiederverwendet wird, der jeden Zug benotet. Ein Werkzeug, das Löser klüger machen soll, ist zugleich auch ein Qualitätssicherungswerkzeug für Macher — diese Doppelheit lese ich als den Kern dieses Papers.

Schluss

Zum Schluss noch eine Landkarte. Wer tiefer einsteigen will, sollte SokoBench, das Schlussfolgern mit Sokoban misst, und Sudoku-Bench, das kreatives Schlussfolgern mit Sudoku-Varianten misst, ergänzend lesen — das macht das Terrain dieses Feldes sichtbar. So lässt sich erfassen, wie weit sich der Gedanke „nicht nur die Richtigkeit der Antwort, sondern den Prozess verifizieren" bereits ausgebreitet hat.

Ich selbst habe das ausgedruckte Paper bei einer Tasse kräftigem Filterkaffee gelesen und dabei mit Farbstiften Linien hineingezogen. Obwohl es eine Geschichte über KI ist, die Puzzles löst, führt sie am Ende zu der Frage zurück, was ein gutes Puzzle ausmacht — überprüfbare Fairness und eine lange, nachvollziehbare Kette von Schritten. Auch für Macher ist das, denke ich, keine schlechte Frage.

Quellen

In diesem Artikel referenzierte Paper und verwandte Materialien:

・Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning (Justin Waugh, 2026, arXiv preprint)

・Approximate Labs: Pencil Puzzle Benchmark (Erläuterungsseite des Autors)

・Datensatz und Ausführungsprotokolle (Hugging Face)

・ppbench.com (offizielle Seite zum Ausprobieren der Rätsel und Nachspielen der Modellversuche)

・Verwandte Arbeit: SokoBench: Evaluating Long-Horizon Planning and Reasoning in Large Language Models (Monti et al., 2026)

・Verwandte Arbeit: Sudoku-Bench: Evaluating creative reasoning with Sudoku variants (2025)