Ahn et al.: Die Schwierigkeit eines Rätsels liegt nicht im „Aussehen“, sondern im „Konzept“ — gelesen von Fukai

Zusammenfassung in einem Absatz

Heute lese ich eine Arbeit, die Caroline Ahn et al. von der Boston University im Februar 2026 auf arXiv veröffentlicht haben (noch ein Preprint vor der Begutachtung). Sie haben ARC (Abstraction and Reasoning Corpus, eine Aufgabensammlung, bei der man aus wenigen Beispielen die Transformationsregel eines Gitters erschließen und anwenden muss), das ursprünglich zur Messung des abstrakten Schlussfolgerns von KI entwickelt wurde, zu „CogARC“ für menschliche Testpersonen umgebaut und insgesamt 260 Personen Gitterrätsel lösen lassen. Ziel war nicht nur die Trefferquote, sondern die Zug-für-Zug-Aufzeichnung und Visualisierung davon, „wie Menschen denken und wo sie sich irren“.

Vorweg das Ergebnis: Die Schwierigkeit eines Rätsels wurde nicht durch äußere Merkmale wie Gittergröße oder Farbanzahl bestimmt, sondern durch die konzeptionelle Komplexität der Regel. Zudem irren sich Menschen nicht „wild durcheinander“, sondern konvergieren gemeinsam zu denselben Fehlantworten. Für Rätseldesigner ergibt sich daraus meiner Lesart nach ein konkreter Hinweis: „Schwierigkeit sollte auf der Ebene der Konzepte konstruiert werden, nicht durch die Auffälligkeit des Spielfelds“ und „häufige Fehlantworten sind selbst ein Hinweis fürs Design“.

Einleitung

Die Autorinnen und Autoren, angeführt von Caroline Ahn, sind Forschende, die u. a. dem Graduiertenprogramm für Neurowissenschaften, der Abteilung für Psychologie und Hirnforschung sowie dem Center for Systems Neuroscience der Boston University angehören. Veröffentlicht wurde die Arbeit auf arXiv (Kennnummer 2602.22408) und befindet sich derzeit im Preprint-Stadium, also vor der offiziellen Begutachtung. Das möchte ich gleich vorab festhalten (ein Preprint ist ein Manuskript, das die Autoren selbst veröffentlichen, bevor es ein Begutachtungsverfahren durch eine Konferenz oder Fachzeitschrift durchlaufen hat).

Der Grund, warum ich heute genau diese Arbeit ausgewählt habe, ist einfach. ARC sorgt in den letzten Jahren immer wieder als Test für die „Schlussfolgerungsfähigkeit“ von KI für Gesprächsstoff, doch die zugrundeliegenden Aufgaben sind letztlich nichts anderes als Gitterrätsel, bei denen man Felder einfärbt. Mit anderen Worten: Material, das sich aus der Perspektive des Rätseldesigns lesen lässt, wird hier mit dem Instrumentarium der Kognitionswissenschaft sorgfältig vermessen. Ich empfinde das als eine seltene, empirisch fundierte Landkarte für alle, die sich als Spielemacher fragen, was Schwierigkeit eigentlich ausmacht.

Es gibt noch einen weiteren Punkt, der es mir erlaubt hat, diese Studie nicht allzu skeptisch zu lesen. Die Autoren haben in zwei Schritten geprüft, ob sich derselbe Trend reproduzieren lässt: einer Präsenz-Pilotstudie mit 40 Personen (Experiment 1) und einer groß angelegten Online-Version mit 220 Personen (Experiment 2). In der Psychologie gehört es zum guten Ton, „einmalige spektakuläre Ergebnisse“ zu misstrauen — aber da hier eine interne Replikation (die Wiederholung desselben Verfahrens, um zu prüfen, ob sich das Ergebnis reproduzieren lässt) durchgeführt wurde, kann ich der Argumentation unbefangener folgen.

Hintergrund

Die Forschung zum abstrakten Schlussfolgern wurde lange Zeit mit Aufgaben wie den Raven's Progressive Matrices (RPM; ein Intelligenztest, bei dem man aus einer 3×3-Anordnung von Bildern die Regel erkennt und das fehlende Bild aus Antwortoptionen auswählt) betrieben. RPM wird breit als Maß für fluide Intelligenz (die Fähigkeit, neue Probleme aus dem Stand zu lösen — etwas anderes als angesammeltes Wissen) verwendet. Da es sich jedoch um ein Multiple-Choice-Format mit binärer Bewertung (richtig/falsch) handelt, ist laut den Autoren kaum zu erkennen, „wie“ ein Mensch dabei gedacht hat.

Hier setzt ARC an. Bei ARC werden mehrere Beispiele für Eingabe-Ausgabe-Paare gezeigt, aus denen die verborgene Transformationsregel erschlossen werden muss, um dann für eine neue Eingabe selbst die richtige Ausgabe zu zeichnen. Da es sich nicht um Multiple-Choice, sondern um ein annähernd freies Antwortformat handelt, lässt sich verfolgen, welche Hypothesen ein Mensch aufstellt, wie er dabei vorgeht und wo er sich irrt. Die Themen der Regeln wurzeln in dem, was die Entwicklungspsychologie als „Kernwissen“ bezeichnet (grundlegende, angeblich schon im frühen Kindesalter vorhandene Intuitionen über Objekte, Zahlen und Raum) — etwa Objektgruppierungen, Zahlen und Geometrie.

Allerdings ließen die meisten bisherigen Studien, die ARC am Menschen untersucht haben, jede Testperson nur wenige Aufgaben lösen. Deshalb war kaum bekannt, wie sich die Strategie derselben Person im Zeitverlauf verändert, wie sich Menschen bei schwierigeren Aufgaben verhalten, oder ob bei Fehlern alle zu derselben Antwort konvergieren. Genau diese Lücke zu schließen ist das Ziel dieser Studie.

Vorgehen

Die Autoren wählten 75 Aufgaben aus dem Trainingsset von ARC sorgfältig aus und bauten sie zu einer für Menschen geeigneten Aufgabensammlung namens CogARC um. Sie beschränkten sich auf Aufgaben, bei denen sich die Gittergröße zwischen Eingabe und Ausgabe nicht ändert. Drei Gutachter ordneten jede Aufgabe einer von vier Kategorien zu — „Objektgruppierung“, „Geometrie und Muster“, „Zahlen und Zählen“ sowie „Zielgerichtetheit“ — und bewerteten die Komplexität der Regel auf einer Skala von 1 bis 3 (die Komplexität ergibt sich aus der Anzahl der beteiligten Kernwissens-Bereiche und der Verflechtung der Regelelemente).

Die Teilnehmenden lernten die Regel anhand der links angeordneten Eingabe-Ausgabe-Beispiele und zeichneten ihre Antwort für die mittlere Eingabe, indem sie in der rechten Gitter-Bearbeitungsansicht Felder einfärbten. Pro Aufgabe waren bis zu drei Versuche erlaubt, wobei nach jedem Versuch Richtig/Falsch zurückgemeldet wurde. Das Forschungsteam definierte einen „Schwierigkeitswert“ anhand der Anzahl der bis zur richtigen Lösung benötigten Versuche, gestuft von 1 (sofort richtig) bis 4 (alle drei Versuche falsch). Zusätzlich wurde die Zeit vom Betrachten der Aufgabe bis zur ersten Handlung als „Bedenkzeit“ erfasst.

Interessant ist, dass jede einzelne Bearbeitungsaktion (welches Feld in welcher Farbe eingefärbt wurde) auf die Millisekunde genau aufgezeichnet wurde. Dadurch lässt sich beziffern, wie ähnlich sich die Vorgehensweisen der Teilnehmenden waren. Mithilfe eines Maßes, das den Überlappungsgrad zweier Mengen von Bearbeitungsaktionen vergleicht (die sogenannte Jaccard-Ähnlichkeit, die den Anteil der Überlappung misst), wurde für jede Aufgabe gemessen, ob die Lösungswege der Teilnehmenden übereinstimmten oder auseinanderliefen. Dieses gesamte Verfahren wurde zweimal durchgeführt: in Experiment 1 (40 Personen, vor Ort) und Experiment 2 (220 Personen, online).

Befunde

Insgesamt lösten die Menschen die Aufgaben gut. In Experiment 1 lag die durchschnittliche Trefferquote bei 89,5 % (Standardabweichung 10,2 %), in Experiment 2 bei 80,1 % (Standardabweichung 16,6 %, Median 83,6 %, Minimum 13,7 % bis Maximum 100 %). Dieser hohe Durchschnitt verdeckt jedoch die Streuung zwischen den einzelnen Aufgaben. In Experiment 2 lösten bei 78,7 % der Aufgaben mehr als die Hälfte der Teilnehmenden die Aufgabe schon beim ersten Versuch, während dies bei nur 17,3 % der Aufgaben auf 90 % oder mehr der Teilnehmenden zutraf — darunter waren auch Aufgaben, die fast niemand lösen konnte (alle Zahlen wie im Originaltext angegeben).

Was bestimmte also die Schwierigkeit? Je schwieriger eine Aufgabe war, desto länger war die Bedenkzeit (Korrelation r=0,69 in Experiment 2, p<.001), und desto stärker liefen die Lösungswege der Teilnehmenden auseinander (die Korrelation zwischen Schwierigkeit und Bearbeitungs-Ähnlichkeit war mit r=-0,83, p<.001 stark negativ). Dagegen hatte die Schwierigkeit kaum etwas mit der Gittergröße (r=0,05), der Farbanzahl (r=-0,05) oder der Anzahl der nötigen Umfärbungen (r=0,12) zu tun. Die Autoren fassen dies so zusammen, dass Schwierigkeit nicht im Aussehen oder im manuellen Aufwand liegt, sondern im „Erkennen der Regel“ selbst.

Auch der Verlauf über die Zeit wurde untersucht. Mit fortschreitender Aufgabenfolge wurden die Teilnehmenden bei ihrem ersten Zug schneller (die Steigung der Bedenkzeit betrug im Mittel -0,114, statistisch signifikant). Die Trefferquote sank dabei jedoch leicht (die Steigung des Schwierigkeitswerts betrug im Mittel 0,005 — klein, aber signifikant). Beide Veränderungen liefen kaum synchron (r=-0,12, p=.066), was die Autoren nicht als „Tausch von Geschwindigkeit gegen Genauigkeit“ deuten, sondern als Anpassung durch Gewöhnung an die Aufgabe oder leichte Ermüdung. Zumindest gebe es keinen Beleg dafür, dass die Übung an früheren Aufgaben die Trefferquote bei späteren Aufgaben erhöht habe, so die Autoren.

Am aufschlussreichsten ist die Gestalt der Fehlantworten. Obwohl das Format nahezu frei ist, waren die Fehler nicht beliebig verstreut — viele Menschen konvergierten zu „genau derselben Fehlantwort“ (als „gemeinsame Fehlantwort“ wurden Fälle gezählt, in denen fünf oder mehr Personen dieselbe Ausgabe produzierten). Bei einer Aufgabe zur Mustervervollständigung überstieg die Gesamtzahl der Personen, die zur gemeinsamen Fehlantwort gelangten (71), sogar die Zahl der Personen mit der richtigen Lösung (54). Die Autoren deuten dies als Ausdruck einer Zweischneidigkeit der menschlichen Intuition darüber, „wie eine Transformation auszusehen hat“ (ein induktiver Bias, der im Kernwissen wurzelt — eine systematische Neigung beim Verallgemeinern aus wenigen Beispielen): Dieselbe Intuition begünstigt schnelles Lernen, erzeugt aber zugleich gleichgerichtete, gemeinsame Fehleinschätzungen.

Anwendungspunkte

Im Folgenden nenne ich Anwendungspunkte aus der Perspektive von Spiele- und Rätselmacherinnen und -machern. Erstens: die Richtlinie, Schwierigkeit „auf der Ebene der Konzepte“ zu konstruieren. In dieser Studie hatten Gittergröße und Farbanzahl kaum Einfluss auf die Schwierigkeit — entscheidend war die Verflechtung der Regeln. Würde ich ein Sokoban-like (ein Rätsel, bei dem Kisten geschoben und an vorgesehene Stellen gebracht werden) entwerfen, ließe sich daraus ableiten: Statt das Spielfeld zu vergrößern oder mehr Kisten hinzuzufügen, um es künstlich zu strecken, erhöht das gezielte Hinzufügen einer Bedingung, bei der sich Mechaniken gegenseitig beeinflussen (etwa eine verschachtelte Regel wie „färbe um, wenn weniger als drei Felder dieselbe Farbe haben“), die Schwierigkeit gezielter.

Zweitens gibt es die Möglichkeit, die „Zeit bis zum ersten Zug“ als Schwierigkeitssensor zu nutzen. In dieser Studie korrelierte die Bedenkzeit gut mit der Schwierigkeit. Misst man nicht nur Sieg/Niederlage oder die Gesamtzeit bis zum Abschluss, sondern auch die Stille zwischen dem Öffnen eines Levels und der ersten Aktion, lässt sich frühzeitig erfassen, wo Spielerinnen und Spieler ins Stocken geraten. Wer die Schwierigkeit bei automatisch generierten Hypercasual-Inhalten (PCG, Procedural Content Generation, automatische Inhaltserzeugung) dynamisch anpassen möchte, kann diese Stillezeit als Echtzeit-Signal nutzen.

Drittens: „häufige Fehlantworten“ als Schatzkarte sammeln. Diese Studie hat quantifiziert, dass viele Menschen zu derselben Fehlantwort konvergieren. Wenn in Ihrem Rätsel eine große Zahl von Spielerinnen und Spielern gemeinsam in denselben Fehler tappt, könnte das ein Hinweis darauf sein, dass Tutorial oder Beispiele eine „plausible, aber falsche Verallgemeinerung“ begünstigen. Bündelt man die Logs der Fehlantworten anhand eines Schwellenwerts wie „fünf oder mehr identische Antworten“, wird sichtbar, welches Beispiel ausgetauscht werden müsste, um die Vermittlung zu korrigieren. Das wirkt sich direkt auf das Design des Onboardings (die Einführung, die das erste Spielverständnis vermittelt) aus.

Viertens: kein Design, das sich auf „Verbesserung durch Übung“ innerhalb einer Sitzung verlässt. Die Teilnehmenden wurden zwar mit der Zeit schneller, doch ihre Fähigkeit, neue Regeln zu erkennen, verbesserte sich nicht — die Trefferquote sank sogar leicht. Das passt zum Hintergrund, dass sich fluide Intelligenz durch kurzfristiges Training kaum verändern lässt. Bei einer langen Sitzung von 2 Stunden und 75 Aufgaben zeigt sich auch der Schatten der Ermüdung. Beim Nachdenken über Schwierigkeitskurven und die Platzierung von Pausen sollte man die Annahme, „in der zweiten Hälfte werden die Spielenden von selbst besser“, als riskant einstufen.

Grenzen

Auch die Grenzen sollen ehrlich benannt werden. Zunächst räumen die Autoren selbst ein, dass ARC eine Aufgabe zur Messung fluider Intelligenz ist und sich von durch Übung verbesserbarem Fertigkeitslernen unterscheidet. Ferner räumen sie ein, dass der Rückgang der Trefferquote in der zweiten Hälfte angesichts der Länge von 2 Stunden und 75 Aufgaben mit Ermüdung oder sinkender Motivation vermischt sein könnte. Zudem haben sie nur Aufgaben ausgewählt, bei denen sich die Gittergröße zwischen Eingabe und Ausgabe nicht ändert, und legen ausdrücklich dar, dass CogARC damit nur einen Ausschnitt des gesamten ARC darstellt und die einzelnen Kernwissens-Systeme nicht direkt gemessen werden (die Ergebnisse also nur „nahelegen“, nicht beweisen).

Ab hier folgen Punkte, die mir, Fukai, beim Lesen aufgefallen sind. Die Teilnehmenden von Experiment 2 wurden über den Crowdwork-Marktplatz von Amazon rekrutiert, überwiegend im Alter von 18 bis 35 Jahren, wobei 97,7 % Englisch als Muttersprache angaben. Es ist verfrüht, dies unmittelbar auf die tatsächliche Zielgruppe eines Spiels zu übertragen. Da der Schwierigkeitswert auf der „Anzahl der Versuche“ basiert, besteht zudem die Sorge, dass Aufgeben und Scheitern auf derselben Skala gezählt werden. Der Rückgang der Trefferquote über die Zeit (Steigung 0,005) ist zwar signifikant, aber sehr klein — man sollte ihn nicht als praktisch bedeutsamen Effekt überinterpretieren. Und noch einmal: Es handelt sich um einen Preprint vor der Begutachtung. Auch wenn die interne Replikation und die Übereinstimmung mit früheren Arbeiten wie H-ARC eine gewisse Stütze bieten, ist es noch zu früh, dies als gesicherte Erkenntnis zu behandeln.

Fukais Lesart

Ich schreibe hier ausdrücklich als meine eigene Interpretation. Ich möchte diese Studie als eine, nach längerer Zeit wieder auftauchende, empirische Stütze für die These lesen, dass „die Schwierigkeit eines Rätsels nicht an der Oberfläche, sondern im Raum der Bedeutung wohnt“. Im Vokabular der Designkritik entspricht das der alten Intuition, dass gute Schwierigkeit nicht perzeptuell (durch die Informationsmenge des Aussehens), sondern semantisch (durch die konzeptionelle Tiefe der Regel) konstruiert werden sollte. Und der Befund der „gleichgerichteten Fehlantworten“ erscheint mir wie ein Versuch, den induktiven Bias der Spielenden zu kartieren. Fehlantworten sind kein Rauschen des Scheiterns, sondern eine Stichprobe davon, welche Hypothesen Menschen zuerst aufstellen — Macherinnen und Macher, die das in ihr Design einspeisen können, stehen meiner Lesart nach auf starkem Boden.

Zum Schluss

Für alle, die tiefer einsteigen möchten: Die Grundidee von ARC selbst lässt sich am besten mit Chollets „On the Measure of Intelligence“ erfassen. Liest man zusätzlich H-ARC (LeGris et al.), das die ARC-Leistung von Menschen groß angelegt gemessen hat, und ConceptARC (Moskvichev et al.), das Aufgaben nach Regeltypen ordnet, gewinnt die Landkarte dieses Feldes an Tiefe. Wer sich für Einsicht und Suche interessiert, findet eine Verbindung zu dem hier zuvor vorgestellten Artikel über einsichtsvolles Problemlösen von Chao et al. Da der Datensatz selbst öffentlich zugänglich ist, ist es vielleicht der schnellste Weg, sich selbst die Hände schmutzig zu machen und die Sammlung der Fehlantworten durchzusehen.

Quellen

In diesem Artikel referenzierte Arbeiten und weiterführende Materialien:

・Exploring Human Behavior During Abstract Rule Inference and Problem Solving with the Cognitive Abstraction and Reasoning Corpus (Ahn et al., 2026, arXiv-Preprint 2602.22408)

・HTML-Version desselben Papers (Volltext und Abbildungen)

・CogARC-Verhaltensdatensatz (Zenodo, CC-BY, DOI:10.5281/zenodo.18177487)

・On the Measure of Intelligence (Chollet, 2019, Originalarbeit zu ARC)

・Verwandte Arbeiten (im Text erwähnt): H-ARC (LeGris et al., 2024–2025), ConceptARC (Moskvichev et al., 2023) — beide befassen sich mit menschlicher ARC-Leistung und der Struktur von Fehlantworten