Gould & Ward et al.: Puzzle-Schwierigkeit gemessen in „menschlicher Bearbeitungszeit" — Fukai liest

Zusammenfassung in einem Absatz

Ein Zahlenwert für „Wie schwer ist dieses Puzzle" ist schwerer zu finden, als man denkt. Zählt man die Lösungsschritte, misst man die Erfolgsquote, oder vergibt man drei Sterne? Die Antwort, die dieses Papier wählt, ist schlicht — die Zeit, die ein Mensch zum Lösen braucht. Ein Team von über zwanzig Personen unter der Leitung von Dewi Gould und Francis Rhys Ward (Redwood Research, das Astra Fellows Program und weitere) versah 43 Benchmarks mit über 30.000 Aufgaben mit „menschlicher Bearbeitungszeit" und ordnete die Leistung von KI-Modellen entlang dieser Zeitachse an. Die vergebenen Bearbeitungszeiten reichen von 0,5 Sekunden bis über 15 Stunden.

Der eigentliche Zweck des Papiers ist nicht das Puzzle, sondern die KI-Sicherheit. Gemessen wird, „wie viel ein Modell schlussfolgern kann, ohne seine Gedanken als Text nach außen zu schreiben." Das Ergebnis: Die menschliche Bearbeitungszeit von Aufgaben, bei denen eine 50%ige Erfolgsquote ohne ausgeschriebenes Denken erreicht wird, hat sich über diese sechs Jahre etwa alle 373 Tage verdoppelt (95%-Konfidenzintervall 167 bis 691 Tage) und erreichte beim neuesten GPT-5.5 rund drei Minuten. Ich habe dieses Papier heute jedoch weniger wegen dieses Ergebnisses ausgewählt als wegen des Instrumentariums, das die Autoren auf dem Weg dorthin aufgebaut haben — eine Art, Schwierigkeit in menschlicher Zeit zu messen, die sich unverändert für die Puzzle-Gestaltung mitnehmen lässt.

Einleitung

Das Papier trägt den Titel „Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models". Dewi Gould und Francis Rhys Ward sind gleichrangige Erstautoren, gefolgt von Anders Cairns Woodruff, Rauno Arike und rund zwanzig weiteren. Die Zugehörigkeiten erstrecken sich über Redwood Research, das Astra Fellows Program, Aether Research, MATS Research, die Technische Universität Katalonien, das Imperial College London, die University of Cambridge, die University of Chicago, die Durham University, das MIT, die University of Oxford, die University of Glasgow und Constellation. Es trägt die Kennung arXiv:2606.07157v1, ist dem Fachgebiet cs.AI zugeordnet und wurde am 5. Juni 2026 eingereicht. Das Papier bezeichnet sich selbst zu Beginn ausdrücklich als „Preprint" und hat somit kein Peer-Review durchlaufen. Da es erst kurz zuvor erschienen ist, wird es auch noch nicht breit diskutiert. Diese beiden Punkte sollte man beim Lesen als Voraussetzung im Blick behalten.

Ich schreibe ehrlich, warum ich dieses Papier heute ausgewählt habe. Normalerweise sehe ich mir jeden Morgen die Neuerscheinungen bei cs.HC und cs.AI auf arXiv an, um puzzlenahe Arbeiten zu finden, doch heute war dieses Regal dünn bestückt. Stattdessen fiel mir dieses Papier auf, weil in der Benchmark-Liste das Kreuzworträtsel der New York Times, Sudoku, Lichess-Schachrätsel, KenKen, Logikrätsel von Puzzle Baron und die Tower-of-London-Aufgabe (Tower of London, eine klassische psychologische Aufgabe, bei der Scheiben umgeordnet werden, um eine Zielanordnung zu erreichen, und die Planungsfähigkeit misst) aufgeführt waren. Es ist eine Forschungsarbeit, die nur funktioniert, wenn man die Schwierigkeit von Puzzles vollkommen ernsthaft in Zahlen fasst, und schon dieser Teil allein lohnt die Lektüre. Im Folgenden schreibe ich nur das, was ich im Haupttext bestätigen konnte. Auf die Details der einzelnen Benchmarks in Anhang D, der nicht im von mir abgerufenen Text enthalten war, gehe ich nicht ein.

Hintergrund

Warum „Zeit"? Beim Messen der Fähigkeiten von KI ist die Erfolgsquote bei Benchmarks praktisch, aber als Vergleichsachse brüchig. Man kann Benchmarks unterschiedlicher Schwierigkeit nicht nebeneinanderstellen, und was „85% erreicht" im Verhältnis zu einem Menschen bedeutet, bleibt unklar. Deshalb schlugen Kwa et al. (METR) das Konzept des 50%-Aufgabenerledigungs-Zeithorizonts (time horizon, im Folgenden TH) vor: Wie viele Minuten würde ein Mensch für Aufgaben brauchen, die ein Modell mit 50%iger Wahrscheinlichkeit löst? Das wird zu einer einzigen Zahl gemacht. Da die Einheit „Minuten" ist, wird die Bedeutung auch fachfremden Personen vermittelt.

Dieser Gedanke wurde in der Welt der Puzzles in Wirklichkeit schon stillschweigend verwendet. Die Bezeichnungen „leicht/mittel/schwer" einer Sudoku-App sind, letztlich betrachtet, Namen, die einer Verteilung von Bearbeitungszeiten gegeben wurden. Kreuzworträtsel-Liebhaber notieren ihre Lösungszeiten, um ihr eigenes Können zu messen und sich mit anderen zu vergleichen. Man kann also sagen: „Menschliche Bearbeitungszeit" ist in der Puzzlekultur die älteste und schlichteste Einheit der Schwierigkeit. Dieses Papier trägt sie in die KI-Evaluation hinein.

Was bislang nicht geklärt war, ist, wie streng sich diese schlichte Einheit handhaben lässt. Die menschliche Bearbeitungszeit variiert stark von Aufgabe zu Aufgabe und hängt davon ab, wer sie löst. Und für viele Aufgaben existiert von vornherein gar kein menschlicher Datensatz. Der methodische Beitrag dieses Papiers besteht darin, diese Unsicherheit nicht zu tilgen, sondern sie als Messfehler bis zur abschließenden Schlussfolgerung mitzutragen. Die Autoren selbst schreiben, dies sei einer ihrer zentralen Beiträge.

Vorgehensweise

Zunächst der Gesamtüberblick. 43 Benchmarks, über 30.000 Aufgaben. Sie laufen auf Inspect, dem Test-Ausführungsrahmen des britischen AI Security Institute. Die Benchmarks gliedern sich in drei Arten: Aufgaben, bei denen nur eine kurze Antwort ausgegeben wird, Aufgaben, bei denen Code oder Text generiert wird, und mehrschrittige Aufgaben mit wiederholten Werkzeugaufrufen. Die Hauptanalyse im Text beschränkt sich auf die 32 Kurzantwort-Benchmarks. Bewertet werden 14 Modelle von GPT-2 (2019) bis GPT-5.5 (2026). Pro Aufgabe wird achtmal bei einer Temperatur von 0,7 versucht.

Zunächst zur Bedeutung von no-CoT: Es bedeutet, CoT (Chain-of-Thought, das Verfahren, den Denkprozess als Text ausschreiben zu lassen) zu unterbinden. Über Prompt und wenige Beispiele wird das Modell dazu gebracht, „nur die Antwort ohne ausgeschriebene Gedanken" zu geben, und falls sich in mehr als 5% der Ausgaben trotzdem zwischenzeitliche Schlussfolgerungen einschleichen, wird das Ausgabeformat strukturell eingeschränkt. Gemessen wird also, wie viel ein Modell rein im Kopf (im Wortlaut des Papiers: latent, verborgen) schlussfolgern kann. Die sicherheitsseitige Motivation ist eindeutig: Kann ein Modell komplexe Schlussfolgerungen bewältigen, ohne sie auszuschreiben, so funktionieren Methoden, die es durch Lesen seines Denkprozesses überwachen, nicht mehr.

Und wie wurde die menschliche Bearbeitungszeit zugeordnet? Das ist der Kernpunkt dieses Artikels. Für 20 der 43 Benchmarks existieren bereits Daten zur menschlichen Bearbeitungszeit. Für 12 der übrigen Benchmarks wurden 17 fachkundige Teilnehmer rekrutiert und 733 Aufgabenversuche gesammelt. Anschließend wurde Claude Opus 4.7 gezeigt, wie bis zu 50 Paare aus (Aufgabe, Bearbeitungszeit) aus demselben Bereich aussehen, und das Modell ließ man die Bearbeitungszeiten der übrigen Aufgaben schätzen. Die Genauigkeit dieser Schätzung wurde an den 20 Benchmarks mit realen Daten überprüft. Bei der besten Prompt-Konfiguration ergab sich ein MALR (mean absolute log ratio, ein Maß, das das Verhältnis von gemessener zu geschätzter Zeit logarithmiert und im Betrag mittelt, wodurch Aufgaben unterschiedlicher Größenordnung nebeneinander bewertet werden können) von 0,55, was das Papier als „im Schnitt um den Faktor 1,7 daneben" umschreibt. Die verbleibenden 11 Benchmarks stützen sich auf Erfahrungswerte von Fachleuten und Schätzungen von Sprachmodellen.

Auch die Art, wie der Fehler mitgeführt wird, ist konkret. Sie passen die Beziehung zwischen geschätzter und gemessener Zeit im logarithmischen Raum an eine einzige Normalverteilung an (1.075 zugehörige Paare). Anschließend lassen sie ein hierarchisches Bootstrap-Verfahren (eine Methode, bei der Daten auf mehreren Ebenen mit Zurücklegen neu gezogen werden, um die Streuung der Schätzung zu betrachten) 10.000-mal laufen. Neu gezogen werden vier Dinge: die Benchmarks, die Aufgaben darin, die Modellversuche pro Aufgabe und die menschliche Bearbeitungszeit selbst. Dass Letzteres — also die Annahme, dass auch die Schätzung der menschlichen Zeit fehlerbehaftet ist — einbezogen wird, unterscheidet dies von früheren Verfahren. Ohne Formeln gesagt: Die Erfolgsquote wird als glatte S-förmige Kurve gegen den Logarithmus der Bearbeitungszeit angepasst, und die Stelle, an der diese Kurve die 50%-Marke kreuzt, wird TH genannt.

Interessant ist auch, dass eine zweite Schwierigkeitsachse bereitgestellt wird. Als von der menschlichen Zeit unabhängigen Maßstab führen sie den „Denk-Token-Horizont" ein: Wie viele Denk-Token benötigt ein als Referenz dienendes Schlussfolgerungsmodell (o3-mini, ausgewählt aus 12 Kandidaten) mindestens, um eine gegebene Aufgabe zu lösen? Dieselbe Aufgabe wird achtmal versucht, und von den korrekten Versuchen wird die kleinste Token-Anzahl genommen. Anders als bei der menschlichen Zeit ist der Fehler auf dieser Achse nicht einbezogen.

Ergebnisse

Das Hauptergebnis lautet: Der 50%-Zeithorizont ohne ausgeschriebenes Denken hat sich über sechs Jahre alle 373 Tage verdoppelt (95%-Konfidenzintervall 167 bis 691 Tage, R² = 0,84). Einzelwerte: GPT-4 etwa 0,9 Minuten, Sonnet 3.7 etwa 1,1 Minuten, Opus 4.7 etwa 2,8 Minuten, GPT-5.5 etwa 3,0 Minuten (Figure 5 des Papiers). Der Denk-Token-Horizont verdoppelt sich alle 437 Tage (Konfidenzintervall 341 bis 571, R² = 0,92), mit GPT-4 bei 290 Token, Sonnet 3.7 bei 584 Token und Opus 4.7 sowie GPT-5.5 beide bei etwa 1.500 Token. Die beiden Achsen korrelieren im logarithmischen Raum eng, aber nicht vollständig (Steigung etwa 0,85, R² etwa 0,95).

Auch der Unterschied zum Fall mit ausgeschriebenem Denken wird berichtet. Die von Kwa et al. berichtete Verdopplungszeit des Zeithorizonts mit CoT liegt bei 182 Tagen, die von no-CoT ist damit ungefähr doppelt so langsam. Das Papier erklärt, dass sich dieser Unterschied erst mit dem Erscheinen von GPT-4 zu öffnen beginnt. Zur Zukunft: Verlängert man die Steigung des Medians, ergeben sich für 2028 etwa 7 Minuten (Bereich 4 bis 30) und für 2030 etwa 28 Minuten (Bereich 9 bis 615). Wie die Breite dieser Bereiche zeigt, äußern die Autoren selbst starke Vorbehalte gegenüber der Unsicherheit dieser Extrapolation.

Die für Puzzle-Macher wichtigste Zahl steckt tatsächlich im Anhang. Die Autoren messen pro Benchmark, um welchen Faktor sich die Misserfolgsquote (Odds) erhöht, wenn sich die Bearbeitungszeit einer Aufgabe verdoppelt (Figure 13). Bei den meisten (Modell-, Benchmark-)Paaren liegt das Odds-Verhältnis bei etwa 2 — verdoppelt sich also die Bearbeitungszeit, halbiert sich in etwa die Erfolgswahrscheinlichkeit. Sudoku und die N-Hop-Referenzaufgabe stechen jedoch mit deutlich höheren Werten hervor und liegen am oberen Ende der Reihe. Schachrätsel und Kreuzworträtsel liegen dagegen weiter unten. Die mediane Steigung auf der Zeitachse beträgt 1,03, auf der Token-Achse 0,64, und das Papier folgert daraus: „Menschliche Bearbeitungszeit unterscheidet die Schwierigkeit einzelner Aufgaben stärker." Dasselbe „doppelte Bearbeitungszeit" bedeutet je nach Genre also einen völlig unterschiedlich steilen Abhang.

Auch die Robustheitsprüfung ist sorgfältig. Passt man das Fehlermodell in zwei getrennten Bereichen neu an, ändert sich die Verdopplungszeit mit 368 Tagen (169 bis 720) kaum. Fügt man generative Aufgaben hinzu, ergeben sich 397 Tage, fügt man zusätzlich mehrschrittige Werkzeugnutzungsaufgaben hinzu, 319 Tage. Nach Fachgebiet gegliedert ergeben sich Unterschiede — Mathematik und Naturwissenschaften bei 246 Tagen, Sprache und Schlussfolgern bei 387 Tagen —, doch die Autoren merken vorsichtig an, dies sei „aufschlussreich, aber stark verrauscht". In einem zusätzlichen Experiment mit 35 offenen Modellen (1B bis 1T Parameter) waren zur Verdopplung des Zeithorizonts das 4,2-Fache der Gesamtparameter oder das 1,3-Fache der Schichtanzahl nötig. Bei der Schichtanzahl ist die Steigung für dichte Modelle und für Mixture-of-Experts-Modelle (eine Architektur, bei der pro Aufgabe nur ein Teil der Komponenten genutzt wird) nahezu gleich, während sie bei der Gesamtparameterzahl deutlich auseinanderfallen: 2,2-fach bei dichten Modellen, 8,1-fach bei MoE.

Eine Randbemerkung: Bedeutungslose Füll-Token wie „...." zu ergänzen, ändert die no-CoT-Erfolgsquote kaum, doch allein die Aufgabenstellung noch einmal zu wiederholen, brachte bei manchen Benchmarks eine Verbesserung von 10 bis 20 Prozentpunkten.

Anwendungsmöglichkeiten

Erstens: Die Einheit des Schwierigkeitslabels durch „mediane Bearbeitungszeit" ersetzen. Wer tägliche Puzzles erstellt, kommuniziert die Schwierigkeit besser über den Median der Bearbeitungszeit echter Spieler als über die Zugzahl eines internen Lösers. Bildet man dann, nach dem Vorbild des Papiers, die Vollständigkeitsquote als S-Kurve gegen den Logarithmus der Bearbeitungszeit ab, erhält man eine einzige Zahl: Bis zu welcher Bearbeitungszeit können 50% der eigenen Leser eine Aufgabe vollständig lösen? Statt die Namen der Schwierigkeitsstufen nach Gefühl festzulegen, lässt sich damit steuern.

Zweitens: Die Steilheit der Schwierigkeitskurve im eigenen Genre messen. Die Analyse des Papiers, „um welchen Faktor sich die Odds bei doppelter Bearbeitungszeit ändern", lässt sich unmittelbar als Charaktertest für ein Puzzle-Genre nutzen. Bei einem Sudoku-artig steilen Abhang fallen Spieler abrupt ab, wenn man die Level nicht fein abstuft. Bei einem kreuzworträtselartig sanften Gefälle bleibt die Erfahrung auch bei gröberer Abstufung kontinuierlich. Wer etwas Sokoban-like baut, sollte folgerichtig zuerst diese Steigung an den eigenen Logs messen und die Abstufung der Level daran anpassen. Das erklärt, warum dieselben „fünf Schwierigkeitsstufen" je nach Genre einmal zu grob und einmal zu fein ausfallen.

Drittens: Einem Sprachmodell nur wenige echte Logs zeigen, es die Bearbeitungszeit schätzen lassen und diese Schätzung unter der Annahme verwenden, dass sie „um etwa den Faktor 1,7 daneben liegt". Die Situation, hundert neue Puzzles gebaut zu haben, aber noch keine echten Spieldaten zu besitzen (der sogenannte Kaltstart), ist häufig. Das Verfahren des Papiers besteht schlicht darin, aus den eigenen Logs rund 50 Paare aus (Aufgabe, gemessene Zeit) auszuwählen und als Few-Shot-Beispiele zu zeigen. Da das Ergebnis jedoch einen Fehler vom Faktor 1,7 trägt, halte ich es für angemessener, es zur Vorsortierung zu nutzen — etwa um offensichtlich zu schwere Aufgaben auszusortieren oder einen Entwurf der Levelreihenfolge zu erstellen — statt für die endgültig veröffentlichte Schwierigkeitsangabe.

Viertens: Die Voraussetzungen der Bestenliste überdenken. Ein Modell, das keine Gedanken ausschreibt, trifft mit 50%iger Wahrscheinlichkeit Aufgaben, für die ein Mensch etwa drei Minuten braucht. Diese Länge liegt in der Reichweite vieler hyperkasueller täglicher Puzzles. Wer eine Rangliste betreibt, die davon ausgeht, dass „keine KI verwendet wird", kann die Tatsache nicht ignorieren, dass sich dieser Horizont jährlich fast verdoppelt. Umgekehrt ist auch ein Design denkbar, das von vornherein eine Kategorie vorsieht, die das gemeinsame Lösen mit KI voraussetzt.

Fünftens: Die Anzahl der Denk-Token als zweite Schwierigkeitsachse beim Kaltstart nutzen. Lässt man ein vorhandenes Schlussfolgerungsmodell achtmal antreten und misst „die kleinste Anzahl von Denk-Token bis zur richtigen Antwort", ergibt das selbst schon einen Anhaltspunkt für die Schwierigkeit. Man sollte berücksichtigen, dass das Papier feststellt, menschliche Zeit unterscheide stärker — doch als vorläufige Reihenfolge zum Sortieren generierter Level dürfte es genügen.

Grenzen

Zunächst die von den Autoren selbst eingeräumten Schwächen. Erstens hängt die no-CoT-Messung davon ab, mit welcher Methode das Modell dazu gebracht wird, seine Gedanken nicht auszuschreiben. Insbesondere die Forderung nach kurzen oder Ein-Token-Antworten stellt für neuere Schlussfolgerungsmodelle eine ungewohnte Situation dar (out-of-distribution), weshalb dies, wie die Autoren selbst schreiben, die latente Schlussfolgerungsfähigkeit und die Verdopplungsgeschwindigkeit möglicherweise systematisch unterschätzt. Zweitens trennt diese Messung latentes Schlussfolgern nicht sauber vom Musterabgleich durch Auswendiggelerntes oder Erfahrungsregeln. Die gewonnenen Horizonte dürfen daher nicht als direkte Messung der „Tiefe internen Nachdenkens" gelesen werden, stellt das Papier ausdrücklich klar. Sie quantifizieren lediglich die „Schwierigkeit von Aufgaben, die ohne Externalisieren des Schlussfolgerns lösbar sind".

Was ich, Fukai, hier anmerken möchte, ist, dass „menschliche Bearbeitungszeit" keine einheitliche Sache ist. Die Bearbeitungszeiten der New-York-Times-Kreuzworträtsel stammen von einer Gruppe von Enthusiasten, die ihre eigenen Ergebnisse auf Seiten wie xwstats einreichen. Die Lichess-Schachrätsel stammen von Aufzeichnungen bewerteter Spieler. Die Sudoku-Daten stammen aus dem Datensatz von Wang (2024, IEEE Access), der mit von menschlichen Spielern erlebten Schwierigkeitsmaßen versehen ist. Jede dieser Datenquellen ist für sich respektabel, doch die dahinterliegenden menschlichen Verteilungen unterscheiden sich völlig. Für den Zweck des Papiers (den relativen Vergleich von KI und Mensch) ist diese Mischung bis zu einem gewissen Grad hinnehmbar, doch wer als Puzzle-Macher dieselben Zahlen ausleiht, sollte vorsichtig sein. Der Median der eigenen Leserschaft ist nicht der Kreuzworträtsel-Enthusiast, der seine Lösungszeit täglich protokolliert.

Zwei weitere Punkte von mir, Fukai. Erstens: Der 50%-Zeithorizont ist ein einzelner Skalar und komprimiert, wie die Steigungsanalyse im Anhang zeigt, die Struktur der einzelnen Genres erheblich. Innerhalb der Zahl „drei Minuten" wohnen ein Sudoku-artiger Abgrund und ein kreuzworträtselartiges Gefälle zusammen. Zweitens misst diese Forschung Bearbeitungszeit, nicht Spielspaß. Zeit ist ein brauchbares Stellvertretermaß für Schwierigkeit, aber kein Stellvertretermaß für die Güte der Erfahrung; nirgends behauptet das Papier, ein länger dauerndes Puzzle sei ein besseres. Hinzu kommt, dass die Datensätze nicht veröffentlicht sind, um eine Vermischung mit künftigen Trainingsdaten zu verhindern (sie sind bei den Autoren anzufragen), und dass sich als Preprint vor dem Peer-Review auch kaum Zitationen angesammelt haben. Die Zahlen sollte man richtigerweise als „vorläufige Schätzung" lesen.

Wie Fukai es liest

Dies ist meine eigene Deutung. Ich möchte diese Arbeit nicht als ein Papier zur KI-Sicherheit einordnen, sondern in die Reihe von Papieren, die dem alten Problem der „Schwierigkeitsmessung" eine neue Methodik bringen. Im Vokabular der Designkritik gesprochen, ist dies weniger die Automatisierung der Schwierigkeitsanzeige als vielmehr die Ehrlichmachung des Messakts der Schwierigkeit selbst. Was die Autoren getan haben, ist, die schlichte Einheit der menschlichen Bearbeitungszeit nicht zu verwerfen, ihr aber eine Fehlerstruktur zu geben und diesen Fehler bis zur abschließenden Schlussfolgerung mitzuführen. Nicht „diese Aufgabe dauert etwa 4 Minuten", sondern „etwa 4 Minuten, jedoch im Schnitt um den Faktor 1,7 daneben". Beispiele dafür, dass dies in der Puzzle-Produktion praktiziert wird, kenne ich kaum. Schwierigkeit wird über eine Anzahl von Sternen angezeigt, doch wie sehr man diesen Sternen trauen kann, wird nicht angezeigt. Der am ehesten übertragbare Teil dieses Papiers ist, so lese ich es, weder die drei Minuten noch die 373 Tage, sondern die Gewohnheit, daneben stets ein Intervall zu notieren.

Zum Schluss

Für alle, die tiefer einsteigen möchten: Der Rahmen des Zeithorizonts selbst stammt von Kwa et al., „Measuring AI Ability to Complete Long Software Tasks" (arXiv:2503.14499); liest man das zuerst, wird deutlich, was dieses Papier hinzufügt. Wie sich der Zeithorizont je nach Fachgebiet unterscheidet, fasst ein Blogbeitrag von METR kurz zusammen. Als Rahmen, um die Evaluationen tatsächlich auszuführen, ist Inspect vom britischen AI Security Institute öffentlich verfügbar.

Auch Material von der Puzzle-Seite sei genannt. Der Datensatz, der die Sudoku-Schwierigkeit anhand menschlicher Erfahrung misst, stammt von Wang (2024, IEEE Access) — genau die Quelldaten, die auch dieses Papier verwendet. Für die Verteilung der Kreuzworträtsel-Lösungszeiten ist xwstats ein Ausgangspunkt, für Schachrätsel die öffentliche Lichess-Datenbank. Schon der Blick auf diese drei zeigt, wie tief der Gedanke, Schwierigkeit über Zeit zu messen, in der Puzzlekultur verwurzelt ist.

Quellen

In diesem Artikel herangezogene Papiere und verwandte Materialien:

・Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models (Dewi Gould, Francis Rhys Ward et al., 2026, arXiv preprint arXiv:2606.07157)

・Verwandte Arbeit: Measuring AI Ability to Complete Long Software Tasks (Kwa et al., 2026) — Ursprung des Zeithorizont-Rahmens

・Verwandte Arbeit: A Dataset of Sudoku Puzzles With Difficulty Metrics Experienced by Human Players (Sheng-Wei Wang, 2024, IEEE Access 12:104254-104262)

・How does time horizon vary across domains? (METR, 2025)

・Inspect AI (UK AI Security Institute) — der Rahmen, mit dem dieses Papier die Evaluationen ausgeführt hat

・Datenquellen: XW Stats (Statistiken zu Lösungszeiten des NYT-Kreuzworträtsels) / Lichess puzzle database