Waugh : mesurer le raisonnement de l'IA avec le sudoku et le slitherlink — lu par Fukai

En bref

J'ai lu une étude qui transforme les puzzles papier-crayon — cette famille de puzzles logiques qu'on résout au papier et au crayon, comme le sudoku et le slitherlink — en étalon pour mesurer la capacité de raisonnement des grands modèles de langage (LLM, des IA entraînées sur d'énormes quantités de texte, qui génèrent de l'écrit en prédisant le mot suivant). L'auteur est Justin Waugh, d'Approximate Labs ; il s'agit d'un préprint arXiv (un manuscrit pas encore relu par les pairs) publié le 2 mars 2026.

L'idée centrale est qu'une machine peut vérifier de façon stricte non seulement si la réponse finale est correcte, mais si chaque coup intermédiaire respecte les règles. Sur 62 231 puzzles répartis en 94 types, 300 puzzles en 20 types ont été sélectionnés, et 51 modèles de 11 fournisseurs ont été évalués. Même le plus fort, GPT-5.2, n'atteint que 56,0 % en mode « agentique » utilisant des outils ; selon l'auteur, environ la moitié du benchmark reste non résolue. Cet article vise à en transmettre l'essentiel sans que vous ayez à ouvrir l'article original.

Introduction

Ce que j'ai choisi aujourd'hui, c'est « Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning ». L'auteur est Justin Waugh (Approximate Labs). Le numéro arXiv est 2603.02119, publié le 2 mars 2026. Précisons d'emblée : ce n'est pas un article de conférence relu par les pairs, mais un préprint (manuscrit non encore relu) publié comme journal de recherche d'entreprise. C'est récent, et la discussion ne s'est pas encore accumulée autour.

Pourquoi moi, qui écris pour un site de puzzles, choisirais-je ceci ? Tout simplement parce que le sujet est notre propre jardin. Sudoku, Nurikabe, Slitherlink, Masyu, Yajilin, Light Up (le « musée ») — rien que d'entendre ces noms, la main de tout amateur de puzzles se met à démanger. L'idée même de les utiliser comme outil d'évaluation de l'IA est riche d'enseignements, y compris pour les créateurs. J'ai lu cette étude comme le récit d'une machine qui prend en charge « l'équité » d'un puzzle.

Contexte

Les LLM récents, en tant que « modèles de raisonnement » (des LLM entraînés à écrire leur cheminement de pensée avant de répondre), montrent que plus on y consacre de temps (de calcul), plus ils deviennent intelligents. Mais comment mesurer cette intelligence équitablement ? C'est difficile. Noter une rédaction ou du code oblige souvent à s'en remettre au jugement subjectif d'un humain ou d'une autre IA.

Les puzzles papier-crayon contournent proprement ce problème de notation, selon l'auteur. Les règles sont entièrement fixées et la réponse est unique (une solution unique est garantie), donc pas besoin de notation subjective (des jugements qui varient selon les préférences humaines ou celles d'une IA). De plus, résoudre exige de longues chaînes de déduction ; il existe des dizaines de variétés aux structures diverses ; et comme la culture partage des « problèmes » plutôt que des « corrigés », la contamination (des réponses qui s'infiltrent dans les données d'entraînement — la source de la triche) est peu probable. L'auteur cite ces quatre points comme raisons pour lesquelles les puzzles papier-crayon conviennent à l'évaluation.

Approche / méthode

L'auteur a d'abord rassemblé 62 231 puzzles en 94 types, à solution unique vérifiée, à partir du site de partage de puzzles puzz.link. Il en a sélectionné 300, en 20 types (couvrant plusieurs paliers de difficulté), comme étalon commun. Les puzzles sont des « problèmes de satisfaction de contraintes » (trouver un agencement qui satisfait simultanément toutes les règles fixées), et beaucoup sont décrits comme proches de NP-complet (une classe où vérifier une réponse est rapide, mais où en trouver une explose rapidement avec la taille).

L'évaluation se fait de deux façons. La première, « réponse directe » (direct ask) : le modèle reçoit le puzzle et doit écrire une solution complète en une seule réponse. La seconde, « agentique » (une façon de procéder où l'IA utilise des outils, joue un coup, vérifie le résultat, et recommence les corrections) : le modèle résout en utilisant des outils pour jouer un ou plusieurs coups, vérifier l'état d'avancement de la grille, dessiner la grille, interroger les règles, recommencer, ou abandonner.

L'ossature de cette étude est la « vérification au niveau de chaque coup » (step-level verification). À chaque coup qui modifie la grille, un vérificateur dédié (un programme qui juge mécaniquement la validité d'un coup) contrôle l'état et renvoie précisément quelle règle a été violée, et à quel endroit de la grille. Il ne dépend pas de la subjectivité d'une personne ou d'une autre IA (pas de LLM-juge). L'auteur présente cela comme un socle pour la « supervision de processus » (donner un signal de justesse à chaque coup intermédiaire, pas seulement à la réponse finale) et pour l'apprentissage par renforcement (apprendre des comportements qui maximisent une récompense par essai-erreur). Un environnement compatible Gym, pilotable par des programmes externes, a également été publié pour ces travaux de RL.

Résultats

Les résultats sont, franchement, sévères. Même en faisant tourner le plus fort, GPT-5.2, avec l'effort de raisonnement maximal, la résolution agentique n'atteint que 56,0 % (évalué sur 84 puzzles) ; la résolution directe reste à 27,0 %. Dans le résumé, l'auteur rapporte que GPT-5.2 progresse d'un facteur 81 quand l'effort de raisonnement passe de nul à maximal (chiffres tels quels dans l'original). Autrement dit, sans y consacrer d'effort (de calcul), il ne résout presque rien.

L'autre axe est « l'itération agentique ». Selon l'auteur, Claude Opus 4.6 sans réflexion étendue ne résout presque rien en mode direct (0,3 %), mais grimpe à 30,0 % en vérifiant et itérant avec des outils. Sur des puzzles appariés (matched), les gains rapportés sont de +30,0 points pour Opus 4.6 et +35,7 points pour GPT-5.2@xhigh. L'auteur en tire que « la profondeur de délibération » et « l'itération d'essai-correction » sont deux axes de capacité distincts.

Et c'est aussi une épreuve d'endurance. Les tentatives agentiques s'étendent sur une médiane de 29 tours pendant 17 minutes, atteignent 113 tours au 90e percentile, et la plus longue a dépassé 1 221 tours sur 14,3 heures (chiffres tels quels dans l'original). L'auteur parle d'« une épreuve d'usage soutenu du contexte long (long-context), pas d'une seule bonne chaîne de pensée ». Le coût varie aussi fortement : environ 1,66 $ en moyenne par tentative (sur 17 032 exécutions), mais le coût par succès varie d'environ 67 000x selon les modèles. En prenant le meilleur modèle par fournisseur, les trois premiers (OpenAI, Anthropic, Google) dépassent tous 33 %, tandis que le meilleur modèle chinois à poids ouverts atteint 6 %, selon les chiffres rapportés.

Cas d'usage

À partir de là, voici au moins trois façons concrètes dont les créateurs de puzzles et de jeux peuvent utiliser cette étude. D'abord, une conception qui met génération et vérification dans la même boucle. Si je construisais un générateur automatique de Nurikabe ou de Slitherlink, je voudrais un vérificateur interne qui, à chaque coup, indique « quelle règle a été violée, et où ». On obtient à la fois une garantie de solution unique et une information d'erreur localisée.

Ensuite, les systèmes d'indices. Le vérificateur de cette étude ne renvoie pas un simple « faux », mais un « cette ligne viole cette règle » précis. C'est directement un plan pour de bons indices en jeu. Si je construisais une application de puzzles papier-crayon, au lieu d'afficher « incorrect », je révélerais progressivement la règle violée et son emplacement — en traduisant la sortie du vérificateur dans l'interface.

Troisièmement, l'estimation de la difficulté et le playtesting automatisé. Le nombre de coups qu'une résolution agentique a nécessité (médiane 29, 113 au 90e percentile) peut servir de proxy à la difficulté. Si je produisais en masse des niveaux pour un jeu hypercasual, je pourrais classer les niveaux selon le nombre de corrections dont un modèle a besoin, et m'en servir pour ajuster la courbe de difficulté. Quatrièmement, les deux axes de cette étude (délibération / essai-correction) se retrouvent aussi chez les joueurs humains. Il y a de la place pour concevoir à la fois pour le type « anticipation » et le type « essai-erreur », en tissant dans la conception l'annulation (undo) et un bouton « vérifier » — l'équivalent humain du retour du vérificateur. En plus de cela, le jeu de données publié de 62 231 puzzles en 94 types (sur Hugging Face) et sa source puzz.link sont directement une matière première pour la production.

Limites

Je sépare les limites entre ce que l'auteur reconnaît lui-même et ce que j'ai remarqué en lisant. L'auteur affirme explicitement avoir volontairement gardé les deux méthodes de résolution comme des « bases de référence simples » (simple baselines) — pas d'ingénierie de prompt élaborée pour gonfler les scores — donc les résultats ici sont plus proches d'une borne inférieure que d'une borne supérieure. Il note aussi qu'à l'effort de raisonnement maximal, des murs bien réels comme les délais d'expiration et les limites de longueur de contexte apparaissent. Le fait que l'évaluation agentique porte sur des sous-ensembles plus petits, de 30 ou 84 puzzles, constitue un écart d'échelle par rapport aux 300 de la résolution directe (l'auteur fournit aussi des comparaisons sur puzzles appariés, ce qui atténue le problème).

Ce que je souligne, moi, Fukai, c'est ceci. D'abord, c'est un étalon du pouvoir de « résoudre », pas de « fabriquer, concevoir » ; les implications pour les créateurs doivent donc se lire indirectement. Ensuite, le classement est un instantané unique de versions spécifiques — GPT-5.2, Opus 4.6, Gemini 3.1 — et les 56 % sont liés à ces versions ; cela vieillira vite à mesure que les modèles évoluent. Troisièmement, l'avantage selon lequel « la contamination est peu probable » reste, à ce stade, une attente de conception plutôt qu'une chose pleinement démontrée, tel que je le lis. Enfin, c'est un préprint non relu par les pairs et un journal de recherche d'entreprise, avec encore très peu de citations — la réserve que la réplication et la vérification externe restent à venir ne peut être écartée.

La lecture de Fukai

Ici seulement, je précise qu'il s'agit de ma propre interprétation. Je veux situer cette étude dans le courant récent consistant à « entraîner l'IA dans des environnements vérifiables ». Dans le vocabulaire de la critique de conception, cela se rapproche de l'automatisation d'un contrat que les puzzles gardent depuis longtemps — « il existe une solution unique, et la grille peut toujours être vérifiée par rapport aux règles ». Ce qui est intéressant, c'est que le vérificateur n'est pas réutilisé comme juge de la réponse finale, mais comme un « professeur » qui note chaque coup. Un outil censé rendre les solveurs plus intelligents est, en fait, aussi un outil d'assurance qualité pour les créateurs ; je lis cette dualité comme le cœur de cet article.

Conclusion

Pour finir, une carte à laisser. Pour aller plus loin, lire aussi SokoBench, qui mesure le raisonnement avec le Sokoban, et Sudoku-Bench, qui mesure le raisonnement créatif avec des variantes du sudoku, permettra de voir le relief de ce domaine. On saisit ainsi jusqu'où s'est étendue l'idée de « vérifier le processus, pas seulement la justesse de la réponse ».

Pour ma part, j'ai lu l'article imprimé, une tasse de café filtre bien corsé à la main, en traçant des lignes au stylo de couleur. Bien qu'il s'agisse d'une histoire d'IA qui résout des puzzles, on est ramené, à la fin, à la question de ce qui fait un bon puzzle — une équité vérifiable, et une longue chaîne d'étapes qu'on peut suivre du regard. Pour les créateurs aussi, je crois que ce n'est pas une mauvaise question.

Références

Article et documents connexes cités dans cet article :

・Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning (Justin Waugh, 2026, arXiv preprint)

・Approximate Labs : Pencil Puzzle Benchmark (page de présentation de l'auteur)

・Jeu de données et journaux d'exécution (Hugging Face)

・ppbench.com (site officiel pour essayer les puzzles et rejouer les tentatives des modèles)

・Étude connexe : SokoBench: Evaluating Long-Horizon Planning and Reasoning in Large Language Models (Monti et al., 2026)

・Étude connexe : Sudoku-Bench: Evaluating creative reasoning with Sudoku variants (2025)