Gould & Ward et al. : mesurer la difficulté des puzzles par le « temps de résolution humain » — lu par Fukai

Résumé en un paragraphe

Dire par un chiffre « à quel point ce puzzle est difficile » est plus ardu qu'il n'y paraît. Faut-il compter le nombre de coups de logique, mesurer le taux de réussite, ou simplement attribuer trois étoiles ? La réponse retenue par cet article est simple : le temps que met un humain à le résoudre. Une équipe d'une vingtaine de chercheurs et chercheuses, menée par Dewi Gould et Francis Rhys Ward (Redwood Research, l'Astra Fellows Program et d'autres), a attribué un « temps de résolution humain » à 43 bancs d'essai et plus de 30 000 problèmes, puis a aligné les performances des modèles d'IA le long de cet axe temporel. Les temps attribués vont de 0,5 seconde à plus de 15 heures.

L'objectif premier de cet article n'est pas le puzzle mais la sécurité de l'IA. Ce qu'ils mesurent, c'est « la capacité d'un modèle à raisonner sans exposer ses pensées sous forme de texte ». Le résultat : le temps de résolution humain des tâches qu'un modèle réussit à 50 % sans exposer son raisonnement a doublé tous les 373 jours environ sur ces six années (intervalle de confiance à 95 % de 167 à 691 jours), atteignant environ trois minutes pour le tout dernier GPT-5.5. Mais si j'ai choisi cet article aujourd'hui, c'est moins pour cette conclusion que pour l'outillage — « mesurer la difficulté en unités de temps humain » — qu'ils ont bâti en chemin, et qui se transpose presque tel quel du côté de la conception de puzzles.

Introduction

L'article s'intitule « Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models ». Dewi Gould et Francis Rhys Ward en sont les premiers auteurs à égalité, suivis d'Anders Cairns Woodruff, Rauno Arike et une vingtaine d'autres. Les affiliations couvrent Redwood Research, l'Astra Fellows Program, Aether Research, MATS Research, l'Université polytechnique de Catalogne, l'Imperial College de Londres, l'université de Cambridge, l'université de Chicago, l'université de Durham, le MIT, l'université d'Oxford, l'université de Glasgow et Constellation. Référence arXiv:2606.07157v1, domaine cs.AI, déposé le 5 juin 2026. L'article se présente lui-même dès la première page comme un « Preprint » ; il n'a donc pas été relu par les pairs, et étant tout récent, il n'a pas non plus encore fait l'objet d'une large discussion. Ces deux points sont à garder en tête à la lecture.

Je vais écrire honnêtement pourquoi j'ai choisi cet article aujourd'hui. D'ordinaire, je parcours chaque matin les nouveautés cs.HC et cs.AI d'arXiv à la recherche d'articles proches des puzzles, mais aujourd'hui ce rayon était maigre. Ce qui a attiré mon attention à la place, c'est la liste des bancs d'essai : les mots croisés du New York Times, le sudoku, les puzzles d'échecs de Lichess, le KenKen, les puzzles logiques de Puzzle Baron, et la tâche de la tour de Londres (Tower of London, une tâche psychologique classique mesurant la capacité de planification, où l'on réarrange des disques pour atteindre une configuration cible). C'est une recherche qui ne peut exister qu'en prenant très au sérieux la quantification de la difficulté des puzzles, et cette seule partie mérite déjà la lecture. Je précise que je n'écris ci-dessous que ce que j'ai pu vérifier dans le corps du texte. Les détails de chaque banc d'essai figurant à l'annexe D n'étaient pas inclus dans le texte que j'ai pu récupérer, je ne m'y aventure donc pas.

Contexte

Pourquoi le « temps » ? Pour mesurer la capacité d'une IA, le taux de réussite d'un banc d'essai est pratique, mais fragile comme axe de comparaison. On ne peut pas aligner des bancs d'essai de difficultés différentes, et « 85 % de réussite » ne dit rien de ce que cela représente par rapport à un humain. C'est là qu'intervient l'idée proposée par Kwa et al. (METR) : l'horizon temporel de complétion de tâche à 50 % (time horizon, ci-après TH). Combien de minutes un humain met-il à résoudre une tâche qu'un modèle donné réussit avec une probabilité de 50 % ? On en fait un seul chiffre. L'unité étant la « minute », le résultat parle aussi à un non-spécialiste.

Cette idée est en réalité déjà utilisée de façon implicite dans le monde du puzzle. Les étiquettes « facile / moyen / difficile » d'une application de sudoku ne sont, au fond, que des noms donnés à des distributions de temps de résolution. Les amateurs de mots croisés chronomètrent leurs réponses pour mesurer leur propre niveau et se comparer aux autres. Autrement dit, on peut dire que le « temps de résolution humain » est l'unité de difficulté la plus ancienne et la plus simple de la culture du puzzle. Cet article la transpose du côté de l'évaluation de l'IA.

Ce qui restait à éclaircir, c'est jusqu'à quel point ce simple étalon peut être traité avec rigueur. Le temps de résolution humain varie énormément d'un problème à l'autre, et change selon la personne qui résout. Et pour beaucoup de problèmes, il n'existe tout simplement aucune trace humaine. La contribution méthodologique de cet article est de ne pas effacer cette incertitude, mais de la porter, sous forme d'erreur attachée à la mesure, jusqu'aux conclusions finales. Les auteurs eux-mêmes écrivent qu'il s'agit là de l'une de leurs contributions centrales.

Approche

D'abord la vue d'ensemble. 43 bancs d'essai, plus de 30 000 questions, exécutés sur Inspect, le cadre de test de l'AI Security Institute britannique. Les bancs d'essai se répartissent en trois catégories : les tâches à réponse courte, les tâches de génération de code ou de texte, et les tâches multi-tours à appels d'outils répétés. L'analyse principale du texte se concentre sur les 32 bancs d'essai à réponse courte. Quatorze modèles sont évalués, de GPT-2 (2019) à GPT-5.5 (2026), avec huit tentatives par problème à une température de 0,7.

Expliquons d'abord ce que signifie no-CoT. Il s'agit de bloquer le CoT (Chain-of-Thought, la technique consistant à faire écrire au modèle son processus de réflexion sous forme de texte). Le prompt et quelques exemples poussent le modèle à « donner seulement la réponse, sans écrire ses pensées », et si plus de 5 % des sorties laissent malgré tout filtrer un raisonnement intermédiaire, le format de sortie est contraint structurellement. Ce qui est mesuré ici, c'est donc la capacité du modèle à raisonner uniquement « dans sa tête » (latently, de façon latente, dans les termes de l'article). La motivation du côté de la sécurité est claire : si un modèle peut mener un raisonnement complexe sans l'écrire, les méthodes de surveillance qui lisent son cheminement de pensée cessent de fonctionner.

Et comment le temps de résolution humain a-t-il été attribué ? C'est le cœur du sujet pour cet article. Vingt des 43 bancs d'essai disposent déjà de données de temps de résolution humain. Pour douze des bancs restants, les auteurs ont recruté 17 participants experts et rassemblé 733 tentatives de problèmes. Ils ont ensuite montré à Claude Opus 4.7 jusqu'à 50 paires (problème, temps) du même domaine, et lui ont fait estimer le temps de résolution des problèmes restants. La précision de cette estimation a été vérifiée sur les 20 bancs d'essai disposant de données réelles : avec le meilleur réglage de prompt, le MALR (mean absolute log ratio, un indicateur qui prend le logarithme du rapport entre temps réel et temps estimé puis en fait la moyenne en valeur absolue, ce qui permet de comparer des tâches d'ordres de grandeur différents) atteint 0,55, que l'article reformule ainsi : « un écart moyen d'environ 1,7 fois ». Les onze bancs d'essai restants s'appuient sur des règles empiriques d'experts et sur des estimations de modèles de langage.

La manière de faire porter l'erreur est également concrète. Ils ajustent la relation entre temps estimé et temps réel comme une unique loi normale dans l'espace logarithmique (1 075 paires correspondantes). Ils font ensuite tourner 10 000 fois un bootstrap hiérarchique (une méthode qui rééchantillonne les données avec remise à plusieurs niveaux pour observer la variabilité de l'estimation). Les quatre niveaux rééchantillonnés sont : les bancs d'essai, les problèmes qui les composent, les tentatives de modèle par problème, et le temps de résolution humain lui-même. C'est ce dernier point — intégrer le fait que « l'estimation du temps humain comporte elle aussi une erreur » — qui distingue cette approche des méthodes précédentes. Sans recourir aux formules : le taux de réussite est ajusté par une courbe en S lisse en fonction du logarithme du temps de résolution, et le point où cette courbe croise 50 % est appelé le TH.

Il est intéressant qu'ils prévoient aussi un second axe de difficulté. Comme repère indépendant du temps humain, ils introduisent un « horizon en tokens de raisonnement » : le nombre minimal de tokens de réflexion dont a besoin un modèle de raisonnement de référence (o3-mini, choisi parmi 12 candidats) pour résoudre un problème donné. Le même problème est tenté huit fois, et l'on retient le plus petit nombre de tokens parmi les tentatives réussies. Contrairement au temps humain, l'incertitude de cet axe n'est pas modélisée.

Résultats

Le résultat principal est le suivant. L'horizon temporel à 50 % sans exposition du raisonnement double tous les 373 jours environ sur six ans (intervalle de confiance à 95 % de 167 à 691 jours, R² = 0,84). Valeurs individuelles : environ 0,9 minute pour GPT-4, 1,1 minute pour Sonnet 3.7, 2,8 minutes pour Opus 4.7, 3,0 minutes pour GPT-5.5 (Figure 5 de l'article). L'horizon en tokens de raisonnement double quant à lui tous les 437 jours (intervalle de confiance 341 à 571, R² = 0,92) : 290 tokens pour GPT-4, 584 pour Sonnet 3.7, environ 1 500 pour Opus 4.7 comme pour GPT-5.5. Les deux axes sont étroitement, mais pas parfaitement, corrélés dans l'espace logarithmique (pente d'environ 0,85, R² d'environ 0,95).

La différence avec le cas où le raisonnement est exposé est également rapportée. Le doublement de l'horizon temporel avec CoT rapporté par Kwa et al. est de 182 jours, soit environ deux fois plus rapide que le no-CoT. L'article indique que cet écart commence à se creuser à partir de l'arrivée de GPT-4. Pour l'avenir, en prolongeant la pente médiane, on obtient environ 7 minutes en 2028 (fourchette de 4 à 30 minutes) et environ 28 minutes en 2030 (fourchette de 9 à 615 minutes). Comme le montre l'ampleur de ces fourchettes, les auteurs eux-mêmes émettent de fortes réserves sur l'incertitude de cette extrapolation.

Le chiffre le plus utile pour un créateur de puzzles se trouve en réalité en annexe. Les auteurs mesurent, banc d'essai par banc d'essai, « de combien la cote d'échec est multipliée quand le temps de résolution d'une tâche double » (Figure 13). Pour la majorité des paires (modèle, banc d'essai), le rapport de cotes se situe autour de 2 : c'est-à-dire que doubler le temps de résolution divise à peu près par deux la probabilité de réussite. Mais le sudoku et la tâche de référence N-hop se démarquent nettement, se plaçant en haut du classement ; à l'inverse, les puzzles d'échecs et les mots croisés se situent en bas. La pente médiane est de 1,03 sur l'axe du temps contre 0,64 sur l'axe des tokens, et l'article en conclut que « le temps de résolution humain est un meilleur discriminant de la difficulté, question par question ». Autrement dit, un même « temps doublé » représente une pente de difficulté totalement différente selon le genre.

L'analyse de robustesse est également soignée. Même en réajustant le modèle d'erreur en le scindant en deux régimes, le temps de doublement reste quasiment inchangé, à 368 jours (169 à 720). En ajoutant les tâches génératives, on obtient 397 jours ; en ajoutant en plus les tâches multi-tours à usage d'outils, 319 jours. Par domaine, on trouve 246 jours pour les mathématiques et les sciences contre 387 jours pour le langage et le raisonnement — un écart que les auteurs eux-mêmes qualifient de « suggestif mais très bruité ». Dans une expérience complémentaire sur 35 modèles à poids ouverts (de 1B à 1T), doubler l'horizon temporel exigeait une multiplication par 4,2 du nombre total de paramètres, ou par 1,3 du nombre de couches. Sur le nombre de couches, la pente est quasiment la même pour les modèles denses et pour les Mixture-of-Experts (mélange d'experts ; une architecture qui n'active qu'une partie de ses composants selon la question), mais sur le nombre total de paramètres, l'écart est net : 2,2 fois pour les modèles denses contre 8,1 fois pour les MoE.

Une remarque en passant. Insérer des tokens de remplissage dénués de sens comme « .... » ne change quasiment pas le taux de réussite en no-CoT, mais le simple fait de répéter une seconde fois l'énoncé du problème a permis, sur certains bancs d'essai, une amélioration de 10 à 20 points.

Cas d'usage

Premièrement, remplacer l'unité de l'étiquette de difficulté par le « temps de résolution médian ». Si vous concevez un puzzle quotidien, il vaut mieux, pour vos lecteurs, définir la difficulté non pas par le nombre de coups d'un solveur interne, mais par le temps de résolution médian de vos joueurs réels. En imitant la construction de l'article — ajuster le taux de complétion par une courbe en S en fonction du logarithme du temps de résolution — on obtient un seul chiffre : « jusqu'à quelle durée de problème 50 % de mes lecteurs peuvent-ils aller au bout ? » Au lieu de fixer les noms de difficulté au flair, vous pouvez désormais les piloter avec ce chiffre.

Deuxièmement, mesurer l'abruptesse de la courbe de difficulté propre à votre genre. L'analyse « de combien la cote change quand le temps de résolution double » se transpose directement en diagnostic de personnalité pour un genre de puzzle. Avec une falaise abrupte façon sudoku, si l'on ne découpe pas les niveaux finement, les joueurs chutent d'un coup. Avec une pente douce façon mots croisés, un découpage plus grossier laisse l'expérience continue. Si vous concevez quelque chose de Sokoban-like, la logique voudrait que vous mesuriez d'abord cette pente sur vos propres journaux de jeu, puis que vous calibriez le pas de vos paliers de niveau en conséquence. Cela explique pourquoi les mêmes « cinq paliers de difficulté » peuvent être tantôt trop grossiers, tantôt trop fins, selon le genre.

Troisièmement, montrer à un modèle de langage un petit nombre de journaux de temps réels et lui faire estimer le temps de résolution, en utilisant cette estimation « en partant du principe qu'elle est décalée d'environ 1,7 fois ». La situation où l'on a créé une centaine de nouveaux puzzles sans encore disposer de données de jeu réelles (le fameux cold start) est fréquente. La procédure de l'article se résume à choisir dans ses propres journaux une cinquantaine de paires (problème, temps réel) et à les montrer comme exemples en few-shot. Mais comme le chiffre obtenu porte une erreur de facteur 1,7, je pense qu'il est plus judicieux de l'utiliser pour du tri — écarter les problèmes manifestement trop difficiles, établir un brouillon d'ordre des niveaux — plutôt que pour l'affichage final de la difficulté.

Quatrièmement, revoir les hypothèses de votre classement. Un modèle qui n'expose pas son raisonnement réussit, avec 50 % de probabilité, des tâches qui prendraient environ trois minutes à un humain. C'est une durée qui couvre une bonne partie des puzzles quotidiens hyper-casuals. Si vous gérez un classement fondé sur l'hypothèse que « l'IA n'est pas utilisée », le fait que cet horizon double presque chaque année n'est pas négligeable. À l'inverse, on peut concevoir dès le départ une catégorie où résoudre avec l'aide de l'IA est explicitement prévu.

Cinquièmement, utiliser le nombre de tokens de raisonnement comme second axe de difficulté lors d'un cold start. Faire tenter le problème huit fois à un modèle de raisonnement disponible et mesurer « le nombre minimal de tokens de réflexion ayant mené à la bonne réponse » donne en soi un repère de difficulté. Il faut garder à l'esprit que l'article indique que « le temps humain est un meilleur discriminant », mais cela suffira largement comme ordre provisoire pour classer des niveaux générés.

Limites

D'abord les faiblesses reconnues par les auteurs. Premièrement, la mesure du no-CoT dépend de la façon dont on incite le modèle à « ne pas écrire ses pensées ». Exiger en particulier des réponses courtes ou en un seul token constitue, pour les modèles de raisonnement récents, une situation inhabituelle (out-of-distribution), et les auteurs écrivent eux-mêmes que cela pourrait sous-estimer systématiquement la capacité de raisonnement latente et la vitesse de doublement. Deuxièmement, cette mesure ne distingue pas nettement le raisonnement latent de la mise en correspondance de motifs par mémorisation ou par règles empiriques. L'article affirme donc explicitement qu'il ne faut pas lire l'horizon obtenu comme une mesure directe de la « profondeur de délibération interne » : il ne fait que quantifier la difficulté des tâches résolubles sans extérioriser le raisonnement.

Ce que je souligne ici, c'est que le contenu du « temps de résolution humain » n'est pas monolithique. Les temps des mots croisés du New York Times proviennent d'une population d'amateurs qui publient leurs propres records sur des sites comme xwstats. Les puzzles d'échecs de Lichess proviennent de records de joueurs classés. Le sudoku s'appuie sur le jeu de données de Wang (2024, IEEE Access), assorti d'indicateurs de difficulté vécus par des joueurs humains. Ce sont là, chacune, des données respectables, mais les populations humaines qui se cachent derrière sont totalement différentes. Pour l'objectif de l'article — une comparaison relative entre l'IA et l'humain — ce mélange reste dans une certaine mesure acceptable ; mais quand un créateur de puzzles emprunte les mêmes chiffres, la prudence s'impose. Le lecteur médian de votre site n'est pas un amateur de mots croisés qui chronomètre ses réponses chaque jour.

Deux points supplémentaires de ma part. D'abord, l'horizon temporel à 50 % est un scalaire unique, et comme le montre l'analyse des pentes en annexe, il comprime fortement la structure propre à chaque genre. À l'intérieur du chiffre « trois minutes » cohabitent une falaise façon sudoku et une pente façon mots croisés. Ensuite, cette recherche mesure le temps de résolution, pas le plaisir. Le temps est un bon indicateur indirect de la difficulté, mais un mauvais indicateur indirect de la qualité de l'expérience ; nulle part l'article n'affirme qu'un puzzle plus long serait un meilleur puzzle. En outre, les jeux de données ne sont pas publiés, afin d'éviter leur contamination des futurs corpus d'entraînement (ils sont disponibles sur demande auprès des auteurs), et en tant que preprint non relu par les pairs, le nombre de citations reste encore quasi nul. Il convient de lire ces chiffres comme des estimations provisoires, pour l'instant.

La lecture de Fukai

Ceci est ma propre interprétation. Je souhaite situer cette recherche non pas parmi les articles de sécurité de l'IA, mais dans la lignée des travaux qui apportent une méthode nouvelle au vieux problème de la mesure de la difficulté. Dans le vocabulaire de la critique de conception, il s'agit moins de l'automatisation de l'affichage de la difficulté que d'une mise en honnêteté de l'acte même de mesurer la difficulté. Ce que les auteurs ont fait, c'est conserver l'unité simple du temps de résolution humain sans l'abandonner, lui donner une structure d'erreur, et porter cette erreur jusqu'à la conclusion finale. Ils n'écrivent pas « ce problème prend environ 4 minutes », mais « environ 4 minutes, avec toutefois un écart moyen d'un facteur 1,7 ». Je connais peu d'exemples, dans la production de puzzles, où l'on procède ainsi. La difficulté s'affiche en nombre d'étoiles, sans jamais indiquer à quel point ces étoiles sont fiables. Ce que je retiens comme la partie la plus exportable de cet article n'est ni le chiffre de trois minutes ni celui de 373 jours, mais cette habitude d'écriture qui consiste à toujours faire figurer un intervalle à côté.

Conclusion

Pour qui souhaite aller plus loin. Le cadre de l'horizon temporel lui-même trouve son origine dans Kwa et al., « Measuring AI Ability to Complete Long Software Tasks » (arXiv:2503.14499) ; le lire d'abord permet de voir clairement ce que cet article-ci y ajoute. La façon dont l'horizon temporel varie selon les domaines est résumée brièvement dans un billet de blog de METR. Comme cadre pour exécuter réellement les évaluations, Inspect, de l'AI Security Institute britannique, est publié en accès libre.

Mentionnons aussi des ressources du côté des puzzles. Le jeu de données mesurant la difficulté du sudoku telle que vécue par des humains se trouve chez Wang (2024, IEEE Access) — c'est d'ailleurs la source même que cet article utilise. Pour la distribution des temps de résolution des mots croisés, xwstats est un bon point de départ ; pour les puzzles d'échecs, la base de données publique de Lichess. Le simple fait de parcourir ces trois ressources montre à quel point l'idée de « mesurer la difficulté par le temps » est profondément enracinée dans la culture du puzzle.

Sources

Articles et ressources associées cités dans cet article :

・Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models (Dewi Gould, Francis Rhys Ward et al., 2026, arXiv preprint arXiv:2606.07157)

・Travaux associés : Measuring AI Ability to Complete Long Software Tasks (Kwa et al., 2026) — origine du cadre de l'horizon temporel

・Travaux associés : A Dataset of Sudoku Puzzles With Difficulty Metrics Experienced by Human Players (Sheng-Wei Wang, 2024, IEEE Access 12:104254-104262)

・How does time horizon vary across domains? (METR, 2025)

・Inspect AI (UK AI Security Institute) — le cadre utilisé par cet article pour exécuter les évaluations

・Sources de données : XW Stats (statistiques des temps de résolution des mots croisés du NYT) / Lichess puzzle database