Ahn et al. : la difficulté d'un puzzle ne tient pas à son « apparence » mais à son « concept » — lecture de Fukai

Résumé en un paragraphe

Aujourd'hui, je lis un article publié en février 2026 sur arXiv par Caroline Ahn et ses collègues de l'Université de Boston (États-Unis) — une prépublication qui n'a pas encore été relue par les pairs. Ils ont conçu « CogARC », une refonte pour l'expérimentation humaine d'ARC (Abstraction and Reasoning Corpus, un ensemble de problèmes où il faut deviner, à partir de quelques exemples, la règle de transformation d'une grille), un outil créé à l'origine pour mesurer le raisonnement abstrait des IA. Ils ont fait résoudre des puzzles en grille à 260 participants au total. L'objectif n'est pas seulement le taux de réussite, mais de rendre visible, coup par coup, comment les gens raisonnent et où ils se trompent.

Pour donner d'abord la conclusion : la difficulté d'un problème ne dépendait pas de son apparence — taille de la grille, nombre de couleurs — mais de la complexité conceptuelle de la règle. De plus, quand les gens se trompent, ils ne se trompent pas « chacun à sa manière » : ils convergent vers les mêmes réponses erronées. Pour qui conçoit des puzzles, j'y lis une indication concrète : « la difficulté se construit dans la couche conceptuelle, pas dans le spectacle visuel du plateau », et « les erreurs fréquentes sont elles-mêmes des indices de conception ».

Introduction

Les auteurs, avec Caroline Ahn en première place, sont des chercheurs rattachés au programme doctoral de neurosciences, au département de psychologie et sciences du cerveau, et au centre des neurosciences systémiques de l'Université de Boston. La publication se trouve sur arXiv (référence 2602.22408) et se situe, à ce stade, au niveau de la prépublication, c'est-à-dire avant un examen formel par les pairs. Je préfère le préciser d'emblée (une prépublication est un manuscrit que les auteurs publient eux-mêmes avant l'évaluation par une conférence ou une revue).

La raison pour laquelle j'ai choisi cet article aujourd'hui est simple. ARC continue de faire parler de lui ces dernières années comme test de la « capacité de raisonnement » des IA, mais ses problèmes sont, à l'origine, de purs puzzles en grille où l'on colorie des cases. Autrement dit, un matériau lisible du point de vue de la conception de puzzles est ici mesuré avec soin par les outils des sciences cognitives. J'ai senti que cela offrait, chose rare, une carte empirique pour qui conçoit des jeux et s'interroge sur ce qu'est la difficulté.

Un autre point m'a permis de lire cette étude sans trop de réserve. Les auteurs ont vérifié la reproductibilité de la même tendance en deux temps : une étude pilote en présentiel avec 40 personnes (expérience 1), puis une version en ligne à plus grande échelle avec 220 personnes (expérience 2). En psychologie, l'usage veut qu'on se méfie d'un « résultat spectaculaire obtenu une seule fois » ; mais dans la mesure où une réplication interne (reprendre la même procédure pour vérifier que le résultat se reproduit) a été menée, on peut suivre le propos avec plus de confiance.

Contexte

La recherche sur le raisonnement abstrait s'est longtemps appuyée sur des tâches comme les matrices progressives de Raven (RPM : un test d'intelligence où il faut repérer la règle dans une grille d'images 3×3 et choisir, parmi des options, celle qui complète la case manquante). Les RPM sont largement utilisées comme indicateur de l'intelligence fluide (la capacité à résoudre un problème nouveau sur le moment, distincte du savoir accumulé). Mais comme il s'agit d'un format à choix multiples noté en juste/faux, les auteurs soulignent que le cheminement de pensée — « comment » la personne a raisonné — reste presque invisible.

C'est là qu'intervient ARC. Dans ARC, on montre plusieurs exemples de paires entrée-sortie, on demande de deviner la règle de transformation cachée, puis de dessiner soi-même la sortie correcte pour une nouvelle entrée. Ce format, proche de la production libre plutôt que du choix multiple, permet de suivre les hypothèses formulées, les gestes effectués et les endroits où l'erreur survient. Les règles s'enracinent dans ce que la psychologie du développement appelle les « connaissances fondamentales » (core knowledge : des intuitions de base sur les objets, le nombre et l'espace que l'être humain posséderait dès le plus jeune âge) — regroupements d'objets, nombre, géométrie.

Cependant, la plupart des études menées jusqu'ici sur ARC avec des sujets humains ne faisaient résoudre que quelques problèmes par personne. On ne savait donc presque rien du déroulement : comment la stratégie d'une même personne évolue avec le temps, comment les gens se comportent face aux problèmes difficiles, ou si tout le monde converge vers la même réponse en cas d'erreur. Combler ce vide est précisément l'objectif de cette recherche.

Approche

Les auteurs ont sélectionné avec soin 75 problèmes tirés du jeu d'entraînement d'ARC et ont nommé CogARC cette version remaniée pour l'humain. Ils n'ont retenu que les problèmes où la taille de la grille ne change pas entre l'entrée et la sortie. Trois évaluateurs ont classé chaque problème dans l'une de quatre catégories — regroupement d'objets, géométrie et motifs, nombre et dénombrement, orientation vers un but — et ont noté la complexité de la règle sur une échelle de 1 à 3 (la complexité est déterminée par le nombre de connaissances fondamentales mobilisées et par l'imbrication des éléments de règle).

Les participants apprennent la règle en observant les exemples entrée-sortie alignés à gauche, puis dessinent leur réponse à l'entrée centrale en coloriant l'écran d'édition de grille à droite. Chaque problème autorise jusqu'à 3 tentatives, avec un retour juste/faux après chacune. L'équipe de recherche a défini un « score de difficulté » allant de 1 (réussite du premier coup) à 4 (échec aux trois tentatives), selon le nombre d'essais nécessaires pour réussir. Le temps écoulé entre la première observation du problème et le premier geste a par ailleurs été enregistré comme « temps de réflexion ».

Ce qui est intéressant, c'est que chaque opération d'édition (quelle case a été coloriée de quelle couleur) est enregistrée à la milliseconde près. Cela permet de quantifier à quel point les manières de colorier se ressemblent d'un participant à l'autre. Les auteurs ont utilisé un indicateur comparant le recouvrement entre les ensembles d'opérations de deux personnes (la similarité de Jaccard, qui mesure un taux de recouvrement) pour mesurer, problème par problème, si les façons de résoudre convergent ou divergent. L'ensemble de ce protocole a été exécuté deux fois : lors de l'expérience 1 (40 personnes, en présentiel) et de l'expérience 2 (220 personnes, en ligne).

Résultats

Dans l'ensemble, les participants ont bien réussi. Le taux de réussite moyen était de 89,5 % (écart-type 10,2 %) dans l'expérience 1, et de 80,1 % (écart-type 16,6 %, médiane 83,6 %, de 13,7 % à 100 %) dans l'expérience 2. Mais cette moyenne élevée masque une forte variabilité selon les problèmes. Dans l'expérience 2, 78,7 % des problèmes ont été résolus dès la première tentative par plus de la moitié des participants, tandis que seuls 17,3 % l'ont été du premier coup par 90 % ou plus des participants ; certains problèmes n'ont presque été résolus par personne (tous les chiffres sont repris tels quels du texte original).

Alors, qu'est-ce qui déterminait la difficulté ? Plus un problème était difficile, plus le temps de réflexion était long (corrélation r=0,69, p<.001 dans l'expérience 2), et plus les manières de résoudre divergeaient entre participants (corrélation entre difficulté et similarité d'édition : r=-0,83, p<.001, une corrélation négative forte). En revanche, la difficulté n'avait presque aucun rapport avec la taille de la grille (r=0,05), le nombre de couleurs (r=-0,05), ou le nombre de cases à recolorier (r=0,12). Les auteurs concluent que la difficulté résidait dans l'acte même de « percer la règle à jour », et non dans l'apparence ou la quantité de manipulation.

Les auteurs ont aussi suivi l'évolution dans le temps. Au fil des problèmes, les participants sont devenus plus rapides à produire leur premier geste (pente moyenne du temps de réflexion : -0,114, statistiquement significative). Pourtant, le taux de réussite a légèrement diminué (pente moyenne du score de difficulté : 0,005, faible mais significative). Les deux évolutions sont à peine corrélées entre elles (r=-0,12, p=.066) ; les auteurs y voient moins un « échange entre vitesse et précision » qu'une adaptation liée à l'habituation à la tâche ou à une légère fatigue. Ils précisent qu'il n'y avait, en tout cas, aucune preuve que la pratique acquise sur les problèmes précédents ait amélioré le taux de réussite sur les suivants.

Le résultat le plus suggestif concerne la forme des erreurs. Bien que le format soit proche de la production libre, les erreurs ne se dispersaient pas au hasard : beaucoup de participants convergeaient vers exactement la même réponse erronée (les auteurs comptent comme « erreur commune » toute sortie identique produite par au moins 5 personnes). Sur un problème de complétion de motif, le nombre total de personnes ayant produit l'erreur commune (71) dépassait celui des personnes ayant trouvé la bonne réponse (54). Les auteurs y voient l'expression d'une double face de l'intuition humaine sur « ce que devrait être » une transformation (un biais inductif enraciné dans les connaissances fondamentales, une tendance systématique lors de la généralisation à partir de peu d'exemples) : cette intuition facilite un apprentissage rapide, mais produit aussi, collectivement, la même méprise.

Applications pratiques

Je passe maintenant en revue les applications possibles du point de vue de celui qui conçoit des jeux ou des puzzles. Premièrement, une ligne directrice : construire la difficulté dans la « couche conceptuelle ». Dans cette étude, la taille du plateau et le nombre de couleurs n'avaient presque aucun rapport avec la difficulté ; ce qui comptait, c'était l'imbrication des règles. Si je devais concevoir un jeu de type Sokoban-like (puzzle où l'on pousse des caisses jusqu'à des emplacements désignés), plutôt que de gonfler artificiellement la difficulté en agrandissant le plateau ou en ajoutant des caisses, on peut lire ici qu'ajouter une condition d'interférence entre mécaniques (une règle imbriquée du type « recolorier si moins de trois cases de la même couleur ») permettrait d'augmenter la difficulté de manière ciblée.

Deuxièmement, on peut utiliser le « temps jusqu'au premier geste » comme capteur de difficulté. Dans cette étude, le temps de réflexion était bien corrélé à la difficulté. Au-delà de la victoire/défaite ou du temps total de complétion, mesurer le silence entre l'ouverture d'un niveau et la première action permet de repérer tôt où le joueur se bloque. Pour un ajustement dynamique de la difficulté dans un jeu hypercasual à génération automatique (PCG, Procedural Content Generation, génération automatique de contenu), ce temps de silence pourrait servir d'indice en temps réel.

Troisièmement, collecter les « erreurs fréquentes » comme une carte au trésor. Cette étude a quantifié le phénomène par lequel de nombreux participants convergent vers la même réponse erronée. Si, dans votre puzzle, un grand nombre de joueurs tombent ensemble dans la même erreur, cela pourrait indiquer que votre tutoriel ou vos exemples encouragent une « généralisation plausible mais fausse ». En regroupant les journaux d'erreurs selon un seuil comme « identique chez 5 personnes ou plus », on voit apparaître quel exemple remplacer pour corriger la pédagogie. Cela touche directement à la conception de l'onboarding (l'introduction qui enseigne les premières règles du jeu).

Quatrièmement, ne pas compter sur une « amélioration par la pratique » au sein d'une même session. Les participants sont devenus plus rapides avec le temps, mais leur capacité même à percer de nouvelles règles ne s'est pas améliorée — le taux de réussite a même légèrement baissé. Cela concorde avec l'idée de fond que l'intelligence fluide est difficile à faire progresser par un entraînement de courte durée. Sur une session longue de 75 problèmes en deux heures, l'ombre de la fatigue transparaît aussi. En pensant à la courbe de difficulté ou au placement des pauses, il faut retenir que l'hypothèse « la seconde moitié ira naturellement mieux » est risquée.

Limites

Regardons honnêtement les limites. D'abord, un point que les auteurs eux-mêmes reconnaissent : ils interprètent ARC comme une tâche mesurant l'intelligence fluide, distincte de l'apprentissage de compétences qui progresse par la pratique. Ils admettent aussi que, sur une session de 75 problèmes et deux heures, la baisse du taux de réussite dans la seconde moitié a pu se mêler de fatigue ou de baisse de motivation. Ils précisent en outre n'avoir retenu que les problèmes où la taille de la grille ne change pas entre entrée et sortie, ce qui fait de CogARC un découpage partiel de l'ensemble d'ARC, et indiquent ne pas avoir mesuré directement chaque système de connaissances fondamentales (les résultats restent au stade de la « suggestion »).

Voici maintenant des points que j'ai relevés, moi, Fukai, en le lisant. Les participants de l'expérience 2 étaient recrutés principalement parmi une population de 18 à 35 ans via une plateforme de travail en ligne d'Amazon, et 97,7 % d'entre eux étaient anglophones natifs. Il serait prématuré d'appliquer ces résultats tels quels au public réel d'un jeu. Le score de difficulté étant basé sur le « nombre de tentatives », on peut craindre qu'il mette sur le même plan l'abandon et l'échec. La baisse du taux de réussite dans le temps (pente de 0,005), bien que significative, est très faible, et il ne faut surtout pas en exagérer la portée pratique. Enfin, je le répète : il s'agit d'une prépublication non encore relue par les pairs ; même si une réplication interne et la concordance avec des travaux antérieurs comme H-ARC lui apportent un appui, il est encore trop tôt pour la traiter comme un savoir établi.

La lecture de Fukai

Je précise explicitement qu'il s'agit ici de mon interprétation. Je choisis de recevoir cette étude comme une confirmation empirique, la première depuis longtemps, de l'idée que « la difficulté d'un puzzle réside non pas dans la surface, mais dans l'espace du sens ». Dans le vocabulaire de la critique de conception, cela rejoint une vieille intuition : une bonne difficulté devrait se construire non pas de manière perceptive (la quantité d'information visuelle), mais sémantique (la profondeur conceptuelle de la règle). Et la découverte des « erreurs convergentes » me semble être une tentative de cartographier le biais inductif des joueurs. Une erreur n'est pas du bruit d'échec, mais un échantillon des hypothèses que les gens formulent en premier — un créateur capable de réinjecter cela dans sa conception en tire une force réelle, à mon sens.

Pour conclure

Pour qui veut aller plus loin. Lire « On the Measure of Intelligence » de Chollet permet de saisir les fondements de l'idée même d'ARC. En complétant avec H-ARC (LeGris et al.), qui a mesuré à grande échelle les performances humaines sur ARC, et ConceptARC (Moskvichev et al.), qui organise les problèmes par type de règle, la carte de ce domaine gagne en relief. Si l'inspiration et l'exploration vous intéressent, cela rejoint aussi l'article sur la résolution de problèmes par insight de Chao et al. que nous avions présenté ici auparavant. Le jeu de données lui-même étant public, mettre la main à la pâte et parcourir soi-même le tas d'erreurs est peut-être, au fond, le raccourci le plus efficace.

Références

Articles et ressources cités dans ce billet :

・Exploring Human Behavior During Abstract Rule Inference and Problem Solving with the Cognitive Abstraction and Reasoning Corpus (Ahn et al., 2026, arXiv preprint 2602.22408)

・Version HTML du même article (texte et figures)

・Jeu de données comportementales CogARC (Zenodo, CC-BY, DOI:10.5281/zenodo.18177487)

・On the Measure of Intelligence (Chollet, 2019, texte fondateur d'ARC)

・Travaux connexes (mentionnés dans le texte) : H-ARC (LeGris et al., 2024–2025), ConceptARC (Moskvichev et al., 2023) — deux études portant sur les performances humaines sur ARC et la structure des erreurs