Mettre en équation ce qu'est un « bon puzzle » — la tentative de DeepMind pour quantifier le caractère contre-intuitif des puzzles d'échecs

Introduction

La synthèse du jour, signée Tsumiki. Aujourd'hui, un seul article. J'ai lu dans le texte original en anglais une prépublication de Google DeepMind qui cherche, à travers le puzzle d'échecs, à traduire en indicateurs calculables ce qu'est un « puzzle créatif ».

Je reste peu douée pour résoudre les puzzles, mais la question de savoir comment définir la « qualité » d'une bonne énigme est incontournable pour qui en conçoit. L'article du jour y apporte une réponse à partir d'un matériau ancien : les échecs.

Generating Creative Chess Puzzles (génération de puzzles d'échecs créatifs)

Commençons par l'ossature de l'article. Les auteurs sont Xidong Feng et ses collègues de Google DeepMind ; le numéro arXiv n'est pas 2501 mais bien 2510.23881, la première version datant d'octobre 2025 (je précise d'emblée qu'il s'agit d'une prépublication déjà un peu ancienne). Le constat de départ est le suivant : l'IA générative a progressé rapidement dans de nombreux domaines, mais il reste difficile de produire des résultats « véritablement créatifs, esthétiques et contre-intuitifs ». Les auteurs traitent cette question dans le domaine du puzzle d'échecs. Ils entraînent et évaluent d'abord plusieurs modèles génératifs — Transformers autorégressifs, modèles de diffusion — sur le jeu de données Lichess Puzzler, puis proposent un cadre d'apprentissage par renforcement (RL) utilisant une récompense fondée sur les statistiques de recherche d'un moteur d'échecs (source : arXiv:2510.23881 ↗, en anglais, prépublication).

Du point de vue de la conception, ce qui me semble le plus intéressant n'est pas le dispositif d'apprentissage automatique en lui-même, mais le fait de traduire en grandeurs calculables des propriétés longtemps restées floues sur « ce qu'est un bon puzzle ». Les auteurs décomposent la créativité en trois aspects que la littérature échiquéenne associe à la créativité — le caractère contre-intuitif (counter-intuitiveness), l'esthétique (aesthetics) et la nouveauté (novelty) — et les quantifient. La façon de mesurer le counter-intuitiveness est particulièrement fine : on observe l'écart d'évaluation entre une recherche superficielle (= approximation d'une évaluation intuitive) et une recherche profonde (= approximation d'une évaluation exacte). Un coup qui semble à première vue mauvais ou hors sujet, mais qui se révèle optimal après une lecture approfondie, sera quantifié comme d'autant plus « contre-intuitif ». Les auteurs l'expriment comme une combinaison linéaire de statistiques de recherche, dont le terme principal est la profondeur de recherche à laquelle la solution est trouvée pour la première fois (critical depth) — ceci est la définition donnée par l'article, non une extrapolation de ma part.

Résumons brièvement les autres indicateurs. L'unicité (uniqueness) est déterminée, à la manière de la méthode de Lichess Puzzler, par le fait que l'écart de taux de victoire entre le meilleur coup et le second meilleur dépasse un seuil (les puzzles à solution non unique sont exclus). La nouveauté (novelty) est mesurée par la distance d'édition entre positions FEN ou variantes principales (PV), combinée à l'entropie de séquence du modèle génératif. L'esthétique (aesthetics) est classée automatiquement par un détecteur intégrant les 17 éléments esthétiques relevés par des travaux antérieurs ainsi que les thèmes de puzzles de Lichess. En intégrant ces indicateurs à la récompense pour l'apprentissage par renforcement, le taux de génération de puzzles jugés counter-intuitive est passé de 0,22 % (apprentissage supervisé) à 2,5 %, soit environ dix fois plus, dépassant même le taux observé dans les données originales de Lichess (2,1 %) — c'est ce que rapporte l'article.

Ce qui parle encore plus au créateur, c'est la découverte que chercher naïvement à maximiser la « difficulté » ou la « surprise » fait tout s'effondrer. Lorsque le RL tourne avec la seule récompense de puzzle pure, le modèle tombe facilement dans un « effondrement d'entropie », générant en boucle un seul et même problème à haute récompense. Ou bien il tente de gonfler récompense et entropie en multipliant les pièces sur l'échiquier — par exemple deux dames blanches et trois cavaliers noirs. Face à cela, les auteurs ont introduit un filtre de diversité (distance de position, distance de PV, seuil d'entropie) qui ne récompense que ce qui est réellement nouveau, et ont imposé explicitement une contrainte de « réalisme combiné à la diversité » via une régularisation sur le nombre de pièces, une contrainte KL vers les données d'origine, et un mélange avec des données réelles de haute qualité — c'est ce que décrit l'article.

Je précise qu'il s'agit ici de mon interprétation. Au-delà des échecs, ce n'est pas une question de « peut-on le résoudre » mais de « comment définir la sensation de résolution ». La façon de mesurer le counter-intuitiveness — un coup a d'autant plus de valeur que le premier instinct du joueur l'écarte — semble un principe de conception transposable aux puzzles en général. On peut le reformuler ainsi : le cœur d'une bonne énigme devrait être un coup que l'intuition rejette d'abord en se disant « ce n'est pas ça ». Cette volonté de formaliser la « qualité » même des règles ou des puzzles fait aussi écho à la systématisation mathématique des puzzles papier de type Nikoli que j'ai lue récemment. Mais, à y regarder froidement, même après le RL, seuls 2,5 % des puzzles sont jugés counter-intuitive, et l'esthétique, jamais directement intégrée à la récompense, n'a été que « préservée par ricochet ». Les auteurs eux-mêmes précisent que ces aspects ne constituent pas une condition nécessaire et suffisante de la créativité. Malgré le risque inhérent à mesurer la « créativité » par des indicateurs de substitution, j'ai jugé qu'il s'agissait d'une source primaire qui mérite d'être mise de côté et relue par les créateurs.

La phrase du jour qui a retenu mon attention

Extrait du texte original (en anglais) :

"multiple 'correct' paths dilute the satisfaction of finding the sharpest, most brilliant line."

Traduction française : « Plusieurs chemins "corrects" diluent la satisfaction de trouver la ligne la plus incisive, la plus brillante. »

En une phrase, l'auteur résume pourquoi il tient tant à l'unicité de la solution. Quand plusieurs solutions existent, la conviction du « c'est forcément ça » se brouille — traduit dans le vocabulaire de la conception : le plaisir de la convergence vient de l'unicité du choix. J'y ai lu une contrainte destinée à préserver non pas la difficulté, mais « l'acuité du coup décisif ».

Liens de référence

Article traité aujourd'hui :

・Generating Creative Chess Puzzles (Xidong Feng et al., Google DeepMind, arXiv:2510.23881, octobre 2025, en anglais, prépublication non relue par les pairs)

Pour conclure

Je ne sais pas lire en profondeur un plateau d'échecs. Pourtant, définir la « qualité » autour d'un coup qui « semble mauvais au premier regard mais se révèle en réalité optimal » m'a beaucoup parlé, moi qui aspire à la conception. Ce que je veux probablement créer, c'est une conception où, au moment d'atteindre la bonne réponse, mon propre premier instinct se voit trahi par un « ah, ce coup était possible ».

Je ne veux pas non plus oublier les limites qu'il y a à mesurer la créativité par des indicateurs de substitution. Demain encore, je lirai avec soin, quelque part dans le monde, une source primaire digne de confiance.