Wang et al. : un agent LLM qui lit à quel point la tête est « occupée » à partir du regard — lu par Fukai

Résumé en un paragraphe

Les assistants IA des lunettes connectées ignorent à quel point l'utilisateur sollicite son cerveau à un instant donné (charge cognitive, cognitive load : l'effort mental consacré à une tâche). Cet article propose un cadre, GazeMind, qui devine cette charge cognitive sur trois niveaux — « faible », « moyenne », « élevée » — à partir des seules données de regard (eye gaze : où et comment se déplacent les yeux). Sa particularité : plutôt que d'entraîner de zéro un modèle dédié, il met le regard sous forme de tableau et le fait lire et raisonner à un grand modèle de langage (LLM, un modèle ayant appris les régularités du langage à partir d'un immense volume de texte).

Pour l'évaluation, les auteurs ont constitué un nouveau jeu de données de regard, CogLoad-Bench, portant sur 152 personnes et plus de 40 heures d'enregistrement. Mesuré sur ce jeu de données, GazeMind atteint une précision de 62,73 % en classification à 3 niveaux, dépassant de plus de 20 points les méthodes supervisées existantes (33 à 38 %) ainsi que le fait de transmettre le regard brut à GPT-4o (39,62 %) (Table 1 de l'article). Pour nous qui concevons jeux et puzzles, cela se lit comme un outil possible pour « mesurer la difficulté à partir de l'état interne du joueur ». Précisons que cet article est un preprint arXiv (déposé en mai 2026, peut-être pas encore passé par une relecture par les pairs). Cet article vise à en dégager l'essentiel sans avoir à ouvrir le papier original.

Introduction

Les auteurs sont menés par Bin Wang, avec Yue Liu, Benjamin Newman, Michael J. Proulx et d'autres, une équipe conjointe de Meta Reality Labs Research, de la Northwestern University et de HarmonEyes. L'article, référencé arXiv:2605.05790, relève du domaine cs.HC (Human-Computer Interaction, l'interaction homme-machine) et a été déposé le 7 mai 2026 en tant que preprint. La note de bas de page de l'original indique explicitement « Preprint. » : il n'est pas passé par un peer-review (relecture par des pairs experts) dans le cadre d'une conférence donnée. Cet article ne le traitera donc pas non plus comme « relu par les pairs ».

Pourquoi ce choix aujourd'hui. J'ai pour habitude de parcourir chaque matin les sections cs.HC / cs.AI d'arXiv, et cet article a retenu mon attention parce qu'il s'attaque, en la mesurant réellement, à la « charge cognitive », une notion en plein cœur de la conception de puzzles et de jeux. Décider du niveau de difficulté, savoir où le joueur bloque, tout cela finit par revenir à la question de « à quel point sa tête est occupée ». Le terrain d'étude, ce sont des lunettes connectées, mais l'idée de lire la charge à partir du regard se transpose telle quelle à l'UX du jeu vidéo. Je l'ai lu avec, à la main, un café filtre bien serré et bien chaud, en soulignant les impressions au feutre de couleur.

Contexte

La charge cognitive désigne, au fond, l'effort mental qu'une personne consacre à l'accomplissement d'une tâche. Faible, elle laisse de la marge pour recevoir des informations supplémentaires ; élevée, elle sature et l'on ne veut plus être dérangé — si un assistant IA savait le détecter, il pourrait par exemple retarder intelligemment ses notifications quand l'utilisateur est occupé. Mais jusqu'ici, la mesure reposait soit sur l'auto-déclaration (demander directement « à quel point est-ce difficile en ce moment »), soit sur des capteurs dédiés comme l'EEG ou l'IRMf. La première interrompt la tâche en cours, les seconds ne peuvent tenir dans des lunettes légères.

Le regard apparaît alors comme un candidat naturel. On sait que la fixation (fixation, le fait de fixer un point), les mouvements saccadés (saccade, un déplacement brusque du regard) et la taille de la pupille peuvent servir d'indices de charge cognitive. Cependant, les auteurs identifient trois faiblesses aux méthodes existantes fondées sur le regard. D'abord, elles n'expliquent pas pourquoi tel regard signalerait une charge élevée (faible interprétabilité). Ensuite, elles exigent de réentraîner le modèle pour chaque nouvelle tâche. Enfin, les habitudes de regard varient fortement d'une personne à l'autre, ce qui rend les modèles peu transférables (faible généralisation). Résoudre ces trois problèmes à la fois restait un devoir non fait dans ce domaine.

Approche

L'idée des auteurs consiste à convertir le regard en un « tableau lisible par un LLM » et à laisser la capacité de raisonnement du modèle de langage juger la charge cognitive. Un LLM a appris une masse considérable de littérature en sciences cognitives et possède donc déjà des connaissances comme « une pupille dilatée tend à signaler une charge élevée ». De plus, en ajustant les instructions (le prompt), il peut s'adapter à de nouvelles tâches sans réentraînement, et en lui fournissant des cas passés comme contexte, il peut aussi s'ajuster aux différences individuelles. GazeMind construit cette intention à partir de quatre composants. Les formules apparaissent dans l'article original, mais l'essentiel tient en une phrase : « traduire le regard en mots et en tableaux, puis le faire lire au modèle de langage muni de contexte, de différences individuelles et d'exemples ».

Le premier composant est l'encodage temporel du regard (il transforme le regard brut en caractéristiques — durée de fixation, amplitude des saccades, nombre de clignements, diamètre pupillaire — et met en forme les quelques dernières secondes sous forme de tableau en lignes et colonnes, au format markdown ; l'expérience utilise les 5 dernières secondes). Le deuxième est le raisonnement guidé par tâche (un même regard change de sens selon le contexte : faible charge en lecture, charge élevée en jeu vidéo, par exemple. Ce composant fournit donc au préalable, pour chaque tâche, des règles d'interprétation du type « si telle caractéristique évolue ainsi, c'est une charge élevée », et les transmet au LLM).

Le troisième composant est le calibrage adaptatif du profil utilisateur (il classe les personnes selon leurs habitudes de regard : par exemple un « High-Reactor » dont la pupille varie fortement et en général largement, ou à l'inverse un « Low-Reactor » aux variations faibles, ou encore un profil « Restless » qui cligne beaucoup des yeux. Ce composant calcule la valeur de référence au repos de chaque personne et juge à partir de l'écart par rapport à cette référence). Le quatrième est la génération augmentée par récupération cognitive (CogRAG : ce composant va chercher des exemples passés ressemblant au regard actuel, munis de leur étiquette correcte, et les présente comme modèles au LLM). Ces quatre éléments sont regroupés en une seule requête, à partir de laquelle le LLM doit répondre « faible », « moyenne » ou « élevée ». Le point clé est que rien n'est réentraîné (aucune mise à jour des paramètres) : tout fonctionne en fournissant simplement de l'information comme contexte.

Résultats

Pour l'évaluation, les auteurs ont créé un nouveau jeu de données nommé CogLoad-Bench. À l'aide de l'appareil de type lunettes Project Aria, ils ont enregistré de façon synchronisée, chez 152 personnes, le regard (90 Hz), la vidéo à la première personne et l'audio, pour un total de 456 enregistrements et plus de 40 heures. Toutes les 15 à 30 secondes, les participants déclaraient oralement « leur charge actuelle » sur une échelle en 7 niveaux, ensuite regroupée en trois niveaux — faible, moyenne, élevée (Sec.4 de l'article). Le découpage entraînement/évaluation ne partage aucun utilisateur commun (106 personnes pour l'entraînement et la constitution de la base de données, 46 pour le test), ce qui mesure bien la capacité du système à fonctionner face à des personnes jamais vues.

Le résultat principal est le suivant (Table 1 de l'article). GazeMind atteint une précision de 62,73 % et un score F1 de 62,11 % en classification à 3 niveaux. En comparaison, les méthodes supervisées comme les arbres de décision, les SVM ou les LSTM plafonnent à 33-38 % de précision, et transmettre le regard brut à GPT-4o donne 39,62 %. Les auteurs affirment que « sur toutes les métriques, la méthode dépasse les approches existantes de plus de 20 points ». Par tâche (Table 2 de l'article), la précision atteint 64,98 % pour la lecture et 60,63 % pour le jeu vidéo (un jeu social riche en stimuli environnementaux), la lecture obtenant un score légèrement supérieur. Les auteurs l'expliquent par le fait que le regard tend à être plus stable pendant la lecture.

Une étude d'ablation (ablation study, une expérience qui retire des éléments un par un pour vérifier quelle partie de la conception contribue au résultat) figure également dans l'article (Table 3). Alors que GPT-4o seul atteint 39,62 % de précision, ajouter le guidage par tâche porte le score à 45,34 %, ajouter le calibrage de profil utilisateur le porte à 49,10 %, et ajouter CogRAG (qui montre des cas similaires) le fait bondir jusqu'à 62,73 %. Autrement dit, ce dernier composant — « montrer des exemples » — apparaît comme le facteur d'amélioration le plus important. Sur le plan des différences individuelles également, avec GazeMind, la plupart des utilisateurs atteignent une précision supérieure à 60 %, alors qu'avec GPT-4o seul, près de la moitié restent sous 40 % (Figure 6 de l'article).

Cas d'usage

Alors, comment les concepteurs de jeux et de puzzles peuvent-ils exploiter cela ? Premièrement, pour le calibrage de la difficulté (l'ajustement du niveau de difficulté). Si l'on développe un jeu de puzzle dans un environnement permettant l'oculométrie — eye tracker pour PC ou casque VR —, on peut estimer, à partir du regard du joueur, « à quel point sa tête est occupée en ce moment » et utiliser cette estimation comme entrée d'un ajustement dynamique de la difficulté (DDA, un mécanisme qui règle automatiquement la difficulté en cours de partie) : proposer un indice si la charge reste élevée trop longtemps, ajouter du challenge si elle est trop faible. Ce que montre cet article, c'est qu'il est plus efficace de structurer le regard en caractéristiques enrichies de contexte et de différences individuelles, plutôt que de faire ingérer le regard brut directement par un modèle de machine learning — c'est là le point clé de conception.

Deuxièmement, pour l'analyse de playtest (les tests de jeu avant sortie). Si l'on développe un puzzle de type Sokoban et que l'on veut savoir sur quel plateau les joueurs se bloquent, on peut visualiser, à partir des journaux de regard des testeurs, les segments de forte charge, et cerner de façon quantitative « ce plateau sollicite plus la tête que prévu ». Ce type d'analyse reposait jusqu'ici sur l'auto-déclaration ou le taux de passage, mais une estimation de charge à la seconde près pourrait permettre de capter l'instant même du blocage.

Troisièmement, la manière même d'aborder les différences individuelles est un enseignement à retenir. Le cœur de cet article est d'avoir traité de front l'idée que « un même regard n'a pas le même sens selon la personne ». Transposé à la conception de jeu, cela rejoint une évidence — une même erreur de manipulation n'a pas le même sens chez un débutant et chez un joueur expérimenté — traitée par une correction fondée sur la valeur de référence propre à chaque joueur. Si l'on fait de la génération procédurale de niveaux hypercasual (PCG, Procedural Content Generation, la génération automatique de contenu), cela peut s'appliquer en ajustant non pas selon une courbe de difficulté uniforme pour tous, mais selon l'écart de chaque joueur par rapport à son propre état habituel. Quatrièmement, dans les jeux sérieux ou éducatifs (jeux à visée pratique, apprentissage ou santé par exemple), on peut imaginer détecter le moment où l'apprenant est submergé d'informations et ralentir le tempo en conséquence.

Limites

Les auteurs eux-mêmes reconnaissent trois limites (Sec.6 de l'article). D'abord, même si le modèle n'a pas besoin d'être réentraîné, les « règles d'interprétation » propres à chaque tâche doivent être préparées au préalable par une analyse humaine (ce n'est donc pas totalement automatique). Ensuite, comme les étiquettes correctes reposent sur l'auto-déclaration des sujets, une part de subjectivité s'y mêle, et le plafond de précision reste borné par le degré d'accord entre humains eux-mêmes. Enfin, la méthode ne s'appuie que sur le regard ; ajouter la vidéo ou l'audio pourrait, selon les auteurs, améliorer la compréhension du contexte.

Ce que Fukai souhaite ajouter ici concerne d'abord la lecture des valeurs absolues. 62,73 % est une précision de classification à 3 niveaux, nettement supérieure au hasard (environ 33 %) et largement au-dessus des méthodes existantes, mais on est encore loin du niveau où l'on « devine presque parfaitement à quel point la tête est occupée ». En usage réel, il faudra concevoir en tenant compte d'erreurs de jugement, sans proposer trop d'indices. Ensuite, la tâche « jeu vidéo » de cette étude est un jeu social riche en stimuli environnementaux, dont la charge diffère de celle d'un puzzle abordé posément. Pour la transposer à un jeu de puzzle, je pense qu'il faut la lire en présupposant qu'il faudra reconstruire les règles d'interprétation propres à ce domaine. Et puisqu'il s'agit d'un preprint, il ne faut pas oublier que ces chiffres n'ont pas encore passé le filtre de la relecture par les pairs.

La lecture de Fukai

À partir d'ici, voici la lecture de Fukai. Je souhaite situer cette étude dans le prolongement du « player modeling (l'effort d'estimer l'état interne du joueur) qui s'étend d'un pas de plus vers les signaux biologiques ». Dans le vocabulaire de la critique de conception, cela ressemble à une tentative de traduire en signal externe observable — le regard — puis d'automatiser ce jugement qui, longtemps, était laissé au flair du designer : « ce joueur est-il en ce moment débordé ou non ». Ce qui est intéressant, c'est que ce qui a le plus fait progresser la précision n'est pas un classificateur plus intelligent, mais un dispositif tout simple : « montrer des cas passés similaires ». La difficulté n'est pas une quantité absolue, mais un écart par rapport au régime de croisière propre à chaque personne — c'est, me semble-t-il, une chose que les concepteurs de jeux savaient déjà de manière empirique, et cet article lui apporte ici une confirmation par les données.

En conclusion

Pour qui souhaite approfondir. Pour suivre l'arrière-plan théorique de la charge cognitive elle-même, partir des revues de synthèse résumant la relation entre regard et charge (la littérature connexe citée par cet article) permet de voir la carte d'ensemble. Pour qui s'intéresse à la « difficulté » ou à l'« éclair de compréhension » côté jeu vidéo, mettre en regard cet article avec les études sur la recherche de l'insight déjà présentées sur ce site, ainsi qu'avec les travaux sur l'ajustement de difficulté et la PCG, devrait éclairer les deux facettes de la question « comment mesurer la difficulté, et comment la fabriquer ». L'oculométrie exige encore un appareillage particulier, mais à mesure que les casques compatibles eye-tracking se répandront, ce qui se discute aujourd'hui pourrait bien devenir, dans quelques années, un choix de conception beaucoup plus courant.

Références

Article et documents connexes cités dans cet article :

· GazeMind: A Gaze-Guided LLM Agent for Personalized Cognitive Load Assessment (Wang et al., 2026, arXiv preprint 2605.05790, cs.HC)

· Texte intégral du même article (PDF)

· Tous les chiffres cités dans le corps du texte s'appuient sur les Table 1, Table 2, Table 3 et Figure 4-6 ainsi que sur le texte du preprint ci-dessus (valeurs non définitives car non encore relues par les pairs)