SYNTHESE D'ARTICLE ACADEMIQUE · 2026-06-29
Bazzaz et al. : Penser que c'est de l'IA change l'experience — lu par Fukai
Biais de perception du contenu genere et experience du joueur (HCI)
Resume en un paragraphe
Alors que le contenu genere par IA s'infiltre rapidement dans les jeux, comment les joueurs le ressentent-ils ? Cet article prend pour sujet Super Mario Bros. et le puzzle de type Sokoban (un puzzle sur grille ou l'on pousse des caisses vers des cibles), fait jouer 142 personnes a un melange de niveaux crees par des humains et de niveaux generes automatiquement, et recueille leur jugement — est-ce genere par IA ou cree par un humain ? — ainsi que leurs impressions.
Resultat : les joueurs ne parviennent presque pas a identifier l'auteur (le taux de bonnes reponses equivaut au hasard), et pourtant ils evaluent les niveaux qu'ils croient crees par IA comme moins amusants, plus difficiles et plus frustrants. Ce qui influence l'experience n'est pas l'auteur reel, mais les a priori sur l'auteur.
Introduction
Les auteurs sont Mahsa Bazzaz et Seth Cooper, tous deux affilies a la Northeastern University (Etats-Unis). L'article est presente a CHI '26 de l'ACM (Human Factors in Computing Systems 2026) et publie comme article de conference ayant passe la revision par les pairs. Le preprint a ete depose sur arXiv le 15 fevrier 2026.
Si j'ai choisi cet article aujourd'hui, c'est parce que son sujet touche directement a la pratique de ceux qui creent. La tendance a creer des niveaux et des assets avec l'IA generative n'est plus seulement un sujet de laboratoire. Selon l'article, les jeux portant le tag AI content sur Steam s'elevent a environ 10 000, et ceux portant le tag procedural content a environ 10 200. Cette recherche se situe dans le contexte de la politique de Steam de janvier 2024 : divulguer comment l'IA est utilisee.
Contexte
La question qui a ete posee a plusieurs reprises dans ce domaine est celle de type test de Turing. De nombreuses recherches ont mesure si ce contenu genere est discernable de ce que ferait un humain — pour le texte, l'image, le son et l'art. Dans le jeu, la competition Mario AI de 2009 a 2012 comportait une section test de Turing, et une comparaison similaire a ete tentee pour les niveaux de Sokoban il y a environ dix ans.
Cependant, les auteurs etablissent que la question de savoir si l'on peut faire la distinction, et celle de l'influence sur l'experience du fait de penser qu'on a fait la distinction, sont deux problemes differents. La psychologie dispose du cadre robuste de l'effet placebo et de l'effet nocebo. Des recherches anterieures ont montre qu'informer faussement que la difficulte s'adapte automatiquement augmentait l'immersion des joueurs (Denisova et Cairns, 2015).
Cet article introduit cette ligne dans l'evaluation des niveaux de jeu. La nouveaute reside dans le fait que la conception adoptee n'est pas le priming — coller une etiquette pour induire intentionnellement une croyance — mais l'observation des suppositions que les joueurs forment spontanement.
Approche
La methode est une methode mixte (recueil et analyse a la fois de donnees numeriques et de texte libre). Le sujet est Super Mario Bros. et Sokoban — des benchmarks classiques de la recherche en PCG (Procedural Content Generation), simples a prendre en main et adaptes aux etudes en ligne.
Les niveaux sont au total 60. Pour chaque jeu, 15 crees par des humains et 15 generes par IA ont ete prepares. Les niveaux Mario proviennent du jeu de donnees public VGLC ; les Sokoban sont 15 selectionnes au hasard dans un ensemble de 1 150 niveaux. Les niveaux generes par IA ont ete crees a partir de 6 methodes selectionnees par revue de litterature. Selectionner uniquement les bons resultats biaiserait les donnees — d'ou l'echantillonnage aleatoire ; un defaut evident trahirait l'IA — d'ou la limitation aux niveaux realisables et sans defaut visuel.
Les participants sont 154 personnes recrutees via Prolific ; apres exclusions, 142 reponses valides. Chaque personne a joue a 6 niveaux aleatoires parmi les 60 (852 essais, environ 14 personnes par niveau). Pour chaque niveau : un choix binaire (IA ou humain ?), le niveau de confiance, puis 5 indicateurs d'experience — amusement, difficulte, frustration, surprise, qualite visuelle — sur 5 points, et une justification en texte libre. L'analyse utilise une regression logistique ordinale avec effets aleatoires.
Resultats
Commençons par la devinette sur l'auteur. Le taux de bonnes reponses est de 53 % (430 sur 812 essais) ; le test ne montre pas de difference statistiquement significative par rapport au hasard (50 %) (test binomial bilateral p = .099, IC 95 % [49,5 %, 56,4 %] ; section 4.1). Le taux de confusion humain-pour-IA est de 26,6 %, et le taux IA-pour-humain de 26,3 %, pratiquement symetrique.
Les evaluations de l'experience sont encore plus nettes. Quand on divise par auteur cru, la difference est frappante. Plus un joueur croit qu'un niveau a ete cree par un humain, plus il l'evalue comme amusant (beta = 1,54, z = 9,52, p < .001 ; l'auteur reel n'est pas significatif) et visuellement de qualite (z = 10,480, p < .001). Inversement, plus il croit qu'un niveau est IA, plus il le trouve frustrant (beta = -1,17, z = -7,445, p < .001) et difficile (z = -2,41, p < .015). Moyennes : amusement 2,92 vs 3,72 ; frustration 3,60 vs 2,84 ; visuel 2,70 vs 3,57 (sur 5).
L'analyse du texte libre (accord inter-evaluateurs Cohen's kappa moyen 0,76) est egalement instructive. Les joueurs utilisaient des indices tels que la sensation de l'experience, la coherence du layout, l'accessibilite, ce qui semblait etre une intention de design, et l'idee preconçue une IA ferait comme ca. Mais les memes indices ont mene a des conclusions opposees : le meme dispositif a ete vu par l'un comme preuve qu'un humain l'a fait expres, et par l'autre comme preuve d'IA. Les auteurs concluent que le jugement sur ce qui est humain est subjectif et peu fiable (fallible).
Enfin, les attitudes envers PCG et IA generative different clairement (chi2(16) = 473.71, p < .001), les evaluations de l'IA generative etant plus negatives. Les personnes favorables a l'IA generative attribuent des scores plus eleves en amusement (z = 3,247, p = .0011) et en qualite visuelle (z = 2,391, p = .0168). Dans le texte libre, le PCG base sur les regles etait perçu comme controlable et fiable, tandis que l'IA generative concentrait des preoccupations sur l'imprevisibilite, la faillibilite, l'ethique des donnees, l'impact environnemental et sur l'emploi.
Utilisations pratiques
Comment les personnes qui creent des jeux et des puzzles peuvent-elles utiliser ce resultat ? Il s'agit d'une etude observationnelle, pas d'un article qui affirme causalement que faire penser que c'est de l'IA rend les jeux ennuyeux. Sous cette reserve, j'ai (Fukai) envisage les usages suivants.
Premierement, si l'on genere automatiquement des puzzles de type Sokoban-like — traiter le risque que l'evaluation chute des l'instant ou l'on pense que c'est fait par IA comme une variable de conception. Dans cet article, les niveaux crus d'origine IA ont ete evalues un cran plus bas en amusement et visuel, et un cran plus haut en frustration. Tester comment les productions sont presentees, avec le meme poids que les productions elles-memes, merite d'etre envisage.
Deuxiemement, si l'on mise sur le PCG dans un jeu hypercasuel ou d'exploration — une divulgation nuancee (nuanced disclosure) precisent ou et pourquoi l'IA a ete utilisee permet d'eviter plus facilement la deduction par incomprehension.
Troisiemement, etre attentif a l'interpretation du calibrage de la difficulte. Masquer les informations sur l'auteur ou randomiser l'ordre de presentation rend l'interpretation des donnees moins sujette a l'erreur. Le simple fait de pretendre qu'il y a une difficulte adaptative suffit a augmenter l'immersion.
Limites
Faiblesses reconnues par les auteurs : deux jeux courts en 2D, generalisabilite inconnue ; indicateurs a 1 item moins precis que GEQ ou GUESS ; peu de concepteurs de niveaux parmi les participants ; et surtout, la conception est observationnelle — la causalite ne peut etre affirmee.
Fukai ajoute deux observations. Les niveaux IA limites a realisables et sans defaut visuel excluent intentionnellement la realite que les productions defectueuses sont frequentes sur le terrain. Et les participants limites aux Etats-Unis, anglophones et adultes — les attitudes envers l'IA varient selon la culture et la generation.
La lecture de Fukai
A partir d'ici, ma lecture (Fukai). Je voudrais placer cette recherche dans le mouvement qui voit le centre de gravite de la recherche PCG se deplacer de l'automatisation de la qualite vers la conception de la confiance. Les recherches de type test de Turing ont cherche a produire des sorties indiscernables de celles d'un humain. Mais ce que cet article met en evidence, c'est qu'une fois la distinction impossible, la figure de l'auteur dans la tete du joueur continue de colorer l'experience. Ce n'est pas un probleme de performance du generateur, mais un probleme de la couche de meta-design que sont la presentation et la divulgation.
Pour aller plus loin
Pour ceux qui souhaitent approfondir. Les premieres recherches sur Sokoban qui prennent l'indiscernabilite comme axe d'evaluation, et Camilleri et al. (2016) sur la credibilite des joueurs dans Mario, montrent la genealogie du test de Turing dans les jeux. La recherche de Denisova et Cairns sur la fausse IA adaptative (CHI PLAY 2015) est un point de depart accessible. La discussion sur le marche des citrons (Akerlof) est a la base de la lecture lemons dynamic de cet article.
References
Articles et ressources connexes consultes pour la redaction de cet article :
DOI: 10.1145/3772318.3790473 (CHI 26, peer-reviewed)
The Placebo Effect in Digital Games (Denisova & Cairns, 2015, CHI PLAY)
Sturgeon: tile-based procedural level generation (Cooper, 2022, AIIDE)
Reactions (no login)
Anonymous • one of each per visitor per day