Luo et al.: Wie eine KI hilft, wirkt genauso stark wie der Inhalt der Hilfe — gelesen von Fukai

Zusammenfassung in einem Absatz

Wenn eine KI Spielerinnen und Spielern hilft, richten wir unser Augenmerk unwillkürlich darauf, „wie klug und richtig die vorgeschlagenen Züge sind“. Diese Arbeit stellt jedoch eine andere Frage: Verändert sich bei ein und derselben Hilfe je nach dem „Wann“ und der „Aufteilung der Initiative“, mit der sie angeboten wird, die Zufriedenheit der Nutzenden und ihre Bewertung der KI? Die Autoren sind ein Team um Yunhao Luo von der University of California, Santa Barbara (UC Santa Barbara). Dieser Beitrag wurde 2026 bei der IUI (Intelligent User Interfaces, einer internationalen Konferenz für intelligente Benutzeroberflächen) angenommen, das Manuskript ist zusätzlich auf arXiv veröffentlicht.

Als Thema dient „Rush Hour“, ein Rätsel, bei dem man Autos verschiebt, um das rote Auto zum Ausgang zu befördern. 66 Teilnehmende wurden in drei Gruppen aufgeteilt: eine „Knopf-Variante“, bei der man Hilfe selbst per Knopfdruck anfordert, eine „Timer-Variante“, bei der sich Hilfe automatisch einschaltet, wenn eine bestimmte Zeit lang nichts passiert, und eine hilfefreie Kontrollgruppe. Das Ergebnis: Der Fortschritt beim Rätsel (die Leistung) unterschied sich zwischen den drei Bedingungen kaum, doch wer die Timer-Variante nutzte, bewertete die KI höher – selbst wenn am Ende nur ein geringes Budget übrig blieb. Der Befund lautet: Nicht der Inhalt der Hilfe, sondern die Art, wie sie geliefert wird, bestimmt das Erlebnis.

Einleitung — Wer, und wo

Die Autorinnen und Autoren sind Yunhao Luo, Arthur Caetano, Avinash Ajit Nargund, Tobias Höllerer und Misha Sra – fünf Forschende aus der Informatik und Elektrotechnik der UC Santa Barbara. Veröffentlicht wurde die Arbeit bei der IUI '26 (der 31. internationalen Konferenz Intelligent User Interfaces, 23.–26. März 2026 in Paphos, Zypern), einem von der ACM herausgegebenen, begutachteten Konferenzbeitrag (DOI: 10.1145/3742413.3789224). Dasselbe Manuskript ist auch als arXiv:2602.01481 veröffentlicht. Man darf dies weniger als Preprint vor der Begutachtung, sondern eher als öffentlich zugängliche Fassung eines begutachteten Konferenzbeitrags verstehen.

Ich habe diese Arbeit heute ausgewählt, weil das Thema Rush Hour ein „Rätsel im eigentlichen Sinne“ ist. Es gibt viele Situationen, in denen Hilfsmittel wie „Hinweise“, „Auto-Lösen“ oder „adaptive Schwierigkeit“ in Spiele und Rätsel eingebaut werden. Dabei achten wir meist nur auf die „Präzision des Hinweises“, doch diese Studie misst direkt und getrennt von der Leistung die Designachse „wann und wie ein Hinweis gegeben wird“. Für Menschen, die Rätsel gestalten, halte ich das für unmittelbar relevant.

Hintergrund — Das alte Problem, „wann geholfen werden soll“

Ein Aufbau, bei dem Mensch und KI gemeinsam eine Aufgabe bearbeiten, wird in diesem Feld als „gemischt-initiatives System“ (mixed-initiative system; ein System, bei dem sowohl der Mensch als auch die KI von sich aus handeln können) bezeichnet. Der klassische Ausgangspunkt ist Horvitz, der 1999 mit dem Begriff der „eleganten Zusammenarbeit“ argumentierte, dass Hilfe am besten wirkt, wenn sie synchron zur Situation und Aufmerksamkeit der Nutzenden angeboten wird. Doch es ist schwierig für eine KI, selbst korrekt zu beurteilen, „wann“ das Angebot optimal ist. Zu frühe oder zu direkte Hinweise nehmen dem Lernen die Grundlage, und ist die Unterbrechung zu stark, fühlen sich Nutzende der Initiative beraubt.

Die Autoren nennen ein weiteres Problem: In realen Systemen sind „wann geholfen wird“ (Timing) und „womit geholfen wird“ (Inhalt) miteinander verflochten, sodass sich der reine Timing-Effekt schwer isolieren lässt. Zudem untersuchte ein Großteil früherer Studien nur „einmalige Hilfe“, während Situationen „fortlaufenden Problemlösens“, in denen Nutzende wiederholt mit der KI interagieren und dabei eine Strategie entwickeln, kaum betrachtet wurden. Um diese beiden Lücken zu schließen, entwarfen die Autoren ein Experiment, das Timing und Inhalt absichtlich voneinander trennt.

Vorgehen — Rush Hour und zwei Arten der Hilfe

Der Schauplatz ist das Rush-Hour-Rätsel. Auf einem 6×6-Gitter stehen Autos der Länge 2 bis 3, die sich nur entlang ihrer Ausrichtung vor und zurück bewegen können und sich nicht überlappen dürfen. Ziel ist es, das rote Auto durch den Ausgang am rechten Rand entkommen zu lassen. Die Autoren wählten dies, weil es schrittweises räumliches Schlussfolgern erfordert, mit der minimalen Zugzahl ein klares Maß existiert und die Regeln so einfach sind, dass jeder sofort spielen kann. Es sei, so die Autoren, ein Abbild realer Tätigkeiten, bei denen man „feststeckt und zögert, ob man Hilfe sucht oder allein weitermacht“ – etwa beim Debuggen von Software oder der Reparatur eines Haushaltsgeräts.

Die helfende KI nutzt Breitensuche (BFS, Breadth-First Search; ein Algorithmus, der von der aktuellen Stellung aus systematisch die kürzeste Lösungsfolge durchsucht) und liefert stets die kürzeste Lösung. Indem die Hilfe absichtlich „optimal und konstant“ gehalten wird, lässt sich der beobachtete Unterschied auf die Art der Zustellung statt auf den Inhalt der Hilfe zurückführen. Es gibt zwei Zustellarten. Bei der „Knopf-Variante“ drückt die nutzende Person selbst den Hilfe-Button und gibt an, für wie viele Züge sie Hilfe möchte (die Initiative liegt bei der Nutzerin bzw. dem Nutzer). Bei der „Timer-Variante“ wird vor Beginn des Rätsels festgelegt, „nach wie vielen Sekunden Inaktivität wie viele Züge Hilfe“ gewünscht werden; überschreitet die Inaktivitätszeit diesen Wert, greift die KI automatisch ein (die Initiative geht teilweise an die KI über, doch die Grenze legt die nutzende Person selbst fest). Sobald etwas bewegt wird, setzt sich der Timer zurück.

Um Realitätsnähe zu erzeugen, gibt es ein Budgetsystem. Zu Beginn jedes Rätsels erhält man 3 Dollar, von denen pro Sekunde 0,01 Dollar und pro KI-Zug 0,05 Dollar abgezogen werden. Ohne Hilfe ist das Budget rechnerisch nach maximal 300 Sekunden aufgebraucht. Da das verbleibende Budget unmittelbar zum Bonus wird, stehen die Teilnehmenden vor der Abwägung, ob sie „selbst lösen“ oder „an der Stelle, an der sie feststecken, strategisch Hilfe in Anspruch nehmen“. Es wurden 66 Teilnehmende (22 je Bedingung) über die Crowdsourcing-Plattform Prolific rekrutiert; vorab wurde eine Poweranalyse (eine statistische Schätzung der benötigten Stichprobengröße) durchgeführt, die mindestens 41 Personen ergab, woraufhin 66 Personen rekrutiert wurden. Der Ablauf bestand aus 2 Übungsaufgaben → 2 hilfefreien Referenzaufgaben (zur Messung der individuellen Fähigkeit) → 5 Aufgaben im Hauptteil (unterschiedliche Schwierigkeit, mit lateinischem Quadrat zur Ausbalancierung der Reihenfolge).

Befunde — Gleiche Leistung, unterschiedlicher Eindruck

Zunächst zur Leistung. Bei der „Zuggenauigkeit“ (move accuracy; wie nah man an der optimalen Zugzahl liegt, 1 bei optimaler Lösung), die die Effizienz der Züge widerspiegelt, war der Effekt der Bedingung signifikant (im Paper Chi-Quadrat-Wert 17,654, p<0,001). Die hilfefreie Kontrollgruppe zeigte gegenüber sowohl der Knopf- als auch der Timer-Variante eine signifikant niedrigere Genauigkeit (Odds Ratio Kontrolle vs. Knopf 0,483, p=0,001; Kontrolle vs. Timer 0,463, p<0,001). Der Abbildung nach lag die Kontrollgruppe bei rund 0,40, Knopf- und Timer-Variante beide bei rund 0,65. Zwischen Knopf- und Timer-Variante gab es dagegen keinen Unterschied (Odds Ratio 0,958, p=0,978). Kurz: Die Nutzung der KI bringt die Züge „näher an die optimale Lösung“ – dies erklären die Autoren mit dem Effekt der BFS, die stets den optimalen Zug liefert.

Beim „maximalen Fortschritt“ (dem Anteil gelöster Rätsel) gab es hingegen keinen Unterschied zwischen den Bedingungen (p=0,934; alle drei Bedingungen bei rund 0,80–0,82). Das verbleibende Budget war sogar bei der Kontrollgruppe höher und signifikant größer als bei der Timer-Variante (Odds Ratio 1,56, p=0,049). Mit anderen Worten: Auch mit KI wurde weder „mehr gelöst“ noch „Budget gespart“. Die KI wirkte offenbar ausschließlich auf die Reduktion unnötiger Einzelzüge.

Der Unterschied zeigte sich in der subjektiven Bewertung. Im Bewertungsfragebogen nach der Nutzung (7-Punkt-Skala) erzielte die Timer-Variante in allen fünf Kategorien einen höheren Mittelwert als die Knopf-Variante. So lag etwa bei „Kompetenz und Vertrauenswürdigkeit der KI“ die Knopf-Variante bei 4,6 gegenüber 5,3 bei der Timer-Variante, bei „Nützlichkeit und Wirksamkeit der Hilfe“ bei 4,08 gegenüber 5,05. Beim einfachen Vergleich blieb dies zunächst nur ein Trend unterhalb der Signifikanzgrenze (Nützlichkeit p=0,097; Qualität und Angemessenheit der Hilfe p=0,063, Cohens d=-0,576), doch nach statistischer Korrektur für „Anzahl der genutzten Hilfen“ und „maximalen Fortschritt“ wurde die Timer-Variante signifikant höher bewertet (bei Nützlichkeit p=0,028 und p=0,039). Auf der Verhaltensebene war die Stille vor dem Anfordern der KI-Hilfe (die Zeit des Nachdenkens) bei der Timer-Variante länger (Mittelwert 7,273 Sekunden gegenüber 4,661 Sekunden bei der Knopf-Variante, p=0,009), was ebenfalls zeigt, dass das Anfordern von Hilfe eine „wohlüberlegte Entscheidung“ war.

Anwendungspunkte — für alle, die Rätsel und Spiele gestalten

Erstens: den „Auslösezeitpunkt“ von Hinweisen als Designvariable behandeln. Wer ein Tutorial oder eine Hinweisfunktion für ein Rätselspiel entwirft, sollte neben einem Hinweisbutton, den man drückt, zusätzlich einen Auslöser bei Inaktivität in Betracht ziehen: „Wenn für eine bestimmte Zeit nichts passiert, wird sanft ein Hinweis in der von der spielenden Person vorab festgelegten Stärke gegeben.“ In dieser Studie hinterließ dieselbe Hilfe, wenn sie automatisch ausgelöst wurde, einen besseren Eindruck. Beim Onboarding von Anfängerinnen und Anfängern, die gar nicht erst auf die Idee kommen, den Button zu drücken, lässt sich so möglicherweise unterstützen, ohne das Bediengefühl zu beeinträchtigen.

Zweitens: A/B-Tests nicht anhand der Leistung, sondern des Erlebnisses durchführen. Die wichtigste Lehre dieser Studie ist, dass „die Leistung gleich blieb, der Eindruck sich aber unterschied“. Beim Einbau von Hilfsmitteln wie Auto-Lösen, Überspringen oder adaptiver Schwierigkeit sollte man nicht nur prüfen, „ob“ man sie einbaut, sondern auch, „wie“ sie zugestellt werden. Betrachtet man nur die Abschlussrate, übersieht man Unterschiede in der Zufriedenheit der Spielenden und im Gefühl von Autonomie (dem Gefühl, es selbst geschafft zu haben). Wer die Schwierigkeitsanpassung für Hypercasual-Spiele gestaltet, sollte neben der Abschlussrate unbedingt auch Kennzahlen für Zufriedenheit und Initiative messen.

Drittens: Standardeinstellungen wählen, die die Initiative der Spielenden schützen. In den offenen Antworten der Kontrollgruppe wünschten sich viele „nur einen kleinen Hinweis für einen einzigen Zug“; eine teilnehmende Person sagte, „Hinweise nehmen einem die Befriedigung, es gelöst zu haben“, eine andere äußerte, sie wolle „für das Gefühl der Leistung mindestens 80 % selbst spielen“. Es ist ratsam, die Standardeinstellung einer Hinweisfunktion auf „nur den ersten Zug“ bzw. „minimales Anstoßen“ auszurichten und Verhalten zu vermeiden, das die Aufgabe vollständig übernimmt. Da es zudem Menschen gibt, die die KI als „Werkzeug“ nutzen wollen, und andere, die sie als „Coach“ zum Lernen nutzen wollen, kann es sich lohnen, eine Umschaltmöglichkeit zwischen beiden anzubieten.

Viertens: Hinweisen einen kurzen „Grund“ hinzufügen. Mehrere Teilnehmende nannten als größte Unzufriedenheit, dass sich „die Absicht hinter dem Zug der KI nicht erschließt“, manche vermuteten sogar, „die KI spiele absichtlich einen schlechten Zug“. Selbst der von BFS gelieferte optimale Zug weckt ohne Erklärung Misstrauen. Bei einem Rätselspiel, das Hinweise aus einem Solver liefert, kann bereits eine kurze Anmerkung zu jedem Zug – etwa „Dies ist der Zug, der das den Ausgang blockierende senkrechte Auto beiseiteräumt“ – Vertrauen und Verständnis steigern. Und auch das Budgetsystem selbst – Zeit und Hinweise kosten etwas, Hinweise werden zu einer knappen Währung – lässt sich als Designmuster übertragen, das Spielende zu bedachtem Handeln anregt.

Grenzen — wie weit trägt das

Zunächst zur Zurückhaltung, die das Paper selbst zeigt. Das Hauptergebnis, dass die Timer-Variante einen besseren Eindruck hinterlässt, war beim einfachen Vergleich nur ein Trend unterhalb der Signifikanzgrenze (Nützlichkeit p=0,097; Qualität/Angemessenheit p=0,063) und wurde erst nach Korrektur für Kovariaten signifikant. Das heißt: „Die Timer-Variante wird bevorzugt“ ist zwar ein reales Signal, sollte aber korrekterweise als zurückhaltender, bedingter Effekt gelesen werden. Auch bei der Leistung hat die KI lediglich die Zuggenauigkeit erhöht, weder die Lösungsquote noch die Budgeteinsparung verbessert. Die Autoren selbst führen den Vorteil der KI-Unterstützung vor allem darauf zurück, dass sie die Streuung zwischen Menschen durch optimale Züge geglättet hat.

Ab hier folgen Punkte, die mir, Fukai, beim Lesen aufgefallen sind. Erstens: Die helfende KI ist „eine perfekte BFS, die stets die kürzeste Lösung liefert“. Reale Hinweis-KIs oder Spiel-KIs können sich irren und sind nicht immer optimal. Wenn selbst ein perfekter Helfer nicht von allen als nützlich bewertet wurde, könnte sich der Timing-Effekt bei einer unvollkommenen KI anders zeigen. Zweitens: Der begrenzte Rahmen mit nur einer Rätselart (Rush Hour), 66 Testpersonen über Prolific und rund 30 Minuten Dauer. Ändern sich Rätselgenre, Spielzeit oder kultureller Hintergrund, könnte auch die Wahrnehmung des Inaktivitäts-Auslösers anders ausfallen. Drittens: Die Annahme, Inaktivitätszeit als „Nachdenkzeit“ zu werten, ist plausibel, lässt sich aber nicht vollständig von Stille durch Langeweile oder Abwendung unterscheiden. Diese Punkte sollte man meines Erachtens berücksichtigen, wenn man die Ergebnisse auf das eigene Spiel überträgt.

Fukais Lesart

Ich schreibe hier ausdrücklich als meine eigene Interpretation. Ich möchte diese Studie als eine Übersetzung des in der Bildungstechnologie bekannten „Hilfe-Dilemmas“ (der Kompromiss, dass zu früh gegebene Hinweise das Lernen mindern, zu späte aber zum Steckenbleiben führen) in das Vokabular des Hilfsdesigns bei Spielen einordnen. Interessant ist, dass sich der Schwerpunkt der Frage von „wie klug die KI lösen kann“ zu „wann die KI den Mund öffnet“ verschiebt. Egal wie sehr sich die Präzision des Solvers verbessert – ist die Art der Zustellung schlecht, verbessert sich das Erlebnis der Spielenden nicht. Ich lese darin einen stillen Hinweis darauf, dass das Einbinden von KI in ein Spiel nicht nur eine Frage der Fähigkeit ist, sondern durch und durch eine Frage des Interaktionsdesigns.

Zum Schluss

Für alle, die tiefer einsteigen möchten: Wer den Schnittpunkt von gemischter Initiative und Spielgestaltung sehen möchte, findet in der Forschung rund um „Baba is Y'all“, bei der Mensch und KI gemeinsam Level entwerfen, eine Landkarte. Der Ursprung des „Hilfe-Dilemmas“ liegt in der Forschung zu kognitiven Tutoren von Koedinger und Aleven, die dasselbe Problem aus Sicht der Bildung erfasst. Auch der Rahmen von van Berkel et al., der die Formen der Mensch-KI-Interaktion in „intermittierend, kontinuierlich, proaktiv“ ordnet, bildet das Rückgrat dieses Beitrags. Und liest man dazu die gegensätzliche Diskussion „proaktive KI-Hilfe kann sich als Bedrohung erweisen (Help Backfires)“, werden sowohl der Grund, warum die Timer-Variante bevorzugt wurde, als auch der Grund, warum sie kein Allheilmittel ist, plastischer sichtbar.

Quellen

In diesem Artikel referenzierte Arbeiten und weiterführende Materialien:

・How Users Perceive Mixed-Initiative AI: Attitudes Toward Assistance in Problem Solving (Yunhao Luo, Arthur Caetano, Avinash Ajit Nargund, Tobias Höllerer, Misha Sra, 2026, IUI '26)

・DOI: 10.1145/3742413.3789224 (ACM, IUI '26 peer-reviewed)

・Verwandte Arbeit: Baba is Y'all 2.0: Design and Investigation of a Collaborative Mixed-Initiative System (Charity et al., 2022)

・Verwandte Arbeit: Proactive AI Adoption can be Threatening: When Help Backfires (2025)