Wang et al.: 視線から「頭の忙しさ」を読む LLM エージェント — Fukai が読む

一段落要約

スマートグラスの AI アシスタントは、ユーザーが今どれだけ頭を使っているか(認知負荷、cognitive load。課題に注いでいる精神的な労力のこと)を知らない。この論文は、視線(eye gaze。目がどこをどう動いているか)のデータだけから、その認知負荷を「低・中・高」の3段階で当てる枠組み GazeMind を提案する。特徴は、専用のモデルを一から学習させ直すのではなく、視線を表の形に整えて大規模言語モデル(LLM、大量の文章から言葉のパターンを学んだモデル)に読ませ、推論させる点だ。

評価用に 152 人・40 時間超の視線データセット CogLoad-Bench を新たに作り、そこで測ったところ、GazeMind は3段階分類で精度 62.73% を出し、従来の教師あり手法(33〜38%)や、視線をそのまま GPT-4o に渡した場合(39.62%)を 20 ポイント以上上回った(論文 Table 1)。ゲームやパズルを作る私たちにとっては、「難しさをプレイヤーの内部状態から測る」道具立てのひとつとして読める。なお本稿は arXiv の preprint(2026年5月投稿、まだ査読を通っていない可能性がある)である点に留意したい。本記事はこの一本を、論文を開かずに要点が掴めるよう解説する。

はじめに

著者は Bin Wang を筆頭に、Yue Liu、Benjamin Newman、Michael J. Proulx ら、Meta Reality Labs Research・Northwestern University・HarmonEyes の共同チームである。論文は arXiv:2605.05790、cs.HC(Human-Computer Interaction、人と計算機のやりとりを扱う分野)に 2026年5月7日付で投稿された preprint だ。原文の脚注に「Preprint.」と明記されており、特定の会議で peer-review(専門家による査読)を通ったものではない。だから本記事でも「査読済み」とは扱わない。

なぜ今日これを選んだか。私は毎朝 arXiv の cs.HC / cs.AI を眺めるのが習慣だが、この論文は「認知負荷」という、パズル・ゲーム設計のど真ん中にある概念を、実際に計測して当てにいく研究だからだ。難易度をどう決めるか、プレイヤーがどこで詰まるかは、結局のところ「頭がどれだけ忙しいか」の問題に行き着く。研究の舞台はスマートグラスだが、視線から負荷を読むという発想はゲーム UX にそのまま持ち込める。ホットの濃いドリップコーヒーを片手に、プリントに色ペンで線を引きながら読んだ。

背景

そもそも認知負荷とは、課題をこなすあいだに人が注ぐ精神的な労力のことだ。低ければ余裕があり情報を追加で受け取れる、高ければいっぱいいっぱいで邪魔をされたくない——AI アシスタントがこれを分かっていれば、忙しいときに通知を遅らせる、といった気の利いた振る舞いができる。ところがこれまでの計測は、本人に「今どれくらい大変か」と尋ねる自己申告か、脳波(EEG)や fMRI のような専用センサーに頼っていた。前者は作業を中断させ、後者は軽量なメガネには載せられない。

そこで視線が候補に挙がる。注視(fixation、一点を見つめること)や跳躍運動(saccade、視線がぱっと飛ぶ動き)、瞳孔の大きさは、認知負荷の手がかりになると知られている。ただ、従来の視線ベースの手法には三つの弱点があった、と著者は整理する。第一に、なぜその視線が高負荷を意味するのか説明できない(解釈性の低さ)。第二に、課題ごとにモデルを学習し直す必要がある。第三に、人によって視線の癖が大きく違うので、他人には当てはまらない(汎化性の低さ)。この三つを同時にどう解くかが、この分野に残っていた宿題だった。

アプローチ

著者の発想は、視線を「LLM が読める表」に変換し、言語モデルの推論力で認知負荷を判断させることだ。LLM は認知科学の文献を大量に学んでいるので、「瞳孔が開くと負荷が高い傾向」といった知識を最初から持っている。しかも、指示(プロンプト)を工夫すれば学習し直さずに新しい課題へ対応でき、過去の事例を文脈として与えれば個人差にも合わせられる。GazeMind はこの狙いを四つの部品で組み立てる。数式は原文に出てくるが、要は「視線を言葉と表に翻訳し、文脈と個人差とお手本を添えて言語モデルに読ませる」流れだと整理できる。

一つ目は時系列視線エンコーディング(生の視線を、注視の長さ・跳躍の大きさ・まばたき回数・瞳孔径といった特徴に変え、過去数秒ぶんを行と列の表=マークダウン形式に整える部品。実験では過去5秒を使う)。二つ目は課題別ガイダンス推論(同じ視線でも、読書中なら低負荷でもゲーム中なら高負荷、というふうに意味が変わる。だから課題ごとに「この特徴がこう動いたら高負荷」という解釈ルールをあらかじめ用意し、LLM に渡す部品)。

三つ目は適応的ユーザープロファイル較正(人を視線の癖で分類する。例えば瞳孔が普段から大きく変動も大きい「High-Reactor」、逆に変動の小さい「Low-Reactor」、まばたきの多い「Restless」など。各人の平常時の基準値を計算し、そこからのズレで判断する部品)。四つ目は認知的な検索拡張生成(CogRAG。今の視線に似た過去のサンプルを、正解ラベル付きで引っ張ってきて、お手本として LLM に見せる部品)。この四つを一つの問い合わせにまとめ、LLM に「低・中・高」を答えさせる。学習(パラメータの更新)を一切せず、文脈として情報を与えるだけで動くのが眼目だ。

発見

評価用に著者らは CogLoad-Bench という新しいデータセットを作った。Project Aria というメガネ型端末で 152 人から視線(90Hz)・一人称視点映像・音声を同期収録し、合計 456 録画・40 時間超になる。参加者は 15〜30 秒ごとに「今の負荷」を7段階で口頭申告し、それを低・中・高の3段階にまとめた(論文 Sec.4)。学習と評価でユーザーが重ならないよう分割(106 人で学習・データベース構築、46 人でテスト)しており、「初対面の人にどれだけ通用するか」を測る設計になっている。

主要な結果はこうだ(論文 Table 1)。GazeMind は3段階分類で精度 62.73%、F1 スコア 62.11% を記録した。対して、決定木・SVM・LSTM といった教師あり手法は精度 33〜38% にとどまり、視線を GPT-4o にそのまま渡した場合も 39.62% だった。著者は「すべての指標で既存手法を 20 ポイント以上上回った」と述べている。課題別(論文 Table 2)では、読書課題で精度 64.98%、ゲーム課題(環境の刺激が多い社会的なゲーム)で 60.63% と、読書のほうがやや高い。著者はこれを、読書のほうが視線が安定しやすいためと説明している。

どの部品が効いているかを一つずつ足して確かめる実験(ablation study、設計のどの部分が結果に効いているかを要素を外して検証する実験)も載っている(論文 Table 3)。素の GPT-4o が精度 39.62% のところ、課題別ガイダンスを足すと 45.34%、ユーザープロファイル較正を足すと 49.10%、そして似た事例を見せる CogRAG を足すと 62.73% へと大きく伸びた。つまり最後の「お手本を見せる」部分が最大の押し上げ要因だったと読める。個人差についても、GazeMind ではほとんどのユーザーが 60% 超の精度に届く一方、素の GPT-4o では半数近くが 40% を下回った(論文 Figure 6)。

使いどころ

では、ゲームやパズルを作る側はこれをどう使えるか。第一に、難易度キャリブレーション(難しさの調整)への応用だ。もし自分が視線計測できる環境——PC 用アイトラッカーや VR ヘッドセット——でパズルゲームを作っているなら、プレイヤーの視線から「今どれだけ頭が忙しいか」を推し量り、負荷が高止まりしたらヒントを出す、低すぎたら手応えを足す、といった動的難易度調整(DDA、プレイ中に難しさを自動で調整する仕組み)の入力に使える。この論文が示すのは、生の視線を機械学習で直接叩くより、特徴に整えて文脈と個人差を添えるほうが効いた、という設計の勘所だ。

第二に、プレイテスト(発売前の遊びテスト)の分析だ。もし自分が Sokoban 系の倉庫番パズルを作っていて、どの盤面でプレイヤーが固まるかを知りたいなら、被験者の視線ログから負荷の高い区間を可視化し、「この盤面は想定より頭を使わせている」と定量的に当たりをつけられる。従来この手の分析は自己申告や通過率頼りだったが、秒単位の負荷推定があれば、詰まった瞬間そのものを拾える可能性がある。

第三に、個人差への向き合い方そのものが持ち帰れる教訓だ。この論文の肝は「同じ視線でも人によって意味が違う」を正面から扱った点にある。ゲーム設計に置き換えれば、同じ操作ミスでも初心者と熟練者では意味が違う、という当たり前を、プレイヤーごとの基準値で補正する発想に近い。もしハイパーカジュアルの自動レベル生成(PCG、Procedural Content Generation、コンテンツの自動生成)をやっているなら、全員一律の難易度曲線ではなく、各プレイヤーの平常時からのズレで調整する設計に応用できる。第四に、教育・シリアスゲーム(学習や医療など実用目的のゲーム)では、学習者が情報過多になった瞬間を検知してテンポを落とす、という使い方も考えられる。

限界

著者自身が三点の限界を認めている(論文 Sec.6)。第一に、モデルの再学習は不要でも、課題ごとの「解釈ルール」はあらかじめ人手の分析で用意する必要がある(完全な自動ではない)。第二に、正解ラベルが本人の自己申告なので主観が混じり、精度の上限は「人間同士がどれだけ一致するか」という天井に縛られる。第三に、視線だけに頼っており、映像や音声を足せば文脈理解が改善する余地がある、と述べている。

Fukai がここで付け加えたいのは、まず絶対値の読み方だ。62.73% は3段階分類の精度で、当てずっぽう(約 33%)より明確に高く、既存手法も大きく上回るが、「頭の忙しさをほぼ言い当てる」水準にはまだない。実運用では誤判定を前提に、ヒントを出しすぎない設計が要る。次に、この研究の「ゲーム」課題は環境刺激の多い社会的ゲームであって、腰を据えて解くパズルとは負荷のかかり方が違う。パズルゲームへ持ち込むなら、その領域で解釈ルールを作り直す前提で読むべきだと私は考える。そして preprint である以上、これらの数値は査読を経たものではない点も忘れずにおきたい。

Fukai の読み

ここからは Fukai の読みだ。私はこの研究を、「プレイヤーモデリング(遊び手の内部状態を推定する試み)を、生体信号のほうへ一歩伸ばした流れ」の中に位置づけたい。設計批評の語彙で言えば、これは長らくデザイナーの勘に委ねられてきた『今このプレイヤーは手一杯かどうか』の判断を、視線という外から見える信号に翻訳して自動化しようとする試みに近い。面白いのは、精度を最も押し上げたのが賢い分類器ではなく『似た過去の事例を見せる』という素朴な仕掛けだったことだ。難しさとは絶対量ではなく、その人の平常運転からのズレなのだ——という、ゲームデザイナーが経験的に知っていたことに、この論文はデータの裏付けを一つ与えているように、私には読める。

おわりに

もっと深く知りたい人へ。認知負荷そのものの理論的背景を追うなら、視線と負荷の関係をまとめた総説(この論文が引く関連文献)から入ると地図が見える。ゲーム側の『難しさ』や『ひらめき』に興味があるなら、当サイトで以前紹介したひらめきの探索に関する研究や、難易度調整・PCG 系の論文と並べて読むと、『難しさをどう測り、どう作るか』という問いの両側面が見えてくるはずだ。視線計測はまだ特別な装置を要するが、アイトラッキング対応のヘッドセットが広がれば、今日の話は数年後にはもっと身近な設計選択肢になっているかもしれない。

参考文献

本記事で参照した論文と関連資料:

・GazeMind: A Gaze-Guided LLM Agent for Personalized Cognitive Load Assessment (Wang et al., 2026, arXiv preprint 2605.05790, cs.HC)

・同論文 PDF 全文

・本文中の数値はいずれも上記 preprint の Table 1・Table 2・Table 3・Figure 4-6 および本文に基づく(査読前のため確定値ではない)