Sestini et al.: AAA ゲームの NPC を強化学習で「本物らしく」する — Fukai が読む

一段落要約

私が今日訳すのは、Electronic Arts(EA)の研究チームによる vision 論文(将来像を描く論文)だ。ゲームの NPC(ノンプレイヤーキャラクター、プレイヤー以外のキャラクター)を、強化学習(reinforcement learning。試行錯誤しながら報酬が高くなる行動を少しずつ学ぶ枠組み)で「もっと本物らしく」できるか、を実際の AAA タイトルで試した報告である。

著者らは、研究論文がしばしば見落とす「制作現場の制約」——短い学習時間、少ない計算資源、デザイナーによる制御——を7つの要件として言語化する。そのうえで EA SPORTS FC 25 のゴールキーパーと Battlefield 6 の歩兵という2つの実例で、その難しさと解き方を示す。RL は既存のゲーム AI を置き換えるのではなく、補強する道具だ、というのが結論の芯である。

はじめに

論文は「Augmenting Game AI with Deep Reinforcement Learning」。著者は Alessandro Sestini、Joakim Bergdahl、Amir Baghi、Jean-Philippe Barrette-LaPierre、Florian Fuchs、Linus Gisslén の6名で、所属はいずれも Electronic Arts(スウェーデン・ストックホルム)である。arXiv に 2606.20210 として公開された preprint(査読前の原稿。IEEE 系の体裁で書かれており、会議投稿を意識した vision paper だが、本稿執筆時点では査読を通ったとは確認できないので preprint として扱う)だ。

私がこれを今日選んだのは、珍しく「現場の人が書いた」論文だからだ。ベンチマークで最高スコアを競う話ではなく、実際に販売されている大作ゲームに RL を組み込もうとしたときに何が起きるか——学習が終わらない、モデルが重すぎて実機で動かない、デザイナーが望む動きにならない——という、作る人なら誰もが直面する問題を正面から扱っている。ゲームを作る読者にとって、これほど地に足のついた題材はそう多くない。

念のため断っておくと、これは特定企業の2タイトルに基づく報告であり、一般法則の証明ではない。著者たち自身も「vision paper(将来の研究の方向性を示す論文)」と位置づけている。私はそのつもりで、彼らが確かに書いたことだけを訳す。

背景

ゲームの NPC の振る舞いは、長らく「手で書く(ハンドコード)」方式で作られてきた。論文は代表的な3つを挙げる。FSM(有限状態機械。「待機」「攻撃」のような状態をあらかじめ用意し、条件で切り替えて振る舞いを作る古典的な方法)、ビヘイビアツリー(Behavior Tree。行動を木構造に並べ、上から順にどれを実行するか選ぶ設計)、GOAP(Goal-Oriented Action Planning、目標から逆算して行動の手順を組み立てる方式)である。どれも読みやすく計算も軽いが、ゲームが大規模化するにつれて「設計と保守が難しくなる」「動きが硬直的になる」という共通の弱点を著者らは指摘する。

一方、RL は StarCraft II の AlphaStar や Gran Turismo の GT Sophy のように、ゲームを超人的にプレイできることが示されてきた。ただし現場での主な使い道は、これまで「ゲームのテスト自動化」だった(著者らは Battlefield シリーズのテストに RL エージェントを使った実績に触れている)。プレイヤーが実際に相手にする NPC そのものを RL で作る、という段階には、まだ広く到達していない。

なぜ重要か。著者らの言葉を借りれば、NPC の質は没入感を左右し、AI の粗さは「リアルさの幻想」を壊す。だが、超人的に強い相手はしばしばプレイヤーを苛立たせる。つまりゲーム AI に必要なのは強さではなく authenticity(本物らしさ)であり、そこが研究と現場の間に空いた溝だ、というのが背景の核心だ。

アプローチ / 方法

著者らはまず、制作現場で RL を使うために満たすべき7つの要件を挙げる。短い学習時間(ゲームは毎日変わるので、一晩で再学習できてほしい)、制御性(デザイナーが最終的な振る舞いを質的にコントロールできる)、モジュール性(既存の AI 系に部品として組み込める)、保守性(将来のアップデートに耐える)、バグの検出と修正(問題を見つけて直せる)、authenticity(超人的でなく「らしい」振る舞い)、そして実行時の推論制約(推論=学習済みモデルに入力を与えて答えを出す計算が、低スペック機でも決められた時間内に収まる)である。

この要件を、彼らは2つの実タイトルで検証する。1つ目は EA SPORTS FC 25 のゴールキーパーの「位置取り」システム。従来は巨大な FSM で作られており、状態の切り替えが不自然で保守も難しかった。ここを、報酬関数(何を良い動きとするかを数値で定義したもの。プロのゴールキーパーのような専門家が、コードを書かずに設計できる)で置き換える。学習には SAC(Soft Actor-Critic。少ない試行回数でも学びやすい強化学習アルゴリズムの一種)を使う。

2つ目は Battlefield 6 の歩兵の「移動(ロコモーション)」。従来はビヘイビアツリーと経路探索・ナビメッシュ(通れる床面を表した地図)に頼り、動きが硬直的だった。ここでは PPO(Proximal Policy Optimization。安定して学習しやすいアルゴリズム)を使う。注目したいのは周囲の見せ方だ。多くの研究はレイキャスト(エージェントから光線を飛ばして障害物を測る方法)を使うが、計算が重い。著者らは代わりに、ゲームエンジンにすでにある高さ情報を流用して、周囲を格子の地図にしたオキュパンシーマップ(どこが通れる/通れないかを色分けした表現)を使う。

全体を貫く思想は「置き換えでなく補強」だ。RL だけで全部をこなす end-to-end(入力から出力まで一つのモデルで通す)方式ではなく、既存の FSM やビヘイビアツリーの一部の葉(末端のノード)だけを RL の部品に差し替える。こうすれば、デザイナーの制御性とモジュール性を保ったまま、硬直的だった部分だけを滑らかにできる、という設計である。

発見

ゴールキーパーの側では、まず学習時間が大きな壁だった。素の SAC では1回の学習に当初2〜4日かかっていたが、更新頻度を上げてネットワークをリセットする工夫、事前に集めたデータの活用、シナリオ単位の学習などを組み合わせ、約12時間まで短縮したと著者らは述べる(Figure 2 左)。目標だった「一晩で回る」を満たした形だ。

モデルの軽さも要件だった。推論1回(観測の取得・モデルの計算・行動の返却まで)の予算が 200 マイクロ秒と厳しく、著者らは5層の小さなネットワーク(隠れ層256、パラメータ約30万)で 170 マイクロ秒に収めた。結果として新しい位置取りは、プレイテスターに「より本物らしく人間的」と受け止められ、加えて「余談として」以前のハンドコード版より約10%高いセーブ率を示したという(著者の記述通り)。公開後に見つかる抜け穴(exploit)への修正も、約2〜4時間の狙い撃ちの追加学習で対応できたとする。

歩兵の側では、周囲の見せ方の比較が鍵だ。24本のレイキャストとオキュパンシーマップは性能がほぼ同等だったが、計算コストはオキュパンシーマップの方が軽く、著者らは約2.0倍の高速化と述べる(レイキャストは約27マイクロ秒、オキュパンシーマップは約14マイクロ秒)。学習は PPO で約2時間、最大240体を並列で回した。さらに、RL の移動部品を既存のビヘイビアツリーに組み込み、ハンドコードの相手と1対1で20試合戦わせたところ、RL 側が11勝した。性能は同等ながら、動きはより自然だった、というのが著者らの読みだ。

使いどころ

作る人の視点で、具体的な使いどころを挙げる。もし自分がスポーツや対戦アクションの CPU を作っていて、状態の切り替えがカクついて見えるなら——巨大な FSM を全部書き直すのではなく、いちばん不自然な1状態(たとえば守備の位置取り)だけを報酬関数で置き換える、という発想が使える。報酬はプロや上級プレイヤーに設計を手伝ってもらえる、というのがこの論文の実践的な示唆だ。

もし大規模マルチプレイの敵 AI を、幅広いハードで動かさねばならないなら——周囲の認識に重いレイキャストや一人称映像を使う代わりに、エンジンに既にある地形データを格子地図(オキュパンシーマップ)に流用する手が参考になる。性能を保ったまま計算を軽くできる可能性がある、と著者らは示している。

もしライブサービス型で毎日ゲームが変わり、プレイヤーが抜け穴を見つけてくるなら——全体を作り直すのではなく、振る舞いを小さな部品に分け、問題の部品だけを数時間の追加学習で直す運用が現実的だ。ただし著者らは、繰り返しの追加学習は前の振る舞いを忘れる catastrophic forgetting(追加学習で以前覚えた動きを失う現象)のリスクを高めると釘を刺している。

もし小規模スタジオで計算資源が限られるなら——超人的な強さを狙わず authenticity(本物らしさ)に目標を絞り、一晩で回る小さいネットワークとサンプル効率の良い SAC で回す、という割り切りが効く。そして全体として、RL を「置き換え」ではなく「既存 AI の弱点を補う部品」として設計する——これがこの論文から持ち帰れる、いちばん再現しやすい姿勢だ。

限界

著者自身が認める限界から。周囲を格子地図で表すオキュパンシーマップは軽い代わりに不完全で、多層構造・垂直方向・起伏のある地形・動く障害物・破壊表現を捉えられない、と明言している。また追加学習による振る舞い修正は catastrophic forgetting のリスクを伴い、systematic(体系的)な手法はまだ確立されていないとする。RL を全体に使う end-to-end は制作上非現実的だと彼らは論じるが、これは限界というより著者らの立場だ。加えて、本稿は RL に絞っており、大規模言語モデルなど他の機械学習手法の統合は今後の課題としている。

Fukai がここで指摘するのは、この論文が vision paper であり、定量的な比較が限定的だという点だ。ゴールキーパーの「約10%高いセーブ率」も著者自身が「余談(a side note)」と書いており、歩兵の評価も1対1・20試合で11勝という小さな試行に留まる。統制された実験というより、実装から得た知見の報告として読むのが誠実だろう。

もう一点。プレイテスターが「より本物らしい」と受け止めた、という記述は魅力的だが、その評価が何人・どんな手続きで行われたかは本文では詳しく述べられていない。「本物らしさ」は主観的な指標であり、ここは今後の体系的な評価(著者ら自身が future work に挙げている Behavior Evaluation)を待つべきところだと私は読む。さらに、対象は EA の2タイトルという特定の文脈であり、他ジャンルへの一般化は慎重であるべきだ。

Fukai の読み

ここからは Fukai 個人の解釈だと明示しておく。私はこの研究を、「AI にゲームを解かせる」時代から「AI にゲームを演じさせる」時代への移り変わりの中に置きたい。ベンチマークで勝つ強い AI は既に手に入った。だがゲーム制作にとっての本当の難所は、強さではなく、デザイナーの意図・実機の制約・毎日の変更に馴染む「行儀の良さ」の方にある。設計批評の語彙で言えば、この論文は超人的な最適化ではなく、既存の作法(FSM やビヘイビアツリー)に敬意を払いながら一部だけを賢くする「継ぎ木(augmentation)」の思想だと私は読む。派手さはないが、現場に効く思想の言語化として価値があると整理できる。

おわりに

もっと深く知りたい人へ。ゲーム AI の全体地図を掴むには、著者らも引用する Yannakakis と Togelius の教科書「AI methods for games」が良い出発点になる。大規模言語モデルとゲームの接点を知りたければ、Gallotta らの survey(2024)が地図になる。そして本稿のゴールキーパーの技術的な詳細は、著者らの先行研究(Sestini ら、Reinforcement Learning Conference 2026)に譲られているので、実装まで踏み込みたい人はそちらを合わせて読むと像が結ぶはずだ。

私の読後感を一言で。強い AI を作る論文は数多いが、「弱くてもいいから、らしくて、直せて、軽い AI」を真面目に論じた論文は貴重だ。次はぜひ、本物らしさをどう測るか——著者らが future work に挙げた評価の方法論——を扱った続編を読んでみたい。

参考文献

本記事で参照した論文と関連資料:

・Augmenting Game AI with Deep Reinforcement Learning (Sestini, Bergdahl, Baghi, Barrette-LaPierre, Fuchs, Gisslén, 2026, arXiv preprint 2606.20210)

・関連研究: DeepCrawl: Deep Reinforcement Learning for Turn-Based Strategy Games (Sestini, Kuhnle, Bagdanov, 2020)(著者らの初期の RL ゲーム AI 研究)

・関連研究: Large Language Models and Games: A Survey and Roadmap (Gallotta ら, 2024, IEEE Transactions on Games)(LLM とゲームの地図)

・背景の教科書: AI methods for games (Yannakakis & Togelius, Springer, 2025) — ゲーム AI の全体像