PAPER-DIGEST · 2026-07-21
Earle et al.: レベル設計を「1人の作業」から「複数エージェントの協働」に組み替える — Fukai が読む
強化学習によるレベル生成 / マルチエージェント PCGRL
一段落要約
ゲームのレベルを、人間の作った見本データなしで、報酬をたよりに強化学習(reinforcement learning。試行錯誤しながら報酬が高くなる行動を学ぶ枠組み)のエージェントに自動で設計させる手法を PCGRL(Procedural Content Generation via Reinforcement Learning、強化学習によるコンテンツの自動生成)と呼ぶ。この論文は、これまで「1体のエージェントがマップ全体を1マスずつ編集する」形だった PCGRL を、「複数のエージェントが手分けして同時に編集する」マルチエージェント問題として組み直した。
結果として、エージェントの数を増やすほど生成の質・未知のマップ形状への一般化・計算効率のすべてが改善した。しかも各エージェントが自分の周り 3×3 マスだけを見る「近視眼的」な設定のほうが、全体を見渡す設定より強かった。私はこの論文を、レベル生成を『一人の設計者による長い作業』から『小さな担当を持つチームの協働』へと読み替えた研究として紹介する。
はじめに
今日紹介するのは、Sam Earle・Zehua Jiang・Eugene Vinitsky・Julian Togelius による『Video Game Level Design as a Multi-Agent Reinforcement Learning Problem(ビデオゲームのレベル設計をマルチエージェント強化学習問題として捉える)』である。arXiv に 2025 年 10 月 6 日に投稿され(arXiv:2510.04862)、同時に AIIDE 2025(AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment。ゲーム AI の査読つき会議)のフルテクニカルペーパーとして採択されている。つまり preprint であると同時に peer-reviewed(査読を通った)論文でもある。
著者チームは PCGRL という枠組みを 2020 年に立ち上げた当事者を含む。Togelius はゲーム AI 研究の中心人物の一人で、Earle は近年 PCGRL を JAX(GPU 上で高速に計算を回すためのライブラリ)へ移植した実装者でもある。だから本稿は、外から評論する立場ではなく、自分たちの道具を自分たちで改造した記録に近い。
私がこれを今日選んだのは、主張が地味で実装に近く、しかも『どうしてそれが効くのか』を切り分ける実験がていねいだからだ。レベルを自動生成したい人にとって、この論文の教訓はそのまま設計判断に持ち帰れる。コードも github.com/smearle/pcgrl-jax で公開されている。
背景
レベルの自動生成は PCG(Procedural Content Generation、コンテンツの自動生成)と呼ばれ、長い研究の歴史がある。大きく分けると、既存のレベルを大量に集めて似たものを作る『データから学ぶ』系(GAN や VAE、最近は大規模言語モデルもここに入る)と、見本データを使わず報酬だけを頼りに作る系がある。PCGRL は後者にあたる。設計そのものを一種のゲームと見立て、エージェントが1マスずつ編集し、『目標とする性質(たとえば通路の長さや、道がひとつながりになっているか)』にどれだけ近づいたかで報酬を与える。
PCGRL の強みは、学習さえ済ませてしまえば生成が一瞬で終わることだ。実行時にリアルタイムで盤面を作れるので、ローグライクのように遊ぶたびに新しい面を出す用途や、設計者の横で候補を出す共同制作の道具として期待されてきた。
だが弱点があった。学習に時間がかかる。原因は報酬の計算にある。『通路の長さ』のような性質を測るには、盤面全体で最短経路を何度も計算しなければならない。この計算は盤面が大きくなるほど重く(論文はマップ幅に対しておよそ二乗で効いてくると述べている)、しかもエージェントが1マス編集するたびに走る。つまり『1手打つ→全体を測り直す』を延々と繰り返すところに、時間のほとんどが吸い取られていた。この重さをどう軽くするか、が本研究の出発点である。
アプローチ / 方法
著者たちの発想はシンプルだ。1体のエージェントに全部やらせるのをやめて、複数のエージェントに手分けさせる。各エージェントは『タートル』と呼ばれる、盤面の上を歩き回りながら足元のマスを壁か通路に書き換える存在だ。全員が同時に1手ずつ編集し、その合計が『どれだけ目標に近づいたか』で全員に同じ報酬が配られる(これを共有報酬という)。学習には MAPPO(Multi-Agent PPO。複数エージェント版の代表的な強化学習アルゴリズム)を使う。
ここに効率化の核心がある。報酬計算は盤面全体に対して1回走ればよい。だからエージェントが3体いれば、1回の報酬計算あたり3手ぶんの編集が進む。重い計算の回数を、編集の回数に比べて減らせるわけだ。著者はさらに『報酬をN手ごとにまとめて計算する』という調整つまみ(reward frequency)も導入し、重さの元をさらに間引けるようにした。実装は JAX で GPU 上に載せ、以前の numpy 版に比べておよそ 17 倍速く学習できると述べている。
もう一つの鍵は、各エージェントが『自分の周りの小さな窓』だけを見る点だ。論文は 3×3 マス・16×16 マス・31×31(=全体)という三つの視野を比べている。直感に反して、全体を見せるより 3×3 の近視眼が強い。著者は先行研究をふまえ、狭い視野に絞るとエージェントが局所的で使い回しの効く設計方針を学び、それが未知の盤面への強さにつながると説明する。
検証は二つの題材で行う。一つは『バイナリ迷路』で、通路をひとつながりに保ちつつ、二点間の最長経路をできるだけ長くする課題。もう一つは『ダンジョン』で、プレイヤー・鍵・扉・敵を正しい個数だけ置き、プレイヤーから鍵、鍵から扉までの道を長く、最寄りの敵は少し離す、という複数条件を同時に満たす課題だ。訓練は 16×16 の盤面で行い、評価では 8〜32 のさまざまなサイズや、長方形にゆがめた盤面でも試す。実験の公平を期すため、著者は『盤面全体を一度なぞるのに必要な手数』を1単位(ボードスキャン)として、エージェント数が違っても総編集回数をそろえられるようにしている。
発見
第一の発見は明快で、エージェントを増やすほど質も一般化も上がる。手数を固定した迷路の実験(論文 Table 1)では、幅 32 の固定形状マップで平均報酬が1体の 156.10±6.73 から3体の 181.81±11.80 へ、形状をランダムにゆがめた幅 32 では 68.36±7.90 から 88.43±5.68 へと伸びた。ダンジョン課題(Table 4)では差はもっと大きく、幅 32 の固定形状で 213.78±17.55 → 364.47±26.86、ランダム形状で 49.33±4.00 → 101.63±6.09 と、ほぼ倍になっている。いずれも『何と比べてどれくらい』を添えると、単体エージェントに対する複数エージェントの改善だ。
第二に、著者はこの改善が『単に手数が増えたから』ではないことを切り分けている。総編集回数をそろえても(Table 2)、さらに総編集回数と報酬計算の回数の両方をそろえても(Table 3)、大きくて形のゆがんだ盤面での一般化の優位は残った。逆に、小さくて形が固定の盤面では複数エージェントの利点は単体と同程度まで縮む。つまり複数エージェントの真価は、訓練時と違う未知の状況で出る、と読める。
第三に、視野は狭いほうが良い。3体で編集する設定(Table 6)では、3×3 の局所視野が最も高い報酬と一般化を示し、次いで 16×16、最後に全体視野(31×31)だった。加えて報酬計算は、少なくとも10手に1回まで間引いても性能が落ちなかった(単体、Table 5)。ただし著者は、間引き自体は性能を明確に上げるわけではなく、あくまで『エージェントを増やす』ほうが計算削減と質の両立につながると注意している。
著者はこれらを、複数エージェントが局所的でモジュール的(部品のように組み合わせ可能)な方針を学ぶためだと解釈する。実際、別々のエージェントが盤面の別の領域を担当し、単独では最適でない編集が合わさって全体として良い盤面に向かう、という緩やかな役割分担が自然に現れたと報告している。なお PCGRL はもともと見た目の美しさより『機能的に成立しているか』を優先する枠組みであり、ここでの報酬もその機能面を測っている点は押さえておきたい。
使いどころ
もし自分がローグライク風の迷路やダンジョンをリアルタイム生成しているなら、この論文の直接の教訓は『生成器を1体で学習させず、複数体の協働として学習させる』ことだ。とくに『訓練で見た大きさとは違う盤面を本番で出したい』場合、複数エージェントの一般化の強さがそのまま効く。実装は公開されており、迷路とダンジョンはそのまま試せる出発点になる。
もし自分がハイパーカジュアルの PCG で、生成のたびに最短経路や連結性を測る重い判定を回しているなら、注目すべきは報酬計算の間引きだ。この論文は、判定を毎手ではなく数手ごとにまとめても質が落ちないことを示した。判定コストが生成の律速になっている現場では、まず『判定の頻度を下げる』だけでも学習・生成の体感速度を上げられる余地がある。
もし自分が設計者の横で候補を出す共同制作ツールを作っているなら、『役割分担が自然に現れる』という観察が使える。領域ごとに担当が分かれるなら、人間が一部の領域を手で描き、残りを別のエージェントに任せる、という分業に接続しやすい。著者自身も、特定のエージェントの編集を固定して他が上書きできないようにする拡張や、エージェントごとに『筆の太さ(1マスか 3×3 か)』を変えて階層的な分業を作る案を挙げている。
そして視野の教訓は生成以外にも転用できる。盤面のような格子状のコンテンツを機械に作らせるとき、『全体を見せれば賢くなる』とは限らない。狭い局所だけを見せたほうが、汎用的で崩れにくい方針を学ぶことがある。レベル配置に限らず、タイル地形・配管パズル・配線パズルのような『局所ルールが積み重なって全体が成立する』課題では、まず視野を絞って試す価値がある。
限界
著者自身が認めている限界から。実験はごく素朴な『バイナリ迷路』と『ダンジョン』の二領域に限られ、訓練は 16×16 の小さな盤面で行われている。実物のゲームレベルはもっと大きく、多様なメカニクスやアセットを含む。また RL の学習は依然として数時間かかり、しかも『エージェントが学べる手がかりになる報酬(ヒューリスティック)』を人間が丁寧に設計する必要がある。著者は正直に、もし目標が制約充足で表せるほど単純だったり、十分な人手データがあるなら、そちらのほうが速く良いレベルを作れるかもしれない、と書いている。
Fukai がここで指摘するのは、この論文の『一般化』が何を指すかという点だ。ここでの一般化は、未知のサイズや形の盤面で機能的な報酬(経路の長さや連結性)がどれだけ高いかで測られている。人間が『面白い』『美しい』と感じるかを測ったものではない。PCGRL はそもそも機能を優先する枠組みなので当然ではあるが、生成物が遊んで楽しいかどうかは、この数値の外にある。
もう一点、著者も今後の課題として挙げているが、専門家によるユーザー調査はまだ行われていない。『人間の設計者の横で使える協働ツールになる』という将来像は魅力的だが、本論文の段階では、あくまで機能指標の上での効率と一般化を示したところまで、と読むのが公平だろう。共有報酬ゆえに個々のエージェントへの手柄の配分は粗く、役割分担も『設計して強制した』のではなく『自然に現れた』ものである点も、慎重に受け取りたい。
Fukai の読み
ここからは私の解釈だと断っておく。私はこの研究を、『設計とは何か』という問いを、労働の分業という古い比喩でとらえ直した仕事として読みたい。一人の職人が長い工程を頭の中で通しで管理するのではなく、狭い担当を持つ複数の手が、互いの痕跡を頼りに(著者はこれをスティグマジー、つまり環境に残した手がかりを介した間接的な連携と呼ぶ)全体を編み上げる。近視眼のほうが強いという結果は、私には『全体を見通す一人の天才より、局所に忠実な複数の凡人チームのほうが、未知の現場で崩れにくい』という、設計組織論めいた寓話に見える。もっとも、これはあくまで格子状のレベル生成という限られた舞台で観察されたことであり、寓話として一般化するのは私の勇み足だと付け加えておく。
おわりに
PCGRL という枠組みそのものを知りたい人は、同じ著者たちの原典 Khalifa ら(2020)を合わせて読むと地図が見える。あちらが『レベル設計を1体の強化学習エージェントのゲームにする』出発点を与え、本論文が『それをチームにするとどうなるか』を測っている、という関係だ。
生成の質と遊びやすさを両立させたい、という関心で読むなら、昨日紹介した WFC と強化学習を縫い合わせる研究(当サイトの Bhaumik らの回)と並べて読むのも面白い。あちらは『局所ルールで行動を絞る』ことで見た目と機能を両立しようとし、こちらは『局所視野の複数エージェント』で効率と一般化を得ようとする。角度は違うが、どちらも『全体を一気に決めるより、局所を積み重ねる』という同じ方向を向いている。
参考文献
本記事で参照した論文と関連資料:
・DOI: 10.48550/arXiv.2510.04862
リアクション（ログイン不要）
匿名で残せます • 同じリアクションは1日1回まで
関連シリーズ
論文ダイジェスト第37回 / 全37回