Bhaumik et al.: WFC と強化学習を縫い合わせて「遊べて綺麗な」レベルを作る — Fukai が読む

一段落要約

「見た目は良いが遊べない」レベルを作りがちな WFC(Wave Function Collapse。見本のマップから「どのタイルとどのタイルが隣り合ってよいか」という局所ルールを学び、それに従って似た雰囲気のマップを一マスずつ埋めていく制約解決アルゴリズム)と、「遊べるが見た目が汚い」レベルを作りがちな PCGRL(procedural content generation via reinforcement learning。強化学習でレベルを段階的に組み立て、報酬で「クリアできる」などの全体的な性質を仕込める枠組み)。この二つの弱点を打ち消し合わせようとした論文だ。

著者らは、WFC が学んだ局所ルールで強化学習エージェントの「次に置ける手」を毎ステップ絞り込み、その制限の中でエージェントが「クリア可能なレベルに近づく置き方」を選ぶ仕組みを作った。名付けて WCRL(Wave Collapse via Reinforcement Learning)。題材は1983年の名作パズル・プラットフォーマー『ロードランナー』だ。結論を先取りすると、調整がうまくいけば「見本らしい見た目」と「実際に遊べる」を両立したレベルを生成できたが、入力レベルの選び方や希少パターンの扱いに敏感だった。発表は arXiv のプレプリント(2026年5月投稿、査読前)。この記事だけで要点が掴めるように解説する。

はじめに

著者は Debosmita Bhaumik、Julian Togelius、Georgios N. Yannakakis、Ahmed Khalifa の4名。論文は arXiv:2605.13570v1(cs.AI、2026年5月13日投稿、ライセンス CC BY 4.0)として公開されている。現時点では査読を通ったという記載はないので、arXiv のプレプリント(投稿されたばかりで、まだ peer-review を経ていない可能性がある段階)として扱う。

この著者陣は PCG(procedural content generation、ゲーム内容の自動生成)研究の中心にいる人たちで、本論文が土台に置く PCGRL という枠組みそのものが、Khalifa らの提案(論文の引用[15])だ。つまり「強化学習でレベルを作る」道具を作った当人たちが、その道具の弱点(見た目の悪さ)を別系統の道具 WFC で補おうとしている、という構図になっている。

私が今日この論文を選んだのは、PCG の世界で長らく「機械学習系(見本の雰囲気を捉えるのは得意だが、遊べる保証がない)」と「探索・強化学習系(遊べる保証は作れるが見た目が荒れる)」が別々の道具として語られてきたからだ。その二つの道を一つのループに縫い合わせる設計は、実装者がそのまま真似できる形になっている。理論の紹介というより、道具の組み立て方の紹介として読める一本だ。

背景

レベルを自動生成するとき、良し悪しは大きく二つに分けられる、と著者らは整理する。ひとつは「機能」——プレイヤーがそのレベルをクリアできるか、必要なアイテムに手が届くか、といった、レベル全体を見ないと判定できない性質。もうひとつは「見た目」——そのゲーム特有のスタイルに合っているか、という局所的にも判定できる性質だ。

GAN(Generative Adversarial Network。生成役と判定役の二つのモデルを競わせて学習する手法)や LSTM、近年の大規模言語モデルといった「見本から学ぶ」系は、見た目を捉えるのは得意だ。だが「クリアできる」という機能は、学習の手がかり(学習信号)に入っていないので保証できない。空に床タイルが散らばっていても道さえ通っていれば機能的には成立するし、逆に人間が作ったように見えても道が繋がっていなければ遊べない。見た目と機能は必ずしも一致しないのだ。

一方、強化学習(reinforcement learning。試行錯誤しながら、報酬が高くなる行動を学ぶ枠組み)でレベルを作る PCGRL は、報酬に「クリアできること」を書けば機能を学べる。しかし今度は見た目が荒れる——論文の図13が示すように、RL だけで作ったレベルは「率直に言って醜い」と著者自身が書いている。ここに「見た目は制約解決に、機能は強化学習に」と役割分担できないか、という本論文の問いが立つ。

アプローチ / 方法

WCRL の骨格はこうだ。まず WFC が、入力レベルを 3×3 の小さな窓(タイルの塊=パターン)に刻み、「このパターンの上下左右にはどのパターンが来てよいか」という隣接ルールを学ぶ。この抽出されたパターン集合が、そのまま強化学習エージェントの「行動の選択肢」になる。

生成は空のグリッドから始まる。各マスには最初「置ける可能性のあるパターン全部」が入っていて、WFC は「残りの選択肢が最も少ないマス」——つまり最も追い込まれた場所——を次に確定させる場所として選ぶ(WFC 本来の最小エントロピー戦略。エントロピーは、ここでは「選択肢の多さ・不確かさ」のこと)。ただし、そこに何を置くかを決めるのは元の WFC ではなく、強化学習エージェントだ。エージェントには「今そのマスに置ける手」だけが渡される(これは行動マスキング、invalid action masking と呼ばれ、選べない手を最初から塞ぐやり方)。

エージェントが手を選ぶと、WFC がその選択をマップ全体に伝播させ、隣接ルールと矛盾するパターンを各マスから消していく。これで次のステップでは無効な手が自然に消える。学習アルゴリズムは Maskable PPO(Proximal Policy Optimization の派生で、選べない手を除外できるもの)。方策は畳み込み3層+全結合2層の小さなネットワークだ。

報酬をどう作るかが肝になる。著者らは簡易な自動プレイヤー(ゲームのルールを簡略化したもの)を用意し、フラッドフィル(塗りつぶしのように到達できる範囲を広げていく探索)でプレイヤー位置から取れる金塊の数を数える。金塊が取れるように繋がりが増える手には正の報酬、繋がりが減る手には負の報酬。WFC が矛盾(どのパターンも置けないマスが出る状態)を起こす手には大きな負の報酬を与え、「行き詰まらない置き方」を学ばせる。なお、この簡易プレイヤーは穴掘りや敵の動きを省いており、あくまで近似だ。

発見

実験は3つのつまみを回して行われた。(1) 入力レベル——1枚だけ(SI)、複数枚(MI)、あえて雰囲気の違う複数枚(div-MI)。(2) 学習するパターン——1回しか現れない希少パターンを残すか外すか(外す=RR)。(3) 開始状態——空から始めるか、一部を先に埋めたランダムな状態から始めるか(RC)。組み合わせで計12実験、それぞれ5つのモデルを別々に学習(学習の安定性を見るため)、各モデルで100レベルを生成して評価した。題材はロードランナーで、レベルサイズは 32×22、パターン窓は 3×3、各学習は500万ステップ回している。

入力レベルについて。複数枚でも互いに似ているレベルを与えたときは、クリアできるレベルの割合が全体として上がった。逆に、雰囲気の大きく違うレベルを混ぜると、生成の多様性は上がるが、クリアできる割合は下がった。異なるスタイル同士の「繋ぎ目」を見つけるのが難しいためで、著者らは div-MI に希少パターン除去とランダム開始を全部足した設定(div-MI+RR+RC)が最も苦しく、矛盾によって生成に失敗する回数が最も多かったと報告している。

希少パターンについて。希少パターンを外すと選択肢が減り、生成レベルの多様性は下がる。ただし複数入力の場合はクリア率がむしろ上がった——ありふれた「よく繋がるパターン」に集中できるからだ、と著者らは考えている。一方で入力が1枚のときに希少パターンを外すと、選択肢が狭くなりすぎてレベルを組み立てられなくなった(だから単一入力では、プレイヤータイルを含むパターンだけは残す例外を設けている)。

開始状態について。ランダムに一部を埋めた状態から学習を始めても、クリア率にはあまり差が出ず、多様性はわずかに改善した程度だった。ただし、そうして学んだモデルは開始状態の違いに強く(ロバストに)なり、空でない状態からのほうがむしろ遊べるレベルを見つけやすかった。著者らはこのランダム開始を、異なるゲーム間で使い回せる汎用的な方策や転移学習(あるゲームで学んだ知識を別のゲームに持ち込むこと)の鍵になりうると述べている。数値の多くは論文の図7〜図12にグラフで示されており、本文には割合の数字そのものは書かれていないため、ここでは傾向として紹介する。

使いどころ

ゲームやパズルを作る人が持ち帰れる形にすると、まず一つ目。もし自分がタイルベースのレベルを WFC で作っていて「見た目は良いのにクリアできない盤面が混ざる」問題に悩んでいるなら、この論文の骨は「WFC のタイル選択を、クリア可能性を評価する何かに置き換える」ことだ。強化学習が重いなら、置き換え先は探索(ソルバー)でもよい。要は『最小エントロピーのマスに何を置くか』の一手を、機能を測る評価器に委ねる、という発想を借りられる。

二つ目。もしハイパーカジュアルや無限生成のゲームを作っていて、アートの統一感は保ちつつ「詰み」だけは絶対に避けたいなら、局所ルール(見た目)と全体報酬(遊べること)を分業させる構図がそのまま効く。見た目は既存マップから自動で吸い上げ、報酬関数には自分のゲーム固有の「クリア条件」——鍵に到達できる、出口まで道がある、など——だけを書けばよい。報酬設計にアートの良し悪しを一切書かなくて済むのが利点だ。

三つ目。難易度や多様性を「つまみ」で調整したい設計者には、本論文の実験そのものがレシピになる。入力を複数にすると多様性が上がる、希少パターンを外すと多様性は下がるが遊べる率は上がる、という関係は、そのまま『多様性重視モード/安定重視モード』の切り替えに転用できる。デイリーパズルのように「毎日ちょっと違うが必ず解ける」ものを配信したい場合、この二つのつまみは実用的な制御点になる。

四つ目に、行動マスキング(選べない手を最初から塞ぐ)の効きは他ジャンルにも移せる。制約充足(たくさんの条件を同時に満たす配置を探す問題)を含む配置系パズル——数独系、タイル配置系——で、生成器や補助 AI が「ルール違反の手をそもそも考えない」ようにするだけで、生成の失敗や無駄な探索が減る、という一般的な教訓として使える。

限界

著者自身が認めている弱点から。まず、この手法はハイパーパラメータ(学習前に人が決める設定値)の調整に敏感で、うまくいく設定を引き当てないと質が大きく落ちる。次に、雰囲気の違う入力を混ぜると繋ぎ目を見つけられず、遊べるレベルが減る。著者らは「両方のスタイルを併せ持つ、なめらかな中間のレベルを入力に足せば改善するはず」と述べているが、それは今回は検証されていない。検証はロードランナー1タイトルに限られており、他ゲームへの一般化は今後の課題だ。

ここから先は Fukai が読んで気づいた点だ。第一に、「遊べる(playability)」の判定が、穴掘りも敵の動きも省いた簡易プレイヤーによる近似である以上、ここで言う遊べる割合は本物の攻略可能性そのものではない。ロードランナーは穴を掘って敵を嵌めたり道を作ったりする駆け引きが核なので、その核を外した評価が実際の面白さや難しさをどこまで映すかは、この論文の枠組みの外にある。

第二に、本文にはクリア率や多様性の数値そのものがほとんど書かれておらず、傾向はグラフ(図7〜12)で示される。だから私も具体的なパーセンテージは引用していない。第三に、これはまだ査読前のプレプリントで、被引用も蓄積していない段階だ。ここで報告された傾向は「この設定・この題材で観察されたもの」であって、PCG 一般の法則として受け取るのは早い、と私は考える。

Fukai の読み

ここは私の解釈だと明示して書く。私はこの研究を、生成の設計を「役割分担」として捉え直す流れの中に置きたい。見た目という局所の秩序は制約解決器(WFC)に、遊べるという全体の秩序は強化学習に任せ、両者を『行動マスキング』という一点で接続する——設計批評の語彙で言えば、これは「ハウススタイル(そのゲームらしい見た目)の自動化」と「解けることの保証」を、別々のモジュールとして切り離した上で一本のループに縫い合わせた、と読める。二つの道具の折衷というより、生成の中に評価器を組み込む座席をどこに用意するか、という配線の問題として面白い。ロードランナーという題材選び自体が、その配線の良し悪しを人間の目で判定しやすい試験台になっている点も、私は好ましく思う。

おわりに

もっと深く知りたい人へ。本論文が直接踏まえているのは、強化学習でレベルを一マスずつ作る枠組みを提案した PCGRL(Khalifa et al.)と、強化学習と WFC を組み合わせてマリオのレベルを作った Babin & Katchabaw(FDG 2021)だ。この二本を先に眺めておくと、本論文が「どこを引き継ぎ、どこを変えたか(題材をマリオからロードランナーへ、最適化を進化戦略から PPO へ)」の地図が見える。

WFC そのものの背景を知りたいなら、WFC を『実世界の制約充足』として捉え直した Karth & Smith の議論が入口として良い。生成の中に「解けること」を測る評価器を組み込むという発想は、パズル生成では今後さらに増えるはずで、この論文はその配線図の一例として手元に置いておくと役に立つ、と私は思う。

参考文献

本記事で参照した論文と関連資料:

・Learning Local Constraints for Reinforcement-Learned Content Generators (Bhaumik, Togelius, Yannakakis, Khalifa, 2026, arXiv preprint 2605.13570)

・関連研究: PCGRL: Procedural Content Generation via Reinforcement Learning (Khalifa et al., 2020)(本論文が土台にする枠組み)

・関連研究: Babin & Katchabaw, Leveraging Reinforcement Learning and WaveFunctionCollapse for Improved Procedural Level Generation (FDG 2021)(強化学習と WFC の組み合わせの先行研究)