Zeng et al.: ゲームバランス調整を LLM 同士の自己対戦で自動化する — Fukai が読む

一段落要約

今日私が訳すのは「RuleSmith」という論文だ。ゲームのバランス調整——どの陣営も勝ちすぎず負けすぎない状態に整える作業——を、複数の LLM(Large Language Model、大量の文章で訓練された言語予測モデル)に自動でやらせる、初めての枠組みだと著者は位置づける。従来この作業は、人間が何度も試遊し、勘と手作業で数値を少しずつ直してきた。RuleSmith はそれを、ゲームエンジンと、LLM 同士の自己対戦と、ベイズ最適化(少ない試行で良い設定を効率よく探す手法)の三つ組みで置き換えようとする。

検証は著者らが自作した小さな戦略ゲーム「CivMini」で行われた。能力の異なる二陣営(非対称な二勢力)を支配する12個のパラメータを調整し、わざと偏らせた初期状態からでも、勝率の差がほぼ0%になる設定を見つけ出せた、と報告している。ただしこれは概念実証(アイデアが動くことを示す最初の一歩)であり、査読前の arXiv 原稿である——この二点は最初に断っておきたい。

はじめに

論文タイトルは「RuleSmith: Multi-Agent LLMs for Automated Game Balancing」。著者は Ziyao Zeng、Chen Liu、Tianyu Liu、Hao Wang、Xiatao Sun、Fengyu Yang、Xiaofeng Liu、Zhiwen Fan の8名だ。arXiv に 2602.06232 として2026年2月に公開された preprint(査読前の原稿)であり、本稿執筆時点で査読を通ったとは確認できないので preprint として扱う。コードとプロジェクトページが公開されており(GitHub の Adonis-galaxy/RuleSmith)、再現性の手がかりがある点は好ましい。

私がこれを今日選んだのは、ゲームを作る人にとってバランス調整が永遠の悩みだからだ。とりわけ非対称ゲーム(陣営ごとに能力・経済・機動力が違うゲーム)は、ある数値をいじると別の場所が壊れる、という厄介さを抱えている。RuleSmith は「ゲームそのもの(=ルール)を最適化の対象にする」という発想の転換を、実装まで含めて見せてくれる。まだ被引用も少なく、広く議論されていない段階の論文だが、作る人が読んで具体的に持ち帰れる骨格がある、と私は判断した。

背景

これまで何が分かっていたか。AI を使った自動プレイテストは以前からあり、シミュレートしたエージェントがボードゲームやカードゲームのバランスを評価し、高価な人間の試遊を減らせることが示されてきた(de Mesentier Silva ら, 2017)。深層強化学習(reinforcement learning、試行錯誤しながら報酬が高くなる行動を学ぶ枠組み)や台本化したエージェントで、商用ゲームのバランスの穴やエッジケースを洗い出す研究もある(Zhao ら, 2020;Bergdahl ら, 2020)。連続的なパラメータをベイズ最適化で調整する試みもあった(Celemin, 2024)。

一方、自己対戦の強化学習は AlphaGo・AlphaZero や OpenAI Five、AlphaStar のように超人的な強さを生んだが、これらは「ルールは固定で、強い打ち手(方策)を学ぶ」話だ。PCG(Procedural Content Generation、コンテンツの自動生成)はレベルやマップや機構を作る道具として発展してきた。

では何が分かっていなかったか。著者いわく、LLM を「ルールそのものを評価し、最適化する主体」として使う発想はほぼ未開拓だという。LLM は自然言語のルールブックを読み、役割の説明に従い、盤面を言葉で推論して一貫した意思決定ができる。だからハードコードのヒューリスティック(あらかじめ書き込んだ経験則)も高価な強化学習の訓練も無しに、「ゼロショットのシミュレータ」(追加学習なしでそのまま動かせる模擬プレイヤー)として使える可能性がある。この問題が重要なのは、現代のゲームが組合せ的に爆発する行動空間と多数のパラメータを抱え、手作業のバランス調整が時間的にも費用的にも非現実的になりつつあるからだ。

アプローチ

RuleSmith は三つの部品でできている。一つ目は舞台となるゲーム「CivMini」。7×7マスの盤面で二陣営が戦う、シヴィライゼーション風の 4X ゲーム(探索・拡大・開発・殲滅を軸にした戦略ゲームの一種)を小さくしたものだ。二陣営は非対称で、Empire(帝国)は分業型——農民は資源採集専門で戦えず、兵士は戦闘専門で採集できない。対する Nomads(遊牧民)は万能の騎兵一種で、移動が速い(1ターンに2マス、帝国は1マス)が、平時に資源を採れず、敵を倒して初めて資源を得る。つまり攻撃的なプレイを強いられる設計だ。

行動は、採集・移動・戦闘・資源生産・ユニット生産・パスの6種類。都市も体力を持つ「攻撃できる実体」で、敵の都市を破壊すれば即勝利、ターン上限まで来た場合は得点(残り資源・勝った戦闘数・生存ユニット数の重み付き合計)で決着する。二つ目の部品は、この LLM 同士の自己対戦を「評価器」として使うところだ。二つの LLM エージェントが帝国と遊牧民を担当し、自然言語のルールブックと盤面の説明を読み、全ユニットの行動を JSON(構造化されたデータ形式)で一括出力する。追加学習なしのゼロショットで動く。信頼性を上げるため二つの工夫がある——軽量な RAG(Retrieval-Augmented Generation、関連情報を検索して与える仕組み)で、TF-IDF(語の重要度で文書を照合する古典的な手法)を使って今の状況に関連するルールだけを抜き出すこと、そして出力を JSON に固定して不正な手を減らし、パースに失敗したらパスに落とすこと。

三つ目がベイズ最適化によるルール空間の探索だ。調整するのは12個のパラメータ(経済3・戦闘4・生産2・得点3)。これらを離散のまま総当たりすると数千万〜数億通りになり手に負えないので、いったん連続値として扱い、ガウス過程(観測から未観測点の値とその不確かさを推定する確率モデル)で「この設定はどのくらいバランスが良さそうか」を予測する。数式は使わずに言えば、目的は『両陣営の勝率がそれぞれ50%からどれだけ離れているか、加えて引き分けの多さ』という不均衡の大きさを、できるだけ小さくすることだ。連続値の提案は、整数や0.1刻みへ丸めて有効なルールへ戻される。

この手法の肝は、獲得関数(次にどこを試すと得か、を測る指標)に基づく適応的サンプリングにある。有望そうな候補には多くの対戦(最大64試合)を割り当てて勝率を正確に測り、見込みの薄い探索的な候補は少ない試合(最小16試合)で済ませる。限られた計算資源を、効く所に集中させるわけだ。ちなみに評価に使ったのは InternVL3.5 という画像も扱える言語モデルの2B版・8B版で、8対8で100反復回すのに A100 という GPU を8枚使って約40時間かかったという。

発見

主要な結果はこうだ。著者は序論で、RuleSmith がわざと偏らせた初期設定からでも、両陣営の勝率差がほぼ0%になる設定へ収束できたと述べている。ここでいう「バランスが取れた」とは勝率が50%±5%(=45〜55%)の範囲に収まることを指し、不均衡の指標が0.1以下になった最良のチェックポイントを使って100試合を回して確認している。

私が面白いと感じたのは、その均衡に付く留保だ。論文の Table 2 によると、同じサイズのモデル同士で訓練・評価した場合は表の対角線が均衡する(例えば2B対2Bで48対52、8B対8Bで51対49)。ところが片方だけ大きなモデルに差し替えると、賢くなった側が勝ち越す。極端な例では、帝国8B・遊牧民2Bで見つけた「均衡設定」を、帝国2B・遊牧民8Bで評価し直すと、06対94まで崩れた(いずれも Table 2 の数値)。つまりここでの「均衡」は、両プレイヤー(この場合は LLM)の強さが揃っていることを前提にしている、と読める。

定性的な面では、Figure 3 のリプレイが分かりやすい。遊牧民が騎兵の機動力を活かして帝国の中央隊列を迂回し、途中で2体を失いながらも1体が突破口を作り、12ターンで帝国の都市を破壊して勝った、と説明されている。目先の損害は大きくても、機動力による奇襲を戦略的勝利へ変える——非対称ゲームらしい駆け引きを、LLM が実際に遂行できることが見て取れる。なお本文には最適化手法どうしを比べるアブレーション(設計のどの部分が効いているかを、要素を一つずつ外して検証する実験)も載っているが、私が取得できた本文はその数値表の手前で切れていたため、比較の具体的な数字はここでは引用しない。

使いどころ

ゲームを作る人がどう応用できるか、具体的に挙げてみる。もし自分が非対称なボードゲーム(『Root』や『Vast』のように陣営ごとに勝ち方の違うゲーム)を設計しているなら:各陣営の体力・コスト・得点の重みをパラメータ化し、人間の試遊会に持ち込む前に、LLM の自己対戦でおおまかに公平な設定へ寄せる「一次スクリーニング」に使える。明らかに壊れた設定を早い段階で弾ける、という価値だ。

もしハイパーカジュアルやモバイルの運営をしているなら:経済や戦闘の数値を自動探索し、目標とする勝率や引き分け率に合わせてから、実プレイヤーの A/B テスト(二案を実際のユーザーに出して比べる検証)に回す。全部を人手で試す前に、有望な候補だけへ絞り込める。もしローグライクや対戦ゲームを作っているなら:新しいカードやユニットを足したときの「明らかに強すぎ・弱すぎ」を、リリース前に LLM 対戦で洗い出す。人間のプレイテスト予算を、本当に微妙な最終調整へ集中させられる。

ゲーム以外への広がりも著者は示している。オークションのルール、サプライチェーンの対立、医療トリアージ(治療の優先順位づけ)のプロトコルといった「ルール駆動の競争システム」のストレステストにも応用できる、という主張だ。加えて設計者にとって嬉しいのは、ベイズ最適化がどのパラメータ——体力の伸び、資源効率、生産テンポ——が公平さを左右するかを、解釈可能な形で浮かび上がらせる点だろう。単に「均衡した設定」を出すだけでなく、「なぜそこが効くのか」の手がかりを残してくれる。

限界

限界を、著者が認めている点と私が読んで気づいた点に分けて述べる。まず著者自身の言葉として、本文中に「LLM 駆動の対戦評価は計算コストが高く、ノイズが多い」という明言がある。これがそもそも適応的サンプリングを導入した動機でもある。また本研究は自作の小さなゲーム CivMini 上の概念実証であり、論文末尾には限界を扱う付録(Appendix C)が置かれている。正直に言えば、私が取得できた本文はその手前で切れており、付録の中身までは読めていない。読んでいない箇所を要約するのは私の主義に反するので、ここは『著者が限界を別途明記している』とだけ伝えておく。

Fukai がここで指摘するのは、「均衡」という言葉の中身だ。この研究が示したのは「同じサイズの InternVL3.5 エージェント同士なら勝率が揃う設定」であって、「人間が遊んで公平で、しかも面白い設定」ではない。バランスはプレイヤーの打ち筋に依存し、Table 2 はモデルの賢さが変わるだけで均衡が崩れることを示していた。人間は LLM とは違う手を打つのだから、LLM にとって均衡な設定が人間にとっても均衡だとは限らない——ここは慎重に読むべきところだと私は考える。

もう一点、私が気づいたのは指標の狭さだ。バランスの指標は勝率と引き分けだけで、緊張感・学習曲線・面白さといった体験の質は測っていない。パラメータも12個、ゲームも一つ、評価に使ったモデルも一系列(InternVL3.5)と、検証の範囲はまだ狭い。8対8で100反復に約40時間という計算の重さも、そのまま現場のイテレーションに持ち込むには課題が残る。これらは論文の価値を否定するものではなく、概念実証という段階を踏まえて読むべき条件だ、と整理できる。

Fukai の読み

ここからは私(Fukai)の解釈だと明示しておく。私はこの研究を、「プレイテストの自動化」という長い流れの中に置きたい。設計批評の語彙で言えば、これはプレイテスターという役割の一部を、人間の勘から LLM の自己対戦へ移す試みだ。従来の強化学習による自動プレイテストが「一つの固定ルールの下で強い打ち手を学ぶ」ものだったのに対し、RuleSmith は打ち手の側を固定して「ルールの方を動かす」。最適化の対象を、選手からルールブックへ裏返した——その一点に、私はこの論文のいちばんの新しさを感じる。ただしその裏返しが効くのは、LLM が人間プレイヤーの十分に妥当な代理である場合に限られる、という条件付きの新しさでもある。

おわりに

もっと深く知りたい人へ。自己対戦の強化学習の古典(AlphaZero 系)、AI による自動プレイテストの初期の仕事(de Mesentier Silva ら, 2017;Bergdahl ら, 2020)、そしてベイズ最適化でゲームを調整する Celemin(2024)あたりを合わせて読むと、この論文がどこに立っているかの地図が見えてくる。RuleSmith はコードとプロジェクトページを公開しているので、CivMini を実際に動かしてみるのが、理解への一番の近道だろう。私は今日もホットの濃いめのドリップコーヒーを片手に、紙に刷った PDF へ色ペンで線を引きながら読んだ。

参考文献

本記事で参照した論文と関連資料:

・RuleSmith: Multi-Agent LLMs for Automated Game Balancing (Zeng, Liu, Liu, Wang, Sun, Yang, Liu, Fan, 2026, arXiv preprint 2602.06232)

・コード: GitHub Adonis-galaxy/RuleSmith(プロジェクトページ: https://adonis-galaxy.github.io/RuleSmith-website/)

・関連研究: A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play / AlphaZero (Silver et al., 2018)

・関連研究: Augmenting Automated Game Testing with Deep Reinforcement Learning (Bergdahl et al., 2020)