Munk et al.: 小さな言語モデルでゲームのテキストを動的生成する — Fukai が読む

一段落要約

大規模言語モデル(LLM。大量の文章で学習し、次に来る言葉を予測して文章を作る AI)でゲーム内のテキストを動的に作らせる試みは盛んだが、実務には壁がある。クラウド上の巨大モデルに頼ると単独プレイのゲームが常時オンライン必須になり、運用費は読めず、サーバ停止で将来遊べなくなる恐れもある。この論文が提案するのは逆方向だ。巨大な汎用モデルを一つ抱えるのではなく、ごく小さなモデル(SLM、Small Language Model)を「狭い仕事ひとつ」に絞って徹底的に微調整(fine-tuning。既存モデルを特定の用途に追加学習で慣らすこと)し、それらを組み合わせて使う。

著者らは概念実証として DefameLM という一つの SLM を作り、中世 RPG の「評判をめぐる争い」というゲームループ全体を、この一つのモデルだけで回してみせた。プレイヤーが集めた情報をもとに、街に貼る中傷ビラ(プロパガンダ)を生成する仕事である。結論を先に言えば、10 億パラメータの小さな土台モデルでも、用途を絞って訓練し「合格するまで作り直す」方式を足せば、家庭用 PC 上でおおむね数秒という実用的な速さで十分な品質に届いた。本記事は、この一本を論文を開かずに要点が掴めるよう解説する。

はじめに

取り上げるのは Morten I. K. Munk、Arturo Valdivia、Paolo Burelli の三氏による「High-quality generation of dynamic game content via small language models: A proof of concept」である。所属はコペンハーゲン IT 大学(IT University of Copenhagen)で、Munk 氏はゲーム開発スタジオ Raw Power Labs にも籍を置く。発表媒体は arXiv のプレプリント(arXiv:2601.23206、2026 年 1 月公開)であり、現時点では査読(peer review。専門家が掲載前に内容を吟味する手続き)を通った確証は取れていない。この点は最初に断っておく。

私がこの一本を今日選んだのは、扱っている問いが「研究者の関心」と「現場でゲームを作る人の困りごと」のちょうど重なる場所にあるからだ。生成 AI をゲームに入れたい開発者の多くは、品質よりもまず「オフラインで動くのか」「ランニングコストはいくらか」「ゲームの寿命をクラウド業者に握られないか」で足が止まる。この論文はその実務的な不安に正面から答えようとしている。

背景

これまでの流れを整理しておく。生成 AI でゲームの台詞やクエストを作る研究は数多いが、巨大 LLM をそのまま使うと「世界観の一貫性が保てない」という壁にぶつかってきた。著者らが引く先行研究では、最新クラスの LLM にテキストアドベンチャー『Zork I』を遊ばせても、世界の状態をうまく把握して目標を立てることができなかったと報告されている。NPC の何気ない雑談(開発者の用語で「バーク」)ですら、文脈から外れてしまうことがあるという。

その対策として近年注目されているのが「エージェント的(agentic)」な構成だ。これは、複雑な仕事を小さな下位タスクに分け、それぞれを別々のモデル呼び出しに担当させる発想である。たとえば NPC の意思決定を「最近の出来事を要約する」「心理状態を評価する」「最終的な台詞を書く」に分割する。ただし著者らは、エージェント化しても中身が巨大なクラウド LLM のままなら、オンライン必須・費用が読めない・サーバ停止リスクという根本問題は原理的に消えない、と指摘する。

そこで本論文は、分割という方向は正しいとした上で、各ノードの中身を「巨大 LLM の呼び出し」から「狭い仕事に特化させた小さなモデル」に置き換える。SLM は短く文脈の明確な創作なら LLM や人間の書き手に匹敵しうるという報告もあり、追加学習のしやすさ・端末内動作・低コストという点で、ゲームへの組み込みに向くというのが著者らの読みである。

アプローチ / 方法

提案の核は「特化した小さなモデルを、有向非巡回グラフ(DAG。矢印で結ばれ、ぐるぐる循環しないネットワーク状の流れ図)のように繋いだ網」である。各ノードが「ある目的の生成」「情報の取り出し」「ゲーム状態の書き換え」といった狭い役割を一つだけ担う。鍵は徹底した専門化で、一つのモデルに何でもやらせず、難しい仕事ほど範囲を狭め、訓練データへの密着度(どれだけ学習例を真似るか)を高める。著者らはこれを「創造性と一貫性のトレードオフ」と呼び、データの多様さと過学習の度合いという二つのつまみで制御できると述べる。

概念実証の題材が DefameLM だ。舞台は、軍事や謀略で評判と権力を競う中世 RPG。プレイヤーは潜入・賄賂・盗み聞きなどで相手の弱みとなる情報(intelligence)を集め、それを「品行の怪しい筆耕」に渡すと、街に貼る中傷ビラが生まれる。モデルが受け取るのは、送り手と標的の属性、二つほどの暴露ネタ、狙う客層(農民か貴族か衛兵か)、そして「字が読めない」「服のセンスが悪い」といった揶揄の角度。出力は 500 文字以内のビラ本文で、送り手を持ち上げ標的をけなす。評判スコアの増減自体は AI を使わず決め打ちで処理する設計だ。

訓練データは前述の DAG 方式で人工的に作る。出身国・性格・派閥といった要素を、条件付きのリストから選んだり大きな「教師」モデル(ここでは ChatGPT-4o)に書かせたりして組み合わせ、世界設定に根ざした入力を量産する。こうして 1800 件の入出力ペアを生成し、1440 件で学習・360 件で評価に充てた。土台モデルは Llama 3.2-1B(10 億パラメータ級)で、LoRA(Low-Rank Adaptation。モデル全体ではなく小さな追加部品だけを学習させ、安価に特化させる手法)で微調整している。

実行時には「合格するまで作り直す(retry-until-success)」という素朴な戦略を採る。温度(temperature。出力のばらつき具合を決める値)を 0.75 に設定し、一度失敗しても作り直すうちに当たりが出る、という発想だ。合否の判定には「LLM を審査員に使う(LLM-as-a-judge)」方式を用い、七つの観点すべてに合格して初めて合格とする厳しめの基準を置いている。

発見

主要な結果は品質・サイズ・速度の三点だ。まず品質。教師である ChatGPT-4o の合格率は 98% とほぼ満点。これに対し微調整した小さなモデルは、16-bit 版で 92.5%±1.2%、8-bit 版で 94.2%±1.2% と、教師にかなり迫る(数値は論文の第 4.1 節)。16-bit と 8-bit の差は統計的に区別できず(マクネマー検定で p=0.41)、著者らは 8-bit を「そのまま置き換え可能」と結論づけている。一方で最も荒く圧縮した 4-bit 版は 78%±2.2% と明確に品質が落ちた。

次にサイズと速度。圧縮の度合いを変えると、メモリ使用量は 16-bit が 2.48GB、8-bit が 1.32GB、4-bit が 808MB。著者らは家庭用 GPU(VRAM 8GB が一般的)で重いゲームと同居させるには 2GB 以下が望ましいとし、8-bit と 4-bit がその範囲に収まると述べる。1 トークンあたりの生成速度は 4-bit が 3.6 ミリ秒、16-bit が 16 ミリ秒で、4.5 倍の差がついた(論文の Table 1)。

そして実用上の肝である「成功までの時間」。作り直しを含めた中央値は、4-bit が 2.1 秒、8-bit が 2.5 秒、16-bit が 4.8 秒(論文の Table 2)。16-bit と 8-bit はほとんどの入力で 2 回以内に成功する。注目すべきは、4-bit は 1 回あたりの合格率こそ低いのに、生成が速いぶん「やり直してもなお最速」だった点だ。RTX 3070(VRAM 8GB)という普通のゲーミング PC での計測である。

ただし著者らは 4-bit に一つ注意を添えている。難しい入力(50 問中 21 問)に絞って各モデルの苦手の傾向を調べると、16-bit と 8-bit は「同じ問題でつまずく」傾向が強い(順位相関 ρ=0.84)のに対し、4-bit は両者との相関が弱く(ρ=0.40 と 0.30、統計的に有意でない)、別の壊れ方をしているように見える、というのだ。圧縮を進めるほど、たまに思わぬ入力で深く転ぶ危険があることを示している。

使いどころ

ゲームを作る人にとっての持ち帰りを、具体例で挙げる。第一に「ゲームループに固定した動的生成」。もし自分が、決まった型の対話やイベント(交渉、酒場の噂、手配書、評判の操作)を中核に据えた作品を作っているなら、その一場面だけに特化した小さなモデルを一つ仕込むのは現実的だ。範囲が狭いほど安く訓練でき、品質も安定する——これが本論文の最も実務的な教訓である。

第二に「オフライン・単独プレイへの組み込み」。クラウド LLM はゲームを常時オンラインにし、運用費とサーバ寿命の不安を生む。もし自分が、買い切りで長く遊べるシングルプレイ作品を目指すなら、端末内で動く 1GB 前後のモデルは、その不安をまるごと外せる。著者らは llama.cpp ベースの SDK を Unreal 5 と Unity に直接組み込んだと述べており、既存エンジンへの接続も視野に入っている。

第三に「思い切った圧縮+作り直し」という運用の型。もし自分がハイパーカジュアルや、グラフィックで VRAM を食う作品を作っていて、AI に割けるメモリが少ないなら、4-bit まで圧縮して 1 回あたりの精度を捨て、生成の速さと『合格するまで作り直す』で取り返す、という割り切りが効く。ただし前節の通り、4-bit は稀に深く転ぶので、合否判定の仕組みは丁寧に作る必要がある。

第四に、生成そのものより「データ作りの設計図」が流用できる。DAG でリスト選択と自動生成を組み合わせ、世界設定に根ざした学習例を量産するやり方は、SLM を使うかどうかに関わらず、自前のゲーム向けデータセットを安価に育てる手順として参考になる。出力を「暴露ネタ→客層への訴え→送り手の自賛」と構造化して、プレイヤーが解禁した要素を必ず文面に出す工夫も、報酬感のある生成テキストを作るうえで真似できる。

限界

まず著者自身が認めている弱点から。最大のものは「実行時の品質判定」だ。本論文の合否は、クラウドの ChatGPT-4o を審査員に使って下している。つまり『合格するまで作り直す』を本当に端末内だけで完結させるには、軽い判定器を端末側に用意する必要があり、それは今後の課題として残されている(失敗例が少なすぎて判定器の学習データが偏る、という難しさも著者は挙げている)。

評価手法そのものにも著者は留保をつける。訓練と審査の両方に同じ ChatGPT-4o を使うと身内びいきの偏りが入りうること、そして合否という粗い物差しは細かなニュアンスを取りこぼすことだ。実際、手作業で見比べると、合否では同点でも 16-bit のほうがより『洗練されて』感じられた、と著者らは率直に書いている。最終的な創作の良し悪しには人の目(human-in-the-loop)が要る、という立場である。出力を構造化したことで文面がやや単調・反復的になった点も認めている。

Fukai がここで指摘するのは、これがあくまで「中世の中傷ビラ」という一種類のゲームループ・一つのモデルでの概念実証だという点だ。論文の主張も慎重に『単一の SLM が一つのループを回せる』ところまでで、複数の SLM を DAG で繋いだ本来の構想は、まだ実証されていない。加えて、扱う題材が中傷・プロパガンダという倫理的に重い領域であること(著者らも倫理的配慮の必要に触れている)、そしてプレイヤーが実際に楽しいと感じるかという人を対象にした検証が無いことは、現場で採用を考えるなら頭に入れておきたい。訓練の教師が GPT-4o である以上、開発の段階ではなおクラウドに依存している点も、完全なオフライン化とは別の話として残る。

Fukai の読み

ここからは私の解釈だと明示しておく。私はこの研究を、ゲーム AI における『大きいほど良い』への静かな反証として位置づけたい。設計批評の語彙で言えば、これは生成 AI を『万能の語り部』としてではなく、特定のゲームループに噛み合う『専用部品』として鋳直す試みだ。汎用 LLM の自由さを削り、範囲・構造・教師データで縛ることで、皮肉にも一貫性と運用しやすさを取り戻している。自由を捨てることで使えるものになる——制約こそがデザインだ、という古くからのゲームデザインの教えと、きれいに響き合う一本だと私は読んだ。

おわりに

もっと深く知りたい人へ、地図になりそうな関連研究を挙げておく。LLM の計画・推論の限界そのものに関心があるなら、本サイトでも紹介した SokoBench(倉庫番で長い先読みを測る試み)が対になる。物語生成と DAG・感情の起伏という観点では、著者らも引く Wen らの『All Stories Are One Story』が参考になる。SLM をエージェントの基盤に据える流れの背景としては、著者らが引く NVIDIA の『Small Language Models are the Future of Agentic AI』を併せて読むと、なぜ今あえて小さく作るのかという地図が見えてくるはずだ。

最後にもう一度だけ。本記事で引いた数値はすべて原文(プレプリント)の記載に拠っており、私の推測で丸めた箇所はない。査読前の一本であること、そして概念実証の段階であることを踏まえて、過度に一般化せず読んでいただければと思う。私はホットの濃いめのコーヒーを片手に、紙に刷ったこの論文へ何本も線を引きながら読んだ。

参考文献

本記事で参照した論文と関連資料:

・High-quality generation of dynamic game content via small language models: A proof of concept (Munk, Valdivia, Burelli, 2026, arXiv preprint)

・関連研究: SokoBench: Evaluating Long-Horizon Planning and Reasoning in Large Language Models (Monti et al., 2026)

・関連研究: Small Language Models are the Future of Agentic AI (Belcak et al., 2025)