Ponnock & Ho: マリオ 1-1 の「順番」には、測れる教育効果があった — Fukai が読む

一段落要約

スーパーマリオブラザーズのワールド 1-1 は「レベルそのものがプレイヤーに操作を教える」設計の手本として、長いあいだ語られてきた。この論文はその語りを、強化学習(reinforcement learning。試行錯誤を繰り返しながら、報酬が高くなる行動を少しずつ覚えていく枠組み)のエージェントを使って測定しようと試みたものである。著者らはワールド 1-1 をタイル単位の離散環境として一から実装し、複雑さの異なる 3 バージョンで 4 種類の学習アルゴリズムを比較した。

結果、最も強かったのはモンテカルロ法で、敵ありの完全版で勝率 94.9% ± 1.5%。深層 Q ネットワーク(DQN)は 76.4% ± 3.4% にとどまった。さらに著者らはレベルを 6 区画(A〜F)に分け、区画の順番だけを入れ替えた 12 条件で学習させている。オリジナルの順番は収束が最も速く、学習効率が最も高く、10 シード中で破滅的な失敗がゼロだった唯一の条件だった。逆順は勝率 48.5% ± 39.7%、10 シード中 4 つが完全に学習に失敗している。

著者らはこれを「ワールド 1-1 の正統な順序が、偶然では再現できない教育的構造を持つことの、我々の知る限り初めての実証」と位置づけている。ただしこれは arXiv preprint(2026 年 6 月投稿、まだ査読を通っていない段階)であり、被験者は人間ではなく学習エージェントである。

はじめに

取り上げるのは Jesse Ponnock と Lucas Ho(いずれも Johns Hopkins University)による “Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1”(arXiv:2606.29511)。arXiv に投稿された preprint であり、記事執筆時点で会議やジャーナルの査読を通ったという記載は本文になく、まだ広く議論されていない段階の論文として読む必要がある。

私がこれを今日選んだ理由は単純で、ゲームデザインの世界で最も繰り返し語られてきた民間伝承のひとつを、正面から測定しにいっているからだ。「1-1 は最初にクリボーを 1 匹だけ置き、次に土管、次に穴、最後に階段と敵の密集を出す。だからプレイヤーは自然に操作を覚える」という説明は、宮本茂本人のインタビューを含めて何度も語られてきた(論文も参考文献 [9] としてそのインタビューを引いている)。だが、それが本当に順序の効果なのか、単によくできたレベルに後付けされた物語なのかは、著者らの言う通り正式に検証されたことがなかった。

この論文の面白さは、検証の道具として人間ではなく学習エージェントを使った点にある。人間で同じ実験をやろうとすると、既にマリオを知っている、疲れる、順番の記憶が持ち越される、といった問題が山ほど出る。エージェントなら区画の順番だけを変えて 10 回ずつ真っさらから学習させられる。もちろん代償として、得られた結論が人間にそのまま当てはまるとは限らない。この点は後の節で丁寧に扱う。

背景

カリキュラム学習(curriculum learning。易しい例から難しい例へと順序をつけて学習させると、同じデータでも学習が速く安定するという考え方)は、機械学習では Bengio らの 2009 年の論文以来おなじみの発想だ。一方ゲームデザインの側では、チュートリアルを明示せずレベル構造そのもので教える「暗黙のチュートリアル」が長く実践されてきた。この二つは表現が違うだけで同じことを言っているように見えるが、両者を突き合わせた定量的な検証はほとんどなかった。

手続き的コンテンツ生成(PCG、Procedural Content Generation。ステージやアイテムをアルゴリズムで自動生成する技術)の分野では、Dahlskog と Togelius が 2012 年にワールド 1-1 をデザインパターンの集合として分解しており、論文もこれを踏まえている。ただしパターンの抽出と、そのパターンの並び順に効果があるかの検証は別の話だ。前者は「何が置かれているか」の分析であり、後者は「どの順で出会うか」の分析である。

もうひとつの背景として、強化学習の実務では「状態空間が大きければ深層学習、小さければ表形式(テーブルに値を書き込む古典的な手法)」という選び方が定石になっている。著者らはワールド 1-1 が本質的にタイル格子であることを利用して、表形式が近似ではなく厳密になる条件を作った。つまり DQN が勝つとしたら、それは必要に迫られてではなく一般化の恩恵によるはずだ、という比較の土俵を先に整えている。

アプローチ

著者らはゲームエンジンも強化学習ライブラリも使わず、212 × 14 タイルの格子としてワールド 1-1 を Python で書き起こしている。バージョンは 3 つ。v1 は地面・土管・穴・ゴール前の階段だけの静的な版。v2 はそこに壊せるレンガとハテナブロックを NES 準拠の位置で足したもの。v3 はさらに敵 17 体(クリボー 16、ノコノコ 1。挙動は同一に扱う)を、マリオの 3 分の 1 の速度・重力・連鎖的な出現・踏みつけ判定つきで足したものだ。

行動は 3 つだけ ―― 静止、右へ移動、ジャンプ(接地時のみ)。左移動は意図的に外されている。ゴールは常に右にあり、左を足すと状態空間と探索の負担が大きく増えるためで、著者らはゴール報酬 +100 が寄り道の利得を上回るとも書いている。ジャンプは 6 段階の固定した弧を描き、空中で水平方向だけ操作できるので、跳ぶ距離は変えられるが高さは変えられない。原作の可変ジャンプを落とした大きな簡略化である。

報酬は、ゴール到達 +100、死亡(穴か敵)−50、右へ 1 歩 +0.5、静止 −0.1、レンガ破壊 +1、ハテナブロック +3、クリボー踏みつけ +5。右へ進む報酬は、レベル走破分の合計がおよそ 49.5 になるよう調整されていて、ゴール報酬とほぼ同格になる。これは即死する退化した方策も、ゴールを無視して報酬を稼ぎ続ける方策も避けるための設計だと説明されている。

比較したのは Q 学習、SARSA、モンテカルロ法(first-visit。エピソードが終わってから、その回に得た総報酬をまとめて各状態に書き戻す手法)、そして DQN(Q テーブルの代わりにニューラルネットで価値を近似し、過去の経験を貯めた再生バッファから無作為に取り出して学習する手法)の 4 つ。各条件を 1 万エピソード、5 シードで学習させ、カリキュラム実験の正順・逆順だけは 10 シードに拡張している。

発見

まずアルゴリズム比較。v1 と v2 では表形式の 3 手法がいずれも 98.8% 以上の勝率に届く。差が出るのは敵を入れた v3 で、モンテカルロが 94.9% ± 1.5%、Q 学習が 86.5% ± 2.7%、SARSA が 84.4% ± 5.6%、DQN が 76.4% ± 3.4%(Table 3)。モンテカルロの優位は Welch の t 検定で Q 学習に対し p = 0.0008、d = 3.85、DQN に対し p = 0.0001、d = 7.04 と報告されている。

この差は数字だけでなく振る舞いにも出ている。モンテカルロは 1 エピソードあたりレンガ 4.05 個・ハテナブロック 5.20 個を叩くのに対し、Q 学習は 1.33 と 3.96。著者らはこれを更新の仕組みの違いで説明する。時間差(TD)系の手法は「その状態から先の期待値」を局所的に伝播させるのでゴールへの最短経路を好むが、モンテカルロは勝った軌跡上のすべての行動に、その回の総報酬をまとめて足す。だから道中で拾った +1 や +3 も一緒に評価され、寄り道を含む豊かな戦略が自然に立ち上がる、という読み筋だ。

DQN の挙動は質的に違う。v1 で勝率 10.6% ± 3.7% と壊滅し、しかも安定しない。著者らはこれを再生バッファの偏りで説明する ―― 中間報酬がほとんどない v1 では死亡遷移(−50)がバッファを埋め尽くし、正の信号が枯渇する。v2 でハテナブロック(+3)が全域に散らばると 93.4% ± 1.2% まで回復した。ここから著者らは「報酬密度を、状態空間の大きさと同格の第一級の選択変数として扱うべきだ」と主張している。v3 での DQN は敵の撃破が 1 エピソードあたり 1.38 回(表形式は 3.28〜3.78)で、敵を報酬源ではなく回避対象として一般化した慎重な方策になった、と説明される。

そして本題のカリキュラム実験。レベルを 6 区画に分け、内容(敵数・穴数・ブロック数)は完全に同じまま順序だけを変えた 12 条件をモンテカルロで学習させた。正順は勝率 94.7% ± 1.6%、50% 到達 2771 ± 133 エピソード、学習曲線の下面積(AUC)67.2% ± 2.0%、破滅的失敗 0/10。逆順は 48.5% ± 39.7%、50% 到達 6586 ± 2865、AUC 27.5% ± 22.8%、失敗 4/10。ランダム 10 通りの平均は 89.0% ± 8.9% で両者の中間に位置する(Table 4)。正順と逆順の差は勝率で p = 0.005、d = 1.64、収束速度で p = 0.0023、d = 1.88 と報告されている。

ランダム条件の内訳が示唆的だ。最良のマップ 3(B→E→C→D→F→A)は 95.2% で正順と統計的に区別できない一方、マップ 6(B→E→D→C→F→A)は 64.5% まで落ちる。両者の違いは、9 匹のクリボーが密集する区画 D をいつ出すか、それだけである。著者らは「D を 2 番目や 3 番目に、緩やかな前置きなしで置く並びは早期の破滅的失敗を招きやすい」と書いている。そして DQN で同じ 12 条件を回すと順序の効果は完全に消える(一元配置分散分析で F(2,57) = 0.19、p = 0.82、η² = 0.007)。再生バッファが一様サンプリングで時間的な順序情報を消し去るためだ、というのが著者らの説明である。

使いどころ

第一に、難易度スパイクの位置を測る道具として使える。この論文がやったのは「内容を固定して順番だけ入れ替え、学習の速さと失敗率を見る」という操作だ。もし自分が Sokoban ライクや脱出パズルを作っているなら、既に作った 6〜8 個のステージ群の順序をランダムに並べ替えて、素朴なソルバーやプレイテスト用ボットを毎回まっさらから走らせればいい。ある区画を早い位置に置いた途端に失敗率が跳ね上がるなら、その区画がゲーム全体の難易度スパイクである。区画 D に相当するものを、自分の作品の中から名指しできるようになる。

第二に、指標の取り方を変えるヒントになる。著者らが正順の優位を示すのに使ったのは最終勝率だけではない ―― 収束エピソード数、学習曲線の下面積(AUC)、そして「破滅的失敗を出したシードの数」の 3 つを併記している。実際、最終勝率だけを見るとランダムのマップ 3 は正順と区別できない。プレイテストのログを見るときも、平均クリア率だけでなく「何回目の試行でクリア率が立ち上がったか」「一定割合のプレイヤーが完全に詰まったか」を分けて記録すると、順序の良し悪しが見えやすくなる。この論文はその 3 点セットの実演になっている。

第三に、報酬密度の話はそのままフィードバック密度の話に翻訳できる。DQN が v1 で壊れて v2 で回復した理由は、道中に +3 が散らばったからだった。ハイパーカジュアルの PCG でレベルを自動生成しているなら、「難所と難所のあいだに、小さな成功が確実に起きる区間がどれだけあるか」を生成制約として明示的に入れる価値がある。逆に言えば、失敗以外に何も返ってこない長い区間は、学習する主体がエージェントでも人間でも危険だという読みが立つ。

第四に、プレイテスト用 AI の選び方に直接効く。DQN では順序の効果が完全に消えた。もしチュートリアルの並び順を自動評価したくて、再生バッファを持つ手法のボットを使ったら、どんな並びでも同じスコアが返ってきて「順序は関係ない」という誤った結論に到達しうる。順序を評価したいなら、エピソード単位で更新する手法(モンテカルロ系)のように、経験の時間的な順番を保持する学習器を選ぶ必要がある。これは実務でかなり効く、具体的な注意点だと思う。

限界

まず著者自身が明示している点。この論文には独立した Limitations 節がなく、限界は Discussion と Conclusion に散らばっている。著者らは、SARSA と Q 学習をカリキュラム実験に含めていないため、ステップ単位の TD 手法が順序に対してどの程度敏感かは未解決だと書いており、DQN が表形式を確実に上回るようになる複雑さの境目も今後の課題としている。また DQN のハイパーパラメータは v1 上での経験的な調整で決めたと明記されている。

ここから先は Fukai がここで指摘する点である。最も大きいのは、これがエージェントの学習効率の話であって、人間の学習の話ではないという点だ。モンテカルロ法が順序に敏感なのは、エピソードが終わるまで更新しないという実装上の性質に由来する。人間のプレイヤーは死んだ瞬間に「あ、穴に落ちた」と局所的に学ぶので、更新の構造がそもそも違う。著者らは「教育的構造の実証」と書いているが、それはモンテカルロ的な学習器にとっての教育的構造だと読むのが正確だと思う。

第二に、順列空間 720 通りのうち検証されたのは 12 条件、ランダムは 10 通りだけである。「偶然では再現できない」という主張の根拠がこの 10 サンプルなのは、やや心もとない。実際そのうちマップ 3 は勝率で正順と区別できていない。著者らの主張は「3 基準すべてを同時に満たすランダムはなかった」という限定つきのもので、この限定は記事を読む側も落とさないほうがいい。

第三に、環境の簡略化が小さくない。左移動なし、ジャンプは高さ固定の 6 段階、ノコノコをクリボーと同一視、という 3 点はいずれも原作のワールド 1-1 が教えている操作の一部を消している。とくに可変高ジャンプは 1-1 が序盤で教える中心的な技能のひとつだ。それが環境に存在しない状態で「1-1 の教育的構造」を測っている、という留保は要る。最後に細かい点だが、3.2.3 節の本文で逆順条件の勝率が正順と同じ 94.7% ± 1.6% と書かれている箇所がある。Table 4 と前後の記述から明らかに 48.5% ± 39.7% の誤記で、preprint 段階の校正漏れだろう。数値を引用するときは表を見るのが安全だ。

Fukai の読み

私はこの研究を、レベルデザイン批評の語彙が測定装置に翻訳された事例として位置づけたい。「1-1 は教えている」という言い方は長らく批評の言葉であり、その正しさは説得力によって支えられてきた。この論文がやったのは、その主張を「区画の順序だけを操作したときに、学習曲線の立ち上がりと破滅的失敗の数が変わるか」という反証可能な形に書き換えることだ。結果として、順序の効果は確かに観測されたが、同時に「効果が出るのは特定の更新機構を持つ学習器に対してだけ」という条件つきであることも見えてしまった。私はこの二つ目の発見のほうが射程が長いと読む。順序の教育的効果は学習者の内部構造に依存する、という言い方ができるなら、それは同じレベルが誰にとって良い教材かはプレイヤーの学び方次第だ、という設計上の問いに繋がるからだ。

おわりに

もっと深く知りたい人には、まず論文自身が引いている Dahlskog と Togelius の “Patterns and Procedural Content Generation: Revisiting Mario in World 1 Level 1”(2012)を勧めたい。今回の 6 区画分割がどんな下地の上に立っているかが分かる。カリキュラム学習の側からは Bengio らの 2009 年の原典が短くて読みやすい。

順序ではなく難しさそのものの測定に関心があるなら、当サイトで以前扱った Wang らのテトリス難易度の論文や Shyne らの論理グリッドパズル難易度の論文と並べて読むと、「難しさは中身にあるのか、出会う順番にあるのか」という同じ問いを別角度から見ることになる。今回の論文は、その問いに対して「順番にもある。ただし誰にとってかによる」と答えた一本として、私の手元のメモに残った。

参考文献

本記事で参照した論文と関連資料:

・Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1 (Jesse Ponnock, Lucas Ho, 2026, arXiv preprint arXiv:2606.29511)

・同論文の HTML 全文(本記事の引用はすべてこの版を参照)

・関連研究: Patterns and Procedural Content Generation: Revisiting Mario in World 1 Level 1 (Dahlskog & Togelius, 2012, DPG '12)

・関連研究: Curriculum Learning (Bengio, Louradour, Collobert & Weston, 2009, ICML)

・関連研究: Human-level control through deep reinforcement learning (Mnih et al., 2015, Nature 518:529-533)

・gym-super-mario-bros (Kautenja, 2018) — 報酬設計の参照元として論文が引用