Gao & Dubé: プレイヤーが作った算数ゲームの面を、機械が下読みする — Fukai が読む

一段落要約

子ども向けの算数ゲームに「作成モード」を付けると、上手なプレイヤーが面を作って投稿してくれる。教える側にとってこれはありがたい。練習用の面はいくらあっても足りないからだ。ところが投稿が増えると、今度は「この面を他の子に配って大丈夫か」を人間が一つずつ確かめる作業が追いつかなくなる。

McGill 大学の Jie Gao と Adam K. Dubé は、この下読みを機械にやらせてみた。専門家が作った 86 面とプレイヤーが作った 120 面、合わせて 206 面から、盤面に何がいくつ置かれているかを数値にして、公開に値する面かどうかを予測する分類器を学習させている。

4つの手法を比べた結果、ランダムフォレストがいちばん取りこぼしが少なかった。ただし著者自身が「予備的な結果」と繰り返し断っている段階の論文であり、掲載先の記載も無い。私はこれを、完成した道具の報告ではなく「投稿された面をさばく仕組みを作るなら、どこから手を付けるか」の設計メモとして読んだ。

はじめに — 誰が書いた論文か

取り上げるのは「Personalizing Mathematical Game-based Learning for Children: A Preliminary Study」(子ども向けの算数ゲーム学習を個別化する — 予備的研究)である。著者は Jie Gao と Adam K. Dubé の二人。どちらもカナダ・モントリオールの McGill 大学の所属で、論文には jie.gao3@mail.mcgill.ca と adam.dube@mcgill.ca が印刷されている。

掲載先の明記が無い。本文にも脚注にも会議名やジャーナル名は出てこない。私が読んだのは arXiv に置かれた版(arXiv:2603.25925v1)で、識別番号の頭4桁から 2026 年 3 月の投稿と分かる。したがって本記事では、この論文を「査読を確認できていない preprint」として扱う。著者らも本文の中で「これは予備的な発見であり、さらなる検討が必要だ」と自ら書いている。

それでも今日この論文を選んだのは、扱っている問題がパズルサイトを運営する側の実務に、そのまま重なるからである。プレイヤーが面を作れる仕組みを用意すると、必ず「公開前に誰が確認するのか」という壁にぶつかる。この論文は、その壁を機械で少し低くする話を、小さなデータで正直に報告している。プレイヤーが作った試験室が大量に投稿される例として『Portal 2』(Valve)。この論文で扱われている作品ではない。画像は Steam ストアページより。

背景 — 「面が足りない」と「面が多すぎる」は同じ問題

ゲームで算数を学ばせる取り組みは GBL(Game-based Learning、ゲームを使った学習)と呼ばれ、教育の現場ではもう珍しくない。著者らは先行研究を引いて、GBL が批判的思考に対して全体としてはっきりした良い効果を持つこと、そして「遊んでから問題を解く」型より「遊ぶこと自体が計算になっている」型のほうが成績が良いことを紹介している。後者は intrinsic integration(内在的統合。学ぶ内容が遊びの仕組みそのものに埋め込まれていること)と呼ばれる。

問題は、その良い型ほど作るのが大変だという点にある。著者らの言い方を借りれば、面を一つ作るのに専属のデザイナーと何時間もの労力が要る。ところが算数の技能を身に付けるには、積み重ねの練習が何十面も必要になる。質の高い面を、必要な数だけ用意することが、そのまま最大の制約になる。

もう一つ、著者らは既存の学習アプリの「合わせ方」が粗いことを指摘している。先行レビューを引いて、多くのアプリは個々のプレイヤー単位の low-resolution adaptivity(解像度の低い適応。学習者ごとに大きく分けるだけの調整)しか実装していないと述べ、代わりに micro-adaptive(細かい単位で適応する)な設計へ進むべきだと主張する。

この二つを同時に解こうとすると、作成モードは有力な手になる。プレイヤーが面を作れば数は増えるし、作った本人にとっては創造的な練習にもなる。だが著者らが「プレイヤー生成の面を機械学習で選別する研究はほとんど無い」と書いているとおり、増えた面をどう選ぶかは空白のまま残っていた。

アプローチ — 盤面を「置かれた物の数」に翻訳する

舞台は、5歳から10歳の子ども向けに世界で使われている算数の学習アプリである。論文はアプリ名を明かしていない。そのアプリに Creative Mode(作成モード)という機能があり、上達したプレイヤーが自分の発想で新しい面を作れる。

集めたデータは 206 面。内訳は専門家が作った 86 面と、プレイヤーが作った 120 面である。プレイヤーの 120 面のうち、44 面がゲーム会社の専門家に検証され、他のプレイヤーが遊べるものとして選ばれた。残りは外された。この「選ばれたかどうか」が、機械に当てさせる正解ラベルになる。

盤面から取り出したのは、置かれている物の数とそれに付いた値である。論文の言い方では、特徴の個数が 25 種類、それに紐づく値が 12 種類。具体的には、プレイヤーキャラクターとその値、ゴール、物理オブジェクト(氷のブロック、溶岩のブロック、泡、一方通行の足場、ぬるぬるした足場、粘着する足場など)、そして障害物(雲、扉、とげの足場、壊せる壁)といった区分が挙げられている。盤面の絵ではなく、部品表として扱っていると理解すればよい。

そこから先の手続きは手堅い。まず Lasso 回帰(たくさんある変数の中から、効いていないものの重みをゼロに押しつぶして絞り込む手法)で変数を減らす。次に k 近傍法・決定木・サポートベクターマシン・ランダムフォレストの4つを比べる。評価は nested cross-validation(入れ子の交差検証。データを分けて学習と検証を繰り返す手順を二重にして、調整の段階で成績を良く見せてしまう偏りを避ける方法)で行っている。(図解)論文が描く4段の流れ。機械は最後の判断者ではなく、専門家の前に置かれた下読み係である。

発見 — ランダムフォレストが「良い面を捨てにくい」

数字を原文どおりに並べる。まず内側の検証(inner loop)。k 近傍法は正解率 81.42±1.53%、適合率 73.85±3.92%、再現率 65.32±3.13%、F1 66.41±3.53%、ROC-AUC 84.77±4.71%。決定木は 83.89±1.54% / 78.06±3.57% / 73.40±4.72% / 73.63±3.96% / 81.58±3.66%。サポートベクターマシンは 82.42±1.19% / 75.90±3.14% / 66.67±3.23% / 68.11±3.64% / 86.84±2.20%。ランダムフォレストは 82.07±1.37% / 74.43±2.64% / 70.46±2.18% / 71.12±2.27% / 85.86±1.85% である。

外側の検証(outer loop)では順に、k 近傍法 79.90±4.01% / 68.60±10.79% / 62.97±8.19% / 63.66±9.10% / 84.12±8.45%、決定木 82.23±3.88% / 75.45±7.54% / 71.72±7.39% / 71.86±6.60% / 81.69±7.62%、サポートベクターマシン 81.93±2.53% / 74.90±6.93% / 65.52±4.98% / 67.50±5.19% / 86.22±4.87%、ランダムフォレスト 82.42±5.71% / 74.53±8.91% / 72.69±9.75% / 72.70±9.22% / 86.57±6.32%。著者は「試した手法の中でランダムフォレストが総合的に最も良く、再現率と F1 が最も高い一方で全体の識別力も高く保たれた」と書いている。

ここで大事なのはなぜ再現率を重く見るかである。この場面での取りこぼしとは、公開してよかったはずの面を機械が弾いてしまうことだ。混同行列を見ると、ランダムフォレストは専門家が認めた面を捨ててしまう確率が最も低かった。作った子どもの面が理由も無く消える体験は、作成モードにとって致命的である。だから正解率よりも先に、この指標を見ることに意味がある。

もう一つ、Lasso が残した変数の顔ぶれが面白い。効いていたのはプレイヤーキャラクターの数とゴールの数、そして一方通行の足場・足場になる泡・割れる泡の有無だった。著者はこれを、キャラクターとゴールが学習内容を載せる器であり、ゲームとしての構造が壊れていないことが算数の学びの前提になる、と読んでいる。さらに、動かして使える物理オブジェクトのほうが、通せんぼするだけの障害物より効いていたことから、モデルは受け身の壁より「操作して組み立てられる要素」を重く見ていると述べている。

使いどころ — 面を投稿できる仕組みを作るなら

一つ目。投稿の下読みを、通す機械ではなく落とす機械として置く。この論文の型は、機械が公開を決めるのではなく、専門家の前に並べる順番を作る道具である。もし自分が投稿型のパズルを運営するなら、機械には「明らかに壊れている面」だけを後ろに回させ、残りは人が見る。判定を二値にせず、確信度の高い順に並べ替えるだけでも、確認の負担はかなり減る。取りこぼしを嫌う設計思想は、この論文が再現率を重視した理由とそのまま同じである。

二つ目。まず部品表で試す。この研究が使ったのは、盤面の画像でも解の手順でもなく、置かれた物の種類と数だけだった。それで正解率 8 割台に届いている。もし自分が Sokoban 風のパズルを作っているなら、最初に用意すべき特徴量は「箱の数」「ゴールの数」「壁の割合」「押せない位置に置かれた箱があるか」といった、集計で出る値である。ソルバーを回して解の長さを測るのは、その次で間に合う。

三つ目。「壊れていないこと」を最初の関門にする。Lasso が残したのがキャラクターとゴールの数だった、という結果は地味だが実務的である。プレイヤーが作った面で最も多い失敗は、たぶん難しすぎることではなく、ゴールが無い・入口が塞がっている・そもそもクリアできないといった構造の欠落だ。面白さを測る前に、構造の健全さだけを機械に見せる。順番を逆にすると、判定の理由が説明できなくなる。

四つ目。教える目的のゲームなら、部品と学習内容の対応を先に決めておく。この研究で操作できる物理オブジェクトが障害物より効いたのは、そのアプリでは計算や論理の対象になるのが物理オブジェクトの側だからだと著者は読んでいる。学習用の面を選別したいなら、「どの部品が学びを担っているか」を設計段階で表にしておくと、そのまま特徴量の設計になる。遊びの操作そのものが学習内容になっている例として『Human Resource Machine』(Tomorrow Corporation)。この論文で扱われている作品ではない。画像は Steam ストアページより。

限界 — 著者が認めている点と、私が気づいた点

著者が挙げる限界は三つで、いずれも短く率直である。第一に「データセットの規模が手法の比較を制約している」。第二に「作成モードには別の特徴を持つ他のモジュールも含まれている」— つまり今回の 206 面は、作成モードの一部しか代表していない。第三に「これらは予備的な発見であり、さらなる検討が必要である」。加えて、プレイヤーを対象にした調査も、実運用での評価も行われていない。この分類器が実際に子どもの学習を良くしたかどうかは、この論文では何も分かっていない。

Fukai がここで指摘するのは、正解率 8 割台という数字を、単独で受け取らないほうがよいということだ。仮に専門家の作った 86 面をすべて「有効」の側に置いているなら、有効と無効の比率はおよそ 130 対 76 になる。この場合、何も考えず「全部有効」と答えるだけの当てずっぽうでも 6 割強は当たってしまう。論文はこのベースラインを示していない。だから注目すべきは正解率ではなく、そこから離れている再現率と F1、そして ROC-AUC のほうである。

もう一点。外側の検証で数値のばらつきが大きい。ランダムフォレストの F1 は 72.70±9.22% で、標準偏差が 9 ポイント近くある。206 面という規模では、順位が入れ替わってもおかしくない幅だと私は読む。著者が「規模が比較を制約している」と書いたのは、まさにこのことだろう。決定木が内側の検証で正解率も適合率も最も高かったのに、著者がランダムフォレストを推したのは再現率を重く見る運用上の理由があってのことで、統計的に決着がついたからではない。この区別は読み違えたくない。

Fukai の読み

私はこの研究を、レベル生成の自動化ではなく「編集の自動化」の流れの中に置きたい。自動生成の研究が「面を作る仕事」を機械に渡そうとしてきたのに対し、この論文が機械に渡そうとしているのは「作られた面を読む仕事」である。しかも最後の判断は専門家に残したままだ。設計批評の語彙で言えば、これは生成器ではなく門番を作る試みで、投稿文化を支える仕組みとしてはむしろこちらのほうが先に要るのではないか、と私は読んだ。予備的な結果しか無い段階だからこそ、機械の役割を「捨てる係」ではなく「並べ替える係」に留めた設計判断のほうが、数字より長く残る気がしている。

おわりに

もっと深く知りたい人へ。プレイヤーが作ったコンテンツを機械がどう評価するかという筋では、当サイトで紹介した Pfau らのプレイヤー生成コンテンツの研究が近い場所にいる。教える目的のゲームでの足場かけについては Wermann らの論文、子ども向けの学習環境そのものについては KidGym の紹介が地図になる。

「作った面をどう選ぶか」という問いは、突き詰めると「良い面とは何か」を言葉にする作業でもある。その居心地の悪さについては、Petri Purho の哲学を読むと角度が変わる。難易度そのものを機械に測らせる話に進みたいなら Shyne らの論文を、生成側の最新の考え方なら Xu と Verbrugge の HDPCG を合わせて読むと、生成と選別が同じ問題の裏表だと見えてくるはずだ。

参考文献

本記事で参照した論文と関連資料:

・Personalizing Mathematical Game-based Learning for Children: A Preliminary Study (Jie Gao, Adam K. Dubé, 2026, arXiv preprint / arXiv:2603.25925v1)

・同論文の HTML 版(本文・表の数値はこの版から引用)

・Adam Dubé — Associate Professor, Director of the Technology, Learning, & Cognition (TLC) Lab, McGill University(教員ページ)

・記事中の画像は Steam ストアページより。『Portal 2』(Valve)、『Human Resource Machine』(Tomorrow Corporation)。いずれも本論文では扱われていない作品で、話題を説明するための例として引用した。

・流れ図は本記事のために作成した図解であり、論文中の図の複製ではない。