TAG
#reinforcement-learning
0 レビュー · 11 エッセイ
関連エッセイ
Wang et al.: パズルのソルバーを一手ごとの先生にする — Fukai が読む
Yu Wang らによるゲーム AI の論文。長手数パズルで最後の勝敗しか報酬がない問題に対し、専用ソルバーが返す「ゴールまでの残り手数」の減り方を一手ごとの評価に変換して学習に混ぜる。Sokoban・Minesweeper・Rush Hour の三種平均で成功率を 16.6% から 62.1% へ、未学習難易度で 5.9% から 28.4% へ引き上げた。ソルバー問い合わせのコストは学習時間の 100 万分の 73 程度。
Ponnock & Ho: マリオ 1-1 の「順番」には、測れる教育効果があった — Fukai が読む
Jesse Ponnock と Lucas Ho による強化学習とレベルデザインの論文(arXiv preprint、査読前)。スーパーマリオブラザーズのワールド 1-1 をタイル格子として実装し直し、内容を固定したまま 6 区画の順序だけを入れ替えて学習させたところ、オリジナルの順番が収束最速・学習効率最高・破滅的失敗ゼロの唯一の条件だった。ただしこの順序効果はモンテカルロ法では現れ、再生バッファを持つ DQN では完全に消える。
Wang ら: Tetris Block Puzzle の難易度を強い AI の学習速度で測る — Fukai が読む
台湾・陽明交通大学と中央研究院のグループによる、スマホで人気の Tetris Block Puzzle の難易度を測る arXiv プレプリント。ルール変種の難しさを、強い AI(Stochastic Gumbel AlphaZero)がどれだけ速く高得点まで学習できるかで評価し、手札やプレビューを増やすと易しく、ブロック形状を追加すると難しく(T-pentomino が最大)なることを示した。
Earle et al.: レベル設計を「1人の作業」から「複数エージェントの協働」に組み替える — Fukai が読む
Earle らによる強化学習レベル生成(PCGRL)の論文。1体のエージェントが盤面を編集する従来手法を、複数エージェントが手分けして同時編集するマルチエージェント問題に組み替え、エージェントを増やすほど生成の質・未知の盤面への一般化・計算効率が上がることを、迷路とダンジョンの二領域で示した。
Bhaumik et al.: WFC と強化学習を縫い合わせて「遊べて綺麗な」レベルを作る — Fukai が読む
Bhaumik らによる手続き的レベル生成の論文。「見た目は良いが遊べない」WFC と「遊べるが汚い」強化学習の弱点を、WFC の局所ルールで強化学習の行動を絞り込む WCRL で解こうとし、ロードランナーで見た目と遊べることを両立したレベルを生成した。
Li et al.: 記号ソルバーを審判にして幾何問題を「検証可能」に解く — Fukai が読む
Can Li らによる幾何問題解決(GPS)の arXiv プレプリント。図と文の問題を記号ソルバーが実行できる形式へ翻訳し、行き詰まりでは補助的な補題を提案してソルバー自身に検証させる SD-GPS を提案。要旨によれば Geometry3K・PGPS9K で既存手法を一貫して上回ったという。解けることを保証するパズル生成への応用を Fukai が読む。
Sestini et al.: AAA ゲームの NPC を強化学習で「本物らしく」する — Fukai が読む
Electronic Arts の研究チームによる vision 論文。AAA ゲームの NPC を強化学習で改良できるかを、EA SPORTS FC 25 のゴールキーパー位置取りと Battlefield 6 の歩兵移動という2つの実例で検証し、制作現場で RL を使うために満たすべき7つの要件を整理する。RL は既存のゲーム AI を置き換えるのではなく補強する道具だ、と結論づける。
Aryan et al.: 行き詰まると世界が変わる——静的なRL環境を「適応の試験場」に変える AbideGym — Fukai が読む
Abide AI の Aryan らによる強化学習の環境設計の論文(preprint)。訓練環境が最初から最後まで固定だとAIがもろくなる問題を、プレイ中にAIの「手が止まったこと」を引き金にルールや地形を変える AbideGym で扱い、覚えた手順を崩して立て直しを促す設計と既存手法との比較を示した(実験結果は未掲載)。
Özkan: レベルを生成する AI と攻略する AI を一緒に育てる — Fukai が読む
Miraç Buğra Özkan による、強化学習でレベル生成と攻略を同時に学ばせる論文。Unity 上でハチドリ(攻略役)と浮遊島(生成役)の2体を互いの成績を見ながら学習させ、未知レイアウト100種で約90.2%の攻略成功率に到達した。
Jara Gonzalez & Guzdial: 敵の「形」を、動きで倒せる関門として自動生成する — Fukai が読む
Jara Gonzalez と Guzdial による敵モーフォロジー(当たり判定の形)生成の論文。「特定の動きでだけ倒せる敵」を 4×4 グリッド上で生成する問題を、強化学習・A*探索・ニューラル生成の三手法で扱い、素朴な A* 到達可能性ルールが最良のゲート性能と多様性を最小コストで示した。
Feng et al.: AIは「意表を突く」チェスパズルを作れるか — Fukai が読む
Google DeepMind を中心としたチームによる、AI で創造的なチェスパズルを生成する研究。Lichess のデータで訓練した生成モデルを強化学習で調整し、「意表を突く」パズルの生成率を 0.22% から 2.5% へ約10倍に高めた。創造性を機械が測れる数値に落とす手つきが読みどころ。
