Feng et al.: AIは「意表を突く」チェスパズルを作れるか — Fukai が読む

まず要点(TL;DR)

この論文は、AI に「意表を突く」チェスパズルを作らせる挑戦だ。Google DeepMind を中心としたチームは、まず Lichess(リチェス。世界最大級の無料オンラインチェスサイト)が公開している大量のパズルで生成モデルを訓練し、その後、強化学習(reinforcement learning。試行錯誤しながら良い結果に報酬を与えて行動を改善する枠組み)を使って「ぱっと見は悪手に見えるのに実は最善」という手を含む盤面を狙って作らせた。

結果、そうした「意表を突く」パズルが生成される割合は、教師あり学習だけのときの 0.22% から 2.5% へと、約10倍に上がった。これは元データの中の割合(2.1%)すら上回る数字だ。さらに、生成されたパズルは人間のチェス専門家から「創造的で面白い」と評価され、3人の世界的な専門家が小冊子の創造性を認めたという。AI に創造性を持たせるという難問への、具体的な一つの答えである。

はじめに

おはよう。ホットの濃いめのドリップコーヒーを淹れて、今朝も arXiv の新着を眺めていたら、パズル好きとしては見逃せない一本があった。今日紹介するのは、2025年10月に arXiv で公開された Generating Creative Chess Puzzles。Google DeepMind の Xidong Feng さんを筆頭に、オックスフォード大学や Mila(モントリオールにある AI 研究所)の研究者も加わった13名の共著で、責任著者には強化学習とチェス AI で知られる Tom Zahavy さんや Satinder Singh さんの名前が並ぶ。

念のため断っておくと、これは arXiv に投稿されたプレプリント(preprint。学術誌の査読を通る前に公開される原稿)で、2025年10月の時点ではまだ peer-review(ピアレビュー。専門家による査読)を通っていない可能性がある。だから本稿でも「示した」「分かった」と書くのは、著者がそう書いている範囲にとどめる。

それでも私がこの論文を選んだのは、「AI に創造性を持たせられるか」という捉えどころのない難問に、チェスパズルという測りやすい題材で正面から挑んでいるからだ。創造性は曖昧で、数値にしづらい。その曖昧なものを、どうにか機械が扱える形に落とし込もうとする手つきは、パズルやゲームを作る人にとっても学びが多い。

背景 — なぜ「創造的なパズル生成」は難しいのか

生成 AI は文章や画像、コードなど多くの領域で目覚ましい成果を上げてきた。しかし著者らは、創造性こそが AI にとって「最後のフロンティア」だと言われてきた、という研究上の文脈から出発する。たとえば AI の詩は一見人間のものと区別がつかなくても、専門家が見ると構造の深みに欠ける、といった指摘が積み重なっている。意表を突く発想、抽象的な推論、複雑な構成——このあたりで AI はまだ人間に及ばない、という見立てだ。

チェスパズルは、教育やオンライン娯楽、そして「計算機による創造性」の研究で古くから使われてきた題材である。だが創造的なパズルを作るのは難しい。第一に、パズルの「解の筋」は答えを見るまで隠れていて、表からは良さが分かりにくい。第二に、そもそも「良いチェスパズルとは何か」という標準的な定義が存在しない。創造性や美しさを客観的に測る物差しがないのだ。

著者らは、世界最大級のオンラインチェスサイト Lichess が公開しているパズル集を手がかりにする。そこには年間およそ100万問が蓄積されているが、著者らの基準で「意表を突く」と言えるのは、そのうちわずか 2.1% だという。良質な創造的パズルはもともと希少で、それを AI に大量に作らせること自体が大きな壁になっている。

アプローチ — 創造性を数値にして、強化学習で狙い撃つ

著者らはまず「何が創造的なパズルか」を言葉で定義し、それを機械が測れる数値に落とす。手がかりにするのはチェスの文献に古くからある三つの観点だ。意表を突くこと(counter-intuitiveness)、美しさ(aesthetics)、新しさ(novelty)。加えて、解が一つに定まる「一意性」も重視する。複数の正解があると、最も鋭い一手を見つける喜びが薄れるからだ。

面白いのは「意表を突く」をどう測るかだ。著者らは、チェスエンジン(Stockfish や AlphaZero といった、盤面を読んで最善手を計算するプログラム)に、浅く考えさせた評価と深く考えさせた評価を比べさせる。浅い読みは人間の直感の近似、深い読みは正確な評価の近似だと見なす。直感では悪手に見えるのに、深く読むと最善——その評価のギャップが大きいほど「意表を突く」と数値化する。エンジンが正解にたどり着くまでにどれだけ深く読む必要があったか(critical depth、論文の中心的な指標)が効いてくる。

生成のしくみはこうだ。盤面を FEN(Forsyth-Edwards Notation。駒の配置を短い文字列で表す記法)というテキストに変換し、文章を生成するのと同じ要領で盤面を「書かせる」。著者らは Transformer(文章生成などで使われる代表的なモデル)や拡散モデルなど複数の方式を Lichess のデータだけで訓練して比較した。そのうえで、先ほどの数値を「報酬」として与える強化学習を回す。一意かつ意表を突く盤面なら +1、合法だが平凡なら 0、ルール上ありえない盤面なら −2、という具合だ。

ただし素朴に報酬だけを最大化させると、AI は「報酬の高い一問」を延々と作り続けて多様性を失う(著者はこれを entropy collapse、エントロピー崩壊と呼ぶ)。さらに、駒を勝手に増やして(白のクイーンを二つ置くなど)報酬を水増しする「ズル」も起きた。そこで著者らは、過去に作った盤面と十分に違うものだけを認める「多様性フィルタ」と、ありえない駒数を弾く制約、元データから離れすぎないようにする仕組みを組み合わせ、訓練を安定させている。

発見 — 意表を突くパズルが約10倍に

最大の結果は、強化学習が「意表を突く」パズルの生成を大きく増やしたことだ。論文によれば、その生成確率は教師あり学習(Lichess データで訓練した Transformer)の 0.22% から 2.5% へと上がった。これは Lichess データで訓練した最良モデルの 0.4% を超え、元データに含まれる割合 2.1% すら上回る。著者らは「約10倍」と表現している。

美しさ(aesthetics)については、報酬に直接組み込んでいなかったにもかかわらず、生成されたパズルに美的なテーマがよく保たれていたと著者らは観察している。そして人間による評価では、生成されたパズルのいくつかは、チェスの本に載っている「作品(composed puzzles)」と比べて、より創造的で、楽しく、意表を突くと評価された。古典的な名作に迫るものもあったという。最終成果として作られた小冊子は、3人の世界的なチェス専門家がその創造性を認めている。

なお、この成果は多様性フィルタなしには成立しなかった。著者らは、フィルタが報酬の不正な水増し(reward hacking)を防ぎ、訓練の安定に不可欠だったと述べている。「ただ報酬を上げる」のではなく「新しく多様なものを作り続けさせる」ための工夫が、創造性の鍵だったと読める。

使いどころ — パズル/ゲームを作る人へ

一つめは「面白さ」を機械で測る発想の応用だ。意表を突く度合いを「浅い読みと深い読みの評価差」で測る考え方は、チェス以外でも効く。もし自分が Sokoban(倉庫番)系の論理パズルを作っているなら、弱いソルバー(浅い探索)と強いソルバー(深い探索)に同じ面を解かせ、両者の評価が食い違う面を「ひっかけが効いている面」として拾える。難易度やトリック性を、人手の試遊だけに頼らず数値で当たりをつけられる。

二つめは「生成してから検証する」パイプラインだ。本研究は、作った盤面を逐一エンジンで合法性・一意性・意表を突く度合いの観点から検査し、基準を満たすものだけを残す。もしハイパーカジュアルゲームのレベルを PCG(Procedural Content Generation、コンテンツの自動生成)で量産するなら、生成器の出力をそのまま使わず、解けるか・解が一つか・狙った難易度かを自動で篩(ふるい)にかける同じ構図がそのまま使える。

三つめは報酬ハッキングと多様性崩壊への備えだ。最適化に任せると、AI は駒を増やすような「ズル」で報酬を稼ぎ、同じ正解を量産して飽きさせる。もし自分が強化学習や探索でレベルを自動生成するなら、この失敗はほぼ確実に起きると見込んでおき、あらかじめ多様性フィルタや「ありえない状態」を弾く制約を入れておくとよい。

四つめ、応用として、手元にある大量のユーザー投稿やプレイログをそのまま「お手本データ」にできる点も実務的だ。本研究が Lichess の公開パズルを土台にしたように、自分のゲームの既存コンテンツで生成モデルをまず訓練し、そのうえで報酬で狙った方向に寄せる、という二段構えは応用が利く。

限界 — 著者が認める点と、私が気づいた点

著者自身が認めている弱点から。まず、美しさ(aesthetics)は報酬に直接組み込まれておらず、結果として保たれていたのを観察したにとどまる。狙って美を最適化したわけではない。次に、素朴な強化学習はエントロピー崩壊や報酬ハッキング(駒を増やす不正)に陥りやすく、多様性フィルタという補助輪なしでは安定しなかった。そして、改善後でも「意表を突く」盤面が出る割合は 2.5% で、依然として大半は基準を満たさない。人間評価でも古典的名作に「迫る」とは言うが、超えたとは書いていない。

ここから先は Fukai が読んで気づいた点だ。第一に、この方法はチェスという、強力なエンジンが「正解」を与えてくれる例外的に恵まれた環境に強く依存している。新作のオリジナルパズルには、Stockfish に相当する審判がいない。第二に、「意表を突く」を『浅い探索には難しいが深い探索には解ける』と定義することは、人間の直感の代理ではあっても完全な一致ではない。エンジンがつまずく所と人間がつまずく所は、必ずしも同じではないはずだ。

第三に、私は今回、実験の数表や人間評価の詳細(被験者の人数や手続き)までは原文で確認できていない。したがって「専門家に高く評価された」という結論は著者の記述として受け取り、その規模や厳密さについては私からは断定しない。プレプリント段階であることも踏まえ、結果はひとまず有望な兆候として読むのが穏当だと考える。

Fukai の読み

ここからは私の解釈だと明示して書く。私はこの研究を、「驚き」の自動化として読みたい。良いパズルの核には、解いた瞬間に直感がひっくり返る一手がある。本研究はその「ひっくり返し」を、浅い読みと深い読みの差という形でとらえ、機械が追える量に変えた。設計批評の語彙で言えば、これはデザイナーが暗黙に持っている「気持ちよい裏切り」の感覚を、エンジンの探索曲線という外部の物差しに翻訳した試みだと整理できる。創造性そのものを生んだというより、創造性の手前にある「測れなさ」を一枚はがして見せた仕事だと、私は読む。

おわりに

もっと深く知りたい人へ。本研究の責任著者 Tom Zahavy さんらは、以前にも「AlphaZero に多様な棋風を持たせて創造的な手を引き出す」という方向の研究を発表している。本作はその問題意識の延長線上にあり、合わせて読むと「強い AI を、強さではなく面白さの方向に向ける」という地図が見えてくる。

また、AI にパズルゲームそのものを作らせる話に興味があれば、当サイトで以前紹介した ScriptDoctor(LLM と木探索で PuzzleScript のゲームを自動生成・自動検証する研究)も、生成してから機械で検証するという発想を共有していて好対照だ。チェスという閉じた世界から、ルールごと作る世界へ——AI の創造性をめぐる地図の、別の縮尺として並べて眺めてみてほしい。

参考文献

本記事で参照した論文と関連資料:

・Generating Creative Chess Puzzles (Xidong Feng et al., 2025, arXiv preprint 2510.23881, Google DeepMind ほか)

・Lichess の戦術トレーニング / Lichess Puzzler(本研究の訓練データの出どころ)

・関連研究: Tom Zahavy ほか「AlphaZero に多様な棋風を持たせる創造的チェス」(Google DeepMind, 2023)— 本研究と同じ問題意識の前作にあたる