Ahn et al.: パズルの難しさは「見た目」ではなく「概念」に宿る — Fukai が読む

一段落要約

米ボストン大学の Caroline Ahn らが 2026 年 2 月に arXiv へ公開した論文(まだ査読前のプレプリント)を今日は読む。彼らは、AI の抽象推論を測るために作られた ARC(Abstraction and Reasoning Corpus、少数の例からマス目の変換ルールを推測して当てる問題集)を、人間が解く実験用に組み直した「CogARC」を作り、のべ 260 人にグリッドパズルを解かせた。ねらいは正解率だけでなく、人が「どう考え、どこで間違えるか」を一手ずつ記録して可視化することにある。

結論を先に言えば、問題の難しさはマス目の大きさや色数といった見た目ではなく、ルールの概念的な複雑さで決まっていた。さらに人は、間違えるときも「てんでばらばらに」間違えるのではなく、同じ誤答へそろって収束する。パズルを作る側にとってこれは、『難しさは盤面の派手さではなく概念の層で作る』『よくある誤答こそ設計のヒント』という具体的な示唆になる、と私は読んだ。

はじめに

著者は Caroline Ahn を筆頭に、ボストン大学の神経科学大学院・心理脳科学科・システム神経科学センターなどに所属する研究者たちである。発表先は arXiv(整理番号 2602.22408)で、現時点ではプレプリント、つまり正式な査読を通る前の段階だ。この点は最初に断っておきたい(プレプリントというのは、学会や雑誌の審査を受ける前に著者が自分で公開する原稿のこと)。

私が今日この一本を選んだ理由は単純だ。ARC は近年、AI の「推論力」テストとして話題になり続けているが、その問題群は元をたどればマス目に色を塗るグリッドパズルそのものだ。つまりパズル設計の観点から読める素材が、認知科学の道具立てで丁寧に測られている。ゲームを作る人が『難しさとは何か』を考えるときの、めずらしく実証的な地図になると感じた。

もう一つ、この研究を私が割り引きすぎずに読めた点がある。彼らは 40 人の対面パイロット(実験1)と 220 人のオンライン大規模版(実験2)という二段構えで、同じ傾向が再現されるかを確かめている。心理学の知見は「一度きりの派手な結果」を疑ってかかるのが作法だが、内部で追試(同じ手続きをやり直して結果が再現するか確かめること)を踏んでいるぶん、話を素直に追える。

背景

抽象推論の研究は長らく、レーヴン漸進マトリックス(RPM。3×3 の絵の並びから規則を見抜き、空いたマスに入る絵を選択肢から選ぶ知能テスト)のような課題で行われてきた。RPM は流動性知能(その場で新しい問題を解く力。知識の蓄積とは別物)の指標として広く使われる。だが選択肢方式で採点が正誤の二択なので、人が『どう考えたか』の途中経過はほとんど見えない、と著者は指摘する。

そこで登場したのが ARC だ。ARC では、入力と出力の対応例をいくつか見せ、そこに隠れた変換ルールを推測させ、新しい入力に対する正しい出力を自分で描かせる。選択式ではなく自由記述に近いので、人がどんな仮説を立て、どう手を動かし、どこで間違えたかまで追える。ルールの題材は、物のまとまり・数・幾何といった、発達心理学でいう『コア知識』(人が幼い頃から持つとされる、物体・数・空間についての基本的な直感)に根ざしている。

ただし、これまで ARC を人間で調べた研究の多くは、一人あたり数問しか解かせていなかった。そのため『同じ人の戦略が時間とともにどう変わるか』『難しい問題ほど人はどう振る舞うか』『間違えるとき、みんなが同じ答えに収束するのか』という、途中経過の動きはほとんど分かっていなかった。この空白を埋めるのが本研究の狙いである。

アプローチ

著者は ARC の訓練用問題から 75 問を厳選し、人間向けに組み直した課題を CogARC と名づけた。入力と出力でマス目の大きさが変わらない問題だけを選び、3 人の評価者がそれぞれの問題を『物のまとまり・幾何と模様・数と数え上げ・目的志向』の 4 カテゴリに分類し、ルールの複雑さを 1〜3 で採点した(複雑さは、使うコア知識の数と、ルール要素どうしの絡み合いで決めている)。

参加者は左に並んだ入力・出力の例を見てルールを学び、中央の入力に対する答えを右のグリッド編集画面に色を塗って描く。1 問につき最大 3 回まで挑戦でき、そのつど正誤が返る。研究チームは『難易度スコア』を、正解までに要した挑戦回数で 1(一発正解)から 4(3 回とも不正解)までの段階として定義した。さらに、問題を見てから最初に手を動かすまでの時間を『熟考時間』として記録している。

面白いのは、一手ごとの編集操作(どのマスを何色に塗ったか)をミリ秒単位ですべて記録している点だ。これにより、参加者どうしの塗り方がどれだけ似ているかを数値化できる。二人の塗った操作の集合がどれだけ重なるかを比べる指標(重なりの割合を見るジャッカード類似度というもの)を使い、問題ごとに『みんなの解き方が揃っているか、ばらけているか』を測った。この一式を、実験1(40 人・対面)と実験2(220 人・オンライン)の二回にわたって走らせている。

発見

全体として人はよく解けた。実験1の平均正解率は 89.5%(標準偏差 10.2%)、実験2は 80.1%(標準偏差 16.6%、中央値 83.6%、最低 13.7%〜最高 100%)だった。ただしこの高い平均は問題ごとのばらつきを覆い隠している。実験2で最初の一回で半数以上が解けた問題は 78.7% あった一方、9 割以上が一発で解けた問題は 17.3% にとどまり、ほとんど誰も解けない問題も混じっていた(数値はいずれも原文の記載どおり)。

では何が難しさを決めていたのか。難しい問題ほど熟考時間は長く(実験2で相関 r=0.69、p<.001)、みんなの解き方はばらけていた(難易度と編集類似度の相関は r=-0.83、p<.001 と強い負)。一方で、難しさはマス目の大きさ(r=0.05)、色数(r=-0.05)、必要な塗り替え数(r=0.12)とはほとんど関係しなかった。著者は、難しさが見た目や手作業量ではなく『ルールを見抜くこと』そのものに宿っていた、と整理している。

時間による変化も追っている。課題が進むにつれ参加者は最初の一手を出すのが速くなった(熟考時間の傾きは平均 -0.114、統計的に有意)。ところが正解率はわずかに下がった(難易度スコアの傾きは平均 0.005 と小さいが有意)。両者の変化はほとんど連動しておらず(r=-0.12、p=.066)、著者はこれを『速さと正確さを引き換えにした』というより、課題への慣れや軽い疲労による適応と読んでいる。少なくとも、前の問題を解いた練習が後の問題の正解率を押し上げた証拠はなかった、と述べている。

最も示唆的なのは誤答の形だ。自由記述に近いのに、間違え方はてんでばらばらではなく、多くの人が『まったく同じ誤答』に収束した(5 人以上が同一の出力を出したものを共通誤答と数えている)。ある模様補完の問題では、共通誤答に至った人の合計(71 人)が正解者(54 人)を上回った。著者はこれを、人が持つ『変換とはこうあるべき』という直感(コア知識に根ざした帰納バイアス、少ない例から一般化するときの体系的な癖のこと)が、速い学習を助けると同時に、そろって同じ勘違いを生む二面性の表れだと論じている。

使いどころ

ここからはゲーム/パズルを作る人の視点で使いどころを挙げる。第一に、難しさは『概念の層』で作れ、という指針だ。この研究では盤面の大きさや色数は難しさとほぼ無関係で、効いていたのはルールの絡み合いだった。もし私が倉庫番系(Sokoban-like、箱を押して所定の位置に収めるパズル)を作るなら、盤面を広げたり箱を増やしたりして水増しするより、メカニクスどうしが干渉する条件(『同じ色が3つ未満なら塗り替える』のような入れ子の規則)を一枚足すほうが、狙って難易度を上げられる、と読める。

第二に、『最初の一手までの時間』を難易度センサーとして使う手がある。この研究で熟考時間は難しさとよく相関した。勝敗や総クリア時間だけでなく、面を開いてから最初の操作までの沈黙を計測すれば、プレイヤーがどこで詰まっているかを早い段階で拾える。もしハイパーカジュアルの自動生成(PCG、Procedural Content Generation、コンテンツの自動生成)で難易度を動的に調整するなら、この沈黙時間はリアルタイムの手がかりになりうる。

第三に、『よくある誤答』を宝の地図として集めることだ。この研究は、同じ誤答に多くの人が収束する現象を定量化した。あなたのパズルで多数のプレイヤーが同じ間違いに揃って落ちるなら、それはチュートリアルや例示が『もっともらしいが間違った一般化』を後押ししている証拠かもしれない。誤答ログを『5 人以上が同一』のような閾値で束ねて眺めれば、どの例を差し替えれば教え方が直るかが見えてくる。オンボーディング(初回の遊び方を教える導入部)の設計に直結する。

第四に、セッション内での『練習による上達』を当てにしない設計だ。参加者は時間とともに速くはなったが、新しいルールを見抜く力そのものは伸びず、むしろ正解率はわずかに下がった。流動性知能は短期の訓練では動きにくい、という背景とも一致する。2 時間で 75 問という長丁場では疲労の影も見える。難易度カーブや休憩の置き方を考えるとき、『後半は自然に上手くなるはず』という前提は危うい、と受け止めておきたい。

限界

限界も正直に見ておく。まず著者自身が認めている点として、ARC は流動性知能を測る課題であり、練習で伸びる類の技能学習とは別だと解釈している。また 2 時間・75 問という長さゆえに、後半の正解率低下には疲労や動機低下が混じった可能性を認めている。さらに彼らは、入力と出力でマス目の大きさが変わらない問題だけを選んでおり、CogARC が ARC 全体の一部を切り取ったものであること、コア知識の各系を直接測ってはいないこと(結果は『示唆する』にとどまること)も明記している。

ここから先は Fukai が読んで気づいた点だ。実験2の参加者は Amazon のクラウドワーク市場から集めた 18〜35 歳が中心で、97.7% が英語母語だった。ゲームの実際の客層にそのまま当てはめるのは早い。難易度スコアも『挑戦回数』ベースなので、諦めと失敗を同じ土俵で数えている懸念がある。時間による正解率の低下(傾き 0.005)は有意とはいえ非常に小さく、実務的な効果として大げさに読むのは禁物だ。そして繰り返すが、これは査読前のプレプリントであり、内部の追試と H-ARC など先行研究との一致が支えにはなっているものの、確定した知見として扱うのはまだ早い。

Fukai の読み

ここは私の解釈だと明示して書く。私はこの研究を、『パズルの難しさは表層ではなく意味の空間に宿る』という主張の、久しぶりの実証的な裏づけとして受け取りたい。設計批評の語彙で言えば、良い難易度は知覚的(見た目の情報量)ではなく意味的(ルールの概念的な深さ)に作られるべきだ、という古い直感に近い。そして『そろった誤答』の発見は、私にはプレイヤーの帰納バイアスを地図化する試みに見える。誤答は失敗のノイズではなく、人がどんな仮説を先に立てるかの標本だ——ここを設計の入力に回せる作り手は強い、と私は読んだ。

おわりに

もっと深く知りたい人へ。ARC そのものの発想は Chollet の『On the Measure of Intelligence』を読むと土台が掴める。人間の ARC 成績を大規模に測った H-ARC(LeGris ら)や、ルール種別で問題を整理した ConceptARC(Moskvichev ら)を併せて読むと、この分野の地図が立体的になる。ひらめきと探索の話に関心があるなら、以前ここで紹介した Chao らの洞察的問題解決の記事とも地続きだ。データセット自体が公開されているので、手を動かして誤答の束を眺めてみるのが、案外いちばんの近道かもしれない。

参考文献

本記事で参照した論文と関連資料:

・Exploring Human Behavior During Abstract Rule Inference and Problem Solving with the Cognitive Abstraction and Reasoning Corpus(Ahn ら, 2026, arXiv preprint 2602.22408)

・同論文の HTML 版(本文・図表)

・CogARC 行動データセット(Zenodo, CC-BY, DOI:10.5281/zenodo.18177487)

・On the Measure of Intelligence(Chollet, 2019, ARC の原典)

・関連研究(本文で言及): H-ARC(LeGris ら, 2024–2025)、ConceptARC(Moskvichev ら, 2023)——いずれも人間の ARC 成績と誤答構造を扱う研究