Gould & Ward et al.: パズルの難易度を「人間の所要時間」で測る — Fukai が読む

一段落要約

「このパズルはどれくらい難しいか」を数値で言うのは、思ったより難しい。手筋の数を数えるのか、正答率を測るのか、星を三つ付けるのか。この論文が採る答えは素朴だ — 人間が解くのにかかる時間である。Dewi Gould と Francis Rhys Ward を筆頭著者とする二十数名のチーム(Redwood Research、Astra Fellows Program ほか)は、43 のベンチマーク・3万問超に「人間の所要時間」を付け、その時間軸の上に AI モデルの成績を並べた。付けられた所要時間は 0.5 秒から 15 時間超までにわたる。

論文の本来の目的はパズルではなく AI 安全性だ。彼らが測るのは「モデルが考えを文章として外に書き出さずに、どれだけ推論できるか」。結果は、思考を書き出さない状態で 50% の正答率を保てる課題の人間所要時間が、この6年で約 373 日ごとに倍増し(95% 信頼区間 167〜691 日)、最新の GPT-5.5 で約3分に達したというものだった。ただ私がこの論文を今日選んだのは、その結論よりも、そこに至る過程で彼らが組み立てた「難易度を人間の時間で測る道具立て」が、パズルを作る側にそのまま持ち帰れるからである。

はじめに

論文は「Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models」。Dewi Gould と Francis Rhys Ward が同等の筆頭著者で、以下 Anders Cairns Woodruff、Rauno Arike ら二十数名が名を連ねる。所属は Redwood Research、Astra Fellows Program、Aether Research、MATS Research、カタルーニャ工科大学、インペリアル・カレッジ・ロンドン、ケンブリッジ大学、シカゴ大学、ダラム大学、MIT、オックスフォード大学、グラスゴー大学、Constellation にまたがる。arXiv:2606.07157v1、分野は cs.AI、2026年6月5日の投稿である。論文自身が冒頭で「Preprint」と明記しており、査読を通ったものではない。出て間もないので、まだ広く議論されている段階でもない。この二点は読むときの前提として押さえておきたい。

私がこの論文を今日選んだ理由を正直に書いておく。ふだん私は毎朝 arXiv の cs.HC と cs.AI の新着を眺めてパズル寄りの論文を探すのだが、今日はその棚が薄かった。代わりにこの論文が目に留まったのは、ベンチマークの一覧にニューヨーク・タイムズのクロスワード、数独、Lichess のチェス・パズル、KenKen、Puzzle Baron の論理パズル、そしてロンドン塔課題(Tower of London。円盤を並べ替えて目標配置に至る、計画能力を測る古典的な心理学課題)が並んでいたからだ。パズルの難易度を大真面目に数値化しなければ成立しない研究であり、その部分だけを取り出しても読む価値がある。なお以下は私が本文で確認できた範囲だけを書く。付録 D にある各ベンチマークの細部は、取得した本文に含まれていなかったので踏み込まない。

背景

なぜ「時間」なのか。AI の能力を測るとき、ベンチマークの正答率は便利だが、比較の軸としては脆い。難易度の違うベンチマーク同士を並べられないし、「85% 取れた」が人間に対して何を意味するのかも分からない。そこで Kwa ら(METR)が提案したのが、50% 課題完了時間地平(time horizon。以下 TH)という考え方である。あるモデルが 50% の確率で成功する課題を、人間なら何分かけて解くか。それを一つの数値にする。単位が「分」になるので、専門外の人にも意味が伝わる。

この考え方は、実はパズルの世界で既に暗黙に使われてきたものだ。数独アプリの「やさしい/ふつう/むずかしい」は、突き詰めれば所要時間の分布に付けた呼び名である。クロスワードの愛好家は解答時間を記録して自分の腕を測り、他人と比べる。つまり「人間の所要時間」は、パズル文化の中では最も古く、最も素朴な難易度の単位だと言っていい。この論文はそれを AI 評価の側に持ち込んだ。

分かっていなかったのは、その素朴な単位をどれだけ厳密に扱えるかである。人間の所要時間は問題ごとに大きくばらつき、誰が解いたかで変わる。そして多くの問題には、そもそも人間の記録が存在しない。この論文の方法論上の貢献は、その不確かさを消さずに、測定値に付いた誤差として最後の結論まで持ち回った点にある。著者自身、これを自分たちの中核的な貢献の一つだと書いている。

アプローチ

まず全体像。43 のベンチマーク、3万問超。英国 AI Security Institute の Inspect というテスト実行の枠組みに載せている。ベンチマークは三種類に分かれる。答えだけを短く出す課題、コードや文章を生成する課題、そして道具呼び出しを繰り返す複数ターンの課題だ。本文の主な分析は、このうち短答型の 32 ベンチマークに絞られている。評価対象は GPT-2(2019年)から GPT-5.5(2026年)までの14モデル。1問あたり8回、温度0.7で試行する。

no-CoT の意味を先に説明しておく。CoT(Chain-of-Thought、考える過程を文章として書き出させる手法)を封じる、ということだ。プロンプトと少数例で「考えを書かずに答えだけ出す」よう仕向け、それでも5%を超える出力に途中の推論が混じってしまう場合は、出力形式を構造的に縛る。つまりここで測られているのは、モデルが頭の中だけで(論文の言葉では latently、潜在的に)どれだけ推論できるかである。安全性側の動機は明快だ。もしモデルが考えを書き出さずに複雑な推論をこなせるなら、その思考過程を読んで監視する手法が効かなくなる。

そして人間の所要時間をどう付けたか。ここが本記事の要点だ。43 のうち 20 ベンチマークには既存の人間の所要時間データがある。残りのうち12ベンチマークについては、17名の専門家参加者を募り、733問分の挑戦を集めた。そのうえで、Claude Opus 4.7 に同じ分野の(問題、所要時間)の組を最大50個見せて、残りの問題の所要時間を推定させている。この推定の精度は、実データがある20ベンチマークで検証された。最良のプロンプト設定で MALR(mean absolute log ratio、実測と推定の比を対数にとって絶対値で平均した指標。桁が違う課題を横並びに評価できる)が 0.55 で、論文はこれを「平均して約1.7倍ずれる」と言い換えている。残る11ベンチマークは、専門家の経験則と言語モデルの推定に頼っている。

誤差の持ち回し方も具体的だ。彼らは推定時間と実測時間の関係を、対数の空間で一つの正規分布として当てはめる(対応する組は1075件)。そのうえで階層ブートストラップ(データを何段階かに分けて復元抽出し直し、推定のばらつきを見る手法)を1万回まわす。抽出し直す対象は、ベンチマーク、その中の問題、1問あたりのモデル試行、そして人間の所要時間そのものの四つ。最後の一つ、つまり「人間の時間の推定にも誤差がある」ことを織り込んだ点が従来手法との違いだ。数式を使わずに言えば、成功率を所要時間の対数に対してなめらかなS字曲線で当てはめ、その曲線が 50% を横切る位置を TH と呼ぶ、という作りである。

難易度の軸をもう一つ用意しているのも面白い。人間の時間に依存しない目安として、彼らは「推論トークン地平」を導入する。ある問題を解くのに、基準となる推論モデル(12候補から選ばれた o3-mini)が最低いくつの思考トークンを必要とするか。同じ問題に8回挑ませ、正解した試行のうち最小のトークン数を取る。人間の時間と違い、この軸の誤差は織り込まれていない。

発見

主結果はこうだ。思考を書き出さない状態での 50% 時間地平は、6年間で 373 日ごとに倍増している(95% 信頼区間 167〜691 日、R² = 0.84)。個別の値としては、GPT-4 が約 0.9 分、Sonnet 3.7 が約 1.1 分、Opus 4.7 が約 2.8 分、GPT-5.5 が約 3.0 分(論文 Figure 5)。推論トークン地平のほうは 437 日ごとの倍増(信頼区間 341〜571 日、R² = 0.92)で、GPT-4 が 290 トークン、Sonnet 3.7 が 584 トークン、Opus 4.7 と GPT-5.5 がともに約 1,500 トークンである。二つの軸は対数空間で密接に、ただし完全ではなく相関する(傾き約 0.85、R² 約 0.95)。

思考を書き出す場合との差も報告されている。Kwa らが報告した CoT ありの時間地平の倍増は182日で、no-CoT のそれはおよそ2倍遅い。この差が開き始めるのは GPT-4 の登場からだと論文は述べている。将来については、中央値の傾きを延ばすと2028年に約7分(範囲4〜30分)、2030年に約28分(範囲9〜615分)。範囲の広さを見れば分かるとおり、著者自身がこの外挿の不確かさを強く留保している。

パズルを作る者に一番効く数値は、実は付録にある。彼らは「課題の所要時間が2倍になると失敗のオッズが何倍になるか」をベンチマークごとに測っている(Figure 13)。大半の(モデル、ベンチマーク)の組でオッズ比は2前後、つまり所要時間が倍になると成功確率がほぼ半分になる。しかし数独と N-hop 参照課題はこの値が際立って大きく、並びの上端に位置する。逆にチェス・パズルやクロスワードは下側にある。時間軸での傾きの中央値は 1.03、トークン軸では 0.64 で、論文はこれを踏まえて「人間の所要時間のほうが、問題ごとの難易度の識別力が強い」と述べている。同じ「所要時間が倍」でも、ジャンルによって崖の急さがまったく違うということだ。

頑健性の検証も丁寧だ。誤差モデルを二区間に分けて当てはめ直しても倍増時間は368日(169〜720日)でほぼ変わらない。生成課題を足すと397日、複数ターンの道具使用課題まで足すと319日。分野別には数学・科学が246日、言語・推論が387日と幅があるが、著者は「示唆的だがノイズが大きい」と留保している。オープンウェイト35モデル(1B〜1T)の追加実験では、時間地平を2倍にするのに総パラメータ4.2倍、層の数1.3倍が必要だった。層の数なら密なモデルと Mixture-of-Experts(専門家混合。問題ごとに一部の部品だけを使う構造)で傾きがほぼ同じだが、総パラメータ数では密が2.2倍、MoE が8.1倍と大きく異なる。

余談。「....」のような意味のない詰め物トークンを入れても no-CoT の正答率はほぼ変わらないが、問題文をもう一度繰り返すだけで一部のベンチマークでは10〜20ポイントの改善があった。

使いどころ

一つめ。難易度ラベルの単位を「中央値の所要時間」に置き換える。もし自分が日替わりパズルを作っているなら、難易度は内部ソルバの手数ではなく、実プレイヤーの所要時間の中央値で定義したほうが読者に通じる。そして論文の作り方を真似て、完答率を所要時間の対数に対してS字曲線で当てはめると、「うちの読者の 50% が完答できるのは何分の問題までか」という一つの数値が出る。難易度の呼び名を勘で決めるかわりに、この数値で管理できるようになる。

二つめ。難易度カーブの急さを自分のジャンルで測る。論文の「所要時間が2倍でオッズが何倍」の分析は、そのままパズルジャンルの性格診断に使える。数独型の急な崖なら、レベルを細かく刻まないとプレイヤーは一気に落ちる。クロスワード型の緩い斜面なら、多少雑に刻んでも体験は連続する。もし自分が倉庫番系を作っているなら、まずこの傾きを自前のログで測って、レベル段階の刻み幅をそれに合わせるのが筋だろう。同じ「難易度5段階」が、ジャンルによって粗すぎたり細かすぎたりする理由がここで説明できる。

三つめ。実測ログを少数だけ見せて言語モデルに所要時間を推定させ、その推定を「約1.7倍ずれる前提」で使う。新作パズルを100問作ったが実プレイデータがまだない、という状況(いわゆるコールドスタート)はよくある。論文の手順は、自前のログから(問題、実測時間)の組を50個ほど選んで少数例として見せるだけだ。ただし出てくるのは1.7倍の誤差を持つ数値なので、最終的な難易度表示に使うのではなく、「明らかに難しすぎる問題を弾く」「レベル順の下書きを作る」といった仕分けに使うのが妥当だと私は考える。

四つめ。リーダーボードの前提を見直す。思考を書き出さないモデルが、人間なら約3分かかる課題を 50% の確率で当てる。これはハイパーカジュアルの日替わりパズルの多くが射程に入る長さだ。「AI を使っていない」ことを前提にしたランキングを運営するなら、この地平が毎年ほぼ倍になっているという事実は無視できない。逆に、AI と一緒に解く前提の部門を最初から用意しておく、という設計もありうる。

五つめ。コールドスタート時の第二の難易度軸として推論トークン数を使う。手元の推論モデルに8回挑ませて「正解に至った最小の思考トークン数」を測れば、それ自体が難易度の目安になる。論文が「人間の時間のほうが識別力が強い」と述べている点は踏まえるべきだが、生成したレベルを並べ替える暫定の順序としては十分だろう。

限界

まず著者が認めている弱点。第一に、no-CoT の測定は「考えを書かせない」誘導のやり方に依存する。とくに短い答えや1トークンの答えを要求することは、最近の推論モデルにとって普段と違う状況(out-of-distribution)であり、そのために潜在的な推論能力と倍増速度を系統的に低く見積もっている可能性があると著者自身が書いている。第二に、この測定は潜在的な推論と、記憶や経験則によるパターン照合を、きれいに区別できていない。したがって得られた地平を「内部の熟慮の深さ」の直接測定と読んではいけない、と論文は明言している。あくまで「推論を外に出さずに解ける課題の難しさ」を数値化したものだ、と。

Fukai がここで指摘するのは、「人間の所要時間」の中身が一枚岩ではない点である。ニューヨーク・タイムズのクロスワードの所要時間は、xwstats のような場所に自分の記録を投稿する愛好家の集団から来ている。Lichess のチェス・パズルは、レートの付いたプレイヤーの記録だ。数独は Wang(2024, IEEE Access)の、人間のプレイヤーが体験した難易度指標つきのデータセットである。それぞれ立派なデータだが、背後にいる人間の分布はまったく違う。論文の目的(AI と人間の相対比較)ではこの混在はある程度許容できるにせよ、パズルを作る側が同じ数値を借りるときは注意が必要だ。あなたの読者の中央値は、解答時間を毎日記録するクロスワード愛好家ではない。

Fukai がもう二点。一つ、50% 時間地平は一つのスカラーであり、付録の傾き分析が示すとおりジャンルごとの構造をかなり圧縮してしまう。「3分」という数値の内側に、数独型の崖とクロスワード型の斜面が同居している。二つ、この研究が測っているのは所要時間であって、面白さではない。時間は難易度の代理指標としては良いが、体験の良さの代理指標にはならない。長くかかるパズルが良いパズルだとは、この論文はどこにも書いていない。加えてデータセットは将来の学習データへの混入を防ぐため公開されておらず(著者に請求する形)、査読前の preprint で被引用もまだほとんど積み上がっていない。数値は「今のところの見積もり」として読むのが正しい。

Fukai の読み

ここは私の解釈である。私はこの研究を、AI 安全性の論文としてではなく、「難易度の計量」という古い問題に新しい作法を持ち込んだ論文の系列に位置づけたい。設計批評の語彙で言えば、これは難易度表示の自動化ではなく、難易度という測定行為そのものの誠実化に近い。彼らがやったのは、人間の所要時間という素朴な単位を捨てずに、そこへ誤差の構造を与え、その誤差を最後の結論まで持ち回ったことだ。「この問題は約4分」ではなく「約4分、ただし平均して1.7倍ずれる」と書く。パズルを作る現場でこれをやっている例を、私はあまり知らない。難易度は星の数で表示され、その星がどれくらい信用できるかは表示されない。この論文の一番輸出可能な部分は、3分という数値でも 373 日という数値でもなく、その隣に必ず区間が書いてある、という書き方の作法だと私は読んだ。

おわりに

もっと深く知りたい人へ。時間地平という枠組みそのものは Kwa ら「Measuring AI Ability to Complete Long Software Tasks」(arXiv:2503.14499)が出所で、そちらを先に読むと本論文が何を足したのかがはっきり見える。分野ごとに時間地平がどう変わるかは METR のブログ記事が短くまとめている。評価を実際に走らせる枠組みとしては、英国 AI Security Institute の Inspect が公開されている。

パズル側の資料も挙げておく。数独の難易度を人間の体験から測ったデータセットは Wang(2024, IEEE Access)にあり、これは本論文が使っている元データでもある。クロスワードの解答時間の分布なら xwstats、チェス・パズルなら Lichess の公開データベースが出発点になる。この三つを眺めるだけでも、「難易度を時間で測る」という発想がパズル文化にどれだけ深く根を張っているかが分かる。

参考文献

本記事で参照した論文と関連資料:

・Think Fast: Estimating No-CoT Task-Completion Time Horizons of Frontier AI Models (Dewi Gould, Francis Rhys Ward et al., 2026, arXiv preprint arXiv:2606.07157)

・関連研究: Measuring AI Ability to Complete Long Software Tasks (Kwa et al., 2026) — 時間地平の枠組みの出所

・関連研究: A Dataset of Sudoku Puzzles With Difficulty Metrics Experienced by Human Players (Sheng-Wei Wang, 2024, IEEE Access 12:104254-104262)

・How does time horizon vary across domains? (METR, 2025)

・Inspect AI (UK AI Security Institute) — 本論文が評価を走らせた枠組み

・データ出典: XW Stats (NYT クロスワードの解答時間統計) / Lichess puzzle database