AI・生成AI

最高スコアは12%——GDPxが測ったのは、ベンチマークのほうの壊れ方でもあった

イーランサー・ジャパン株式会社
この記事の要点

半導体業界の調査会社SemiAnalysisが2026年11月2日、AIの実務能力を測る新しいベンチマーク「GDPx」を公開しました。チップ設計、金融、法務、材料科学など11の分野で合計206問を用意し、1問あたり最長8時間かけて解かせます。最高点はClaude Opus 5.5の12.0点で、著者自身が「最良のモデルでも12%」と書いています。

注目すべきは順位より採点の作りです。株式の売買戦略を作らせる分野では、儲かった金額ではなく「同じ成績を再現できるか」を統計の手法で判定します。また試験問題の品質を機械的に調べる仕組みを既存の有名な試験に当てはめたところ、そのうちの一つは問題の約50%が壊れていると判定されました。社内でAIの評価の仕組みを持つ場合、こちらのほうが実務に効きます。

用語の説明
  • ベンチマーク/製品やモデルの性能を同じ条件で測り、比べるための共通の試験のことです。
  • モデル/学習の結果を数値のかたまりとして保持したもので、AIの本体にあたるものです。
  • 採点/解答が正しいかどうかを一定の基準で点数に直す作業のことです。

順位表だけを見ると、この公開はモデル比較の話に見えます。しかし中身は採点設計のほうにあります。クオンツ取引を一側t検定で採点し、金融と法務は二値採点が成立しないので部分点にする。そしてパートナー採用時の自動QAを既存ベンチにかけると、Terminal Bench 4.0のタスクの約50%が壊れていると判定されました。社内で評価基盤を持つチームには、こちらが本題です。

要点

何が起きたか

ドメインとタスク数はこうです。

各ドメインにArithmetic、Chakra、LatchBio、Datacurveなどの専門パートナーが1〜3社ついています。

選定基準はGDP構成比ではなく、「今後1〜2年でAIがどれだけ加速させるか」です。ベンチマークとしては珍しい決め方で、経済規模の大きい領域を網羅するのではなく、伸びしろのある領域に偏らせています。

またfinanceとlegalは二値採点だとほぼ全モデルが0になるため、この2ドメインだけ部分点を使います。採点方式がドメインごとに違うという点は、総合スコアを読むときの前提になります。

走らせ方も規定されています。タスクの既定制限時間は8時間、スコアは3試行のpass@1。モデルは原則として自社ハーネスで走らせ、無い場合はOpenCodeを使います。集計はドメイン間とドメイン内パートナー間がいずれも等重みで、タスク数の多いチップ設計がスコアを支配しない設計です。

採点が「一致」から「統計的有意性」に移っている

クオンツ取引はIEX DEEP+の板データ(AAPL、AMD、META、TSLA、クロスアセット信号にQQQ)を使い、8時間で参照戦略を上回ることを求めます。

採点は隠された未来日の日次P&Lについて、参照戦略との一側対応t検定です。p<0.01で1点、p>0.5で0点、間は線形。戦略が参照よりリスクを取った場合、参照側はボラティリティを合わせて引き上げられますが、引き下げられることはありません。

この設計が何を落とすかは失敗例に出ています。

「儲かったか」ではなく「再現するか」を見ると、こうなります。リスクを上げて金額を伸ばした解は、参照側のボラティリティを合わせられたうえで比較されるため、点にならない。ベンチマークの採点式そのものが、「レバレッジで水増ししたリターンを評価しない」という実務上の判断を埋め込んでいます。

同じ考え方は他ドメインにも及びます。金融と法務で部分点を導入したのは、二値で測ると全モデルが0になり差が出ないからです。「できたか/できなかったか」で測れる段階にない仕事をどう採点するかという問題に、このベンチマークは正面から手を付けています。

失敗の内訳が取れる形になっている

ソフトウェアエンジニアリングでは、フロンティアモデルの失敗ロールアウトのうち76%が、主要な要求に紐づく要件——既存挙動の保持やエッジケースの処理——に関わっていました。

著者はモデルが「自分の解を疑うより自己確認的なテストを書きがちだ」と書いています。

環境の忠実度が前提条件になっている

著者はOpenAIのGDPvalを名指しで批判します。

GDPx側は、約4,000ファイルの模擬ディールルーム、実際に量産されたシリコンのデータ、電子顕微鏡やバッテリーサイクラーのシミュレータにモデルを置きます。

安全性分類器がスコアを押し下げている

サイバー、生物学、アライメントの3ドメインで、Opus 5.5とGPT-6 Astraのスコアは安全性分類器によって低下しました。

サイバーでMuse Wonder Fullが最良になった理由を、著者は競合より分類器が弱いことだと書いています。ベンチマークの順位が能力だけで決まっていない、ということです。

一方でサイバーのtime-to-exploitは短くなっています。あるタスクで、GPT-5.5は3時間超を要したのに対し、GPT-5.6は35〜50分で解きました。世代差が実時間で出ています。

なぜ日本でまだ語られていないのか

一次ソースがSemiAnalysisの有料ニュースレターで、公開は2026年11月2日です。無償で見えるのはリーダーボードとドメイン一覧だけで、採点式、QAの内容、ドメイン別の失敗分析はすべて有料本文にあります。

英語圏でも流通しているのは「最高12%」とモデル順位の転載がほとんどで、t検定の採点設計やTerminal Bench 4.0の約50%という数字はほぼ落ちています。日本語の解説は検索した範囲では確認できませんでした。

エンジニアにとって何が変わるか

調達。総合スコアよりドメイン別の順位が効きます。チップ設計のECOタイミングではGPT-6 Astraが平均0.34、Opus 5.5が0.135で逆転しています。総合首位が自社ドメインで首位とは限りません。

安全性分類器が原因でスコアが下がるドメインがある以上、順位をそのまま能力差として読むこともできません。なおタスクあたり平均コストは約$1から$50まで分布します。

設計。社内で評価基盤を持っているなら、Terminal Bench 4.0の約50%という数字のほうが本題です。一貫性・完全性・不正の余地・検証器の妥当性を自動QAで機械的に見る手順自体が転用できます。

既存ベンチのスコアを社内判断に使っているなら、まずそのタスクが壊れていないかを確かめる側に回ることになります。制限時間8時間、3試行のpass@1という設計も相場観として参照できます。

キャリア。長時間・多段・暗黙要件を含む仕事は、まだ人が持っています。

一方でtime-to-exploitの短縮が示すのは、短サイクルで検証可能な作業から順に置き換わるということです。

確認できなかった点

出典

本記事は2026年11月2日時点で公開されている情報に基づいています。一次ソースは有料記事であり、本文の中間部分と結論は直接読めていません。Terminal Bench 4.0の約50%という判定はGDPx著者側のもので、相手側の反応や再現手順は確認していません。モデル別スコアは取得時点のリーダーボードの表示に基づくもので、以後更新されている可能性があります。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方