最高スコアは12%——GDPxが測ったのは、ベンチマークのほうの壊れ方でもあった
半導体業界の
注目すべきは
- ベンチマーク/製品や
モデルの 性能を 同じ 条件で 測り、 比べる ための 共通の 試験の ことです。 - モデル/学習の
結果を 数値のかたまりと して 保持した もので、 AIの 本体に あたる ものです。 - 採点/解答が
正しいかどうかを 一定の 基準で 点数に 直す 作業の ことです。
順位表だけを
要点
- 公開/SemiAnalysis
(Max Kan、 Andrew Megalaa、 Dylan Patel)が 2026年11月2日、 エージェント能力ベンチマークGDPxを 公開した。11ドメイン・206タスク・14の RL環境パートナー で構成される - スコア/
最高はClaude Opus 5.5の 12.0 。Gemini 4 Carbon 10.9、 GPT-6 Astra 9.6と 続く。 著者自身が 「最良の モデルでも 12%」と 書いている - 条件/タスクの
既定制限時間は8時間。 スコアは3試行の pass@1 。モデルは 原則と して 自社ハーネスで 走らせ、 無い 場合は OpenCodeを 使う。 ドメイン間と ドメイン内パートナー間は 等重み - 副産物/パートナー採用時に
課した 自動QA (一貫性・完全性・ 不正の 余地・ 不当な 検証器を 見る)を 既存ベンチに かけると、Terminal Bench 4.0の タスクの と約50%が 壊れている 判定された - 入手性/記事本体は有料で、
無償なのは リーダーボードと ドメイン一覧のみ
何が起きたか
ドメインと
- チップ設計/34タスク
- 金融/24タスク
- 材料科学/23タスク
- ハードウェア設計/21タスク
- 法務/20タスク
- サイバーセキュリティ/18タスク
- アライメント/18タスク
- ソフトウェアエンジニアリング/15タスク
- 生物学/13タスク
- 再帰的
自己改善 /10タスク - クオンツ取引/10タスク
各ドメインに
選定基準は
また
走らせ方も
採点が「一致」から「統計的有意性」に移っている
クオンツ取引は
採点は
この
- リスク1.3倍で
$2,540 /スコアは0.23 - レバレッジ1.15倍・リスク1.46倍/スコアは0
- 全体/111の
採点済みランの うち70が 参照以下
「儲かったか」ではなく
同じ
失敗の内訳が取れる形になっている
ソフトウェアエンジニアリングでは、
- そもそも
着手しなかった /24% - 意図を
読み違えた /23% - 認識は
したが /17%完遂しなかった
著者は
環境の忠実度が前提条件になっている
著者は
- 非対話的である/一度の
やり取りで 終わる - 文脈を
与えすぎる /プロンプトに前提を 詰め込んでいる - ルーブリックが
ノイジー /ゴールドサブセットでの人間同士の一致率が 71% - 情報が
古い /リンクや価格が 古い
GDPx側は、
安全性分類器がスコアを押し下げている
サイバー、
サイバーで
一方で
なぜ日本でまだ語られていないのか
一次ソースが
英語圏でも
エンジニアにとって何が変わるか
調達。総合スコアより
安全性分類器が
設計。社内で
既存ベンチの
キャリア。長時間・多段・暗黙要件を
- 法務/
使える レッドラインを 出せた モデルが 1つも ない (Opus 5.5が 部分点平均44%、 最良ランで 57%) - 金融/Bellwood-QoEタスクは
全モデル未解決で、 最良ランが11チェック中8 - 材料科学/電子回折データからの
トランジスタ再構成を 完遂した モデルが ない
一方で
確認できなかった点
- 本文の
未読部分 /記事本体は有料記事で、 取得できたのは 本文の うち 先頭から 約100,000字と 98,000字以降の 部分である。 中間部分と 結論 セクションは 直接 読めていない。 結論で どう 締めているかは 確認できない - モデル数/20モデルが
コスト図に 含まれると されるが、 リーダーボードの スコア表で 確認できたのは 13モデルである。 残りの スコアは 確認していない - 表示順の
不整合 /リーダーボードの表示上、 GPT-6.1 Sol (8.4)が Claude Fable 5.1 (8.5)より 上に 並んでいる。 取得時点の 表示の 問題か スコアの 丸めかは 判別できない - 約50%と
いう /GDPx著者側の判定 判定であり、 Terminal Bench側の 反応や 再現手順は 確認していない - 一致
率71% /GDPx著者がGDPvalを 批判する 文脈で 挙げた 数字で、 OpenAI側の 一次ソースでは 確認していない - $2,540の
前提 /本文中の個別ランの 例であり、 口座規模や 想定ポジションサイズの 前提は 記載から 特定できていない。 参照戦略の 未来日P&Lは $1,399と されるが、 12ランの うち 10が これを 上回った 一方で 0.5点に 達したのは 2つだけ、と いう 内訳の 意味は 本文の 該当箇所が 断片的で 読み切れていない - 日本語記事の
不在 /検索結果の範囲での 確認である。 有料ニュースレターや クローズドな 社内共有での 言及は 把握できない - 告知の
文言 /SemiAnalysis公式Xの投稿本体は robots設定に より 取得できず、 「even the best model scores just 12%」と いう 文言は 検索結果の 見出しから 確認した ものである - パートナーとの
金銭関係 /SemiAnalysisとデータパートナー14社の 間の 金銭的関係 (パートナーが 対価を 受け取っているか)は、 確認できた 範囲の 本文には 記載が ない
出典
- 一次・有料/SemiAnalysis
「GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains」 (2026年11月2日、 Max Kan/Andrew Megalaa/Dylan Patel) /方法論、 採点式、 ドメイン別の 失敗分析、 Terminal Bench 4.0の 約50%、 安全性分類器の 影響 - 一次・無償/GDPx リーダーボード/11ドメイン・206タスク・14パートナー、
モデル別スコア、 コスト対性能の パレート図 - 一次・無償/GDPx ドメイン一覧/各ドメインの
タスク数と データパートナー、 タスク内容 - 一次/SemiAnalysis 公式X/
「even the best model scores just 12%」の 告知。 投稿本体は 取得できず、 検索結果の 見出しから 確認
本記事は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
