評価に85分かかるなら、85分を速くするな——代理指標は、検定なしでは逆効果になる
プログラムを
そこで、
- ベンチマーク/
同じ 条件で プログラムの 速さを 測り、 比べる ための 試験の ことです。 - 代理指標/本来測りたい
ものが 重いとき、 代わりに 使う 軽い 測り方の ことです。 - CI/コードを
変える たびに 自動で 試験を 回し、 壊れていないか 確かめる 仕組みの ことです。
速い
要点
- 論文/Googleと
UC BerkeleyらがarXivに 10月12日付 で公開したDuoDiscover(2610.17184v1)は、 自律的な 性能最適化の ボトルネックをモデルではなく 評価コスト に置く。 vLLMは真の 評価1回に 、約85分 20時間で約12回しか 回せない - 解法/各エージェントが
最適化対象と 一緒に安価な 代理指標 。(yardstick)を 自分で 設計し、 それを 山登りする 要件は順位の 一致だけ で、絶対値は 合っていなくて よい - 核心/効いていたのは
代理指標ではなく、 代理指標をその 順位を 測り続ける 検定だった。 入れただけの 構成は 10.33 で、 代理指標なしの 12.85 より 悪い。検定を 足すと 、13.25 全部 入りで 14.93 - 検定/Kendall の
τ。τ≧0.5、 resolved な し、41〜45%がペアが 6個以上、 片側 並べ替え検定で α=0.05。 真の 評価の たびに 全件を 再検査 無効化 される - 結果/235カーネルで
平均 SOL 79.74% (公開リーダーボード1位、2位78.95%)、Flash Attention 4 比 +11.97%、チューニング済みの 本番 Pallas カーネルに 2.68倍
何が起きたか
11月13日、/teamwork の
- 著者/UC Berkeley と
Google の 混成。 Ion Stoica、 Vahab Mirrokni らが 並ぶ - 評価/実機(NVIDIA B200、TPU v6e)
- エージェント/Claude Code v2.1(claude-opus-5)
- 予算/8時間・4エージェント
出発点は「探索の回数が評価で決まる」
1回あたりの
そこでsign(g(x) − g(x')) = sign(f(x) − f(x'))。
ここまでは
代理指標単体は有害だった
SWE-fficiency の
回数を
fidelity test を
この
検定の中身——τ≧0.5、2σ̂、6状態、毎回再検査
- ノイズを
測る。 同一スナップショットを繰り返し評価して 相対ノイズ σ̂ を 求め、真の スコア差が 。平均値の 2σ̂ を 超えた ペアだけを 「resolved」と みなす 差が ノイズに 埋もれているなら、 順位の 証拠と して 数えない - resolved ペアだけで
Kendall の τ を 計算する - 4条件すべてで
validated。 (1) ノイズ測定済み、(2) resolved な 状態が 6個以上、 (3) τ≧0.5、 (4) 片側 並べ替え 検定が α=0.05 で 独立性を 棄却 - 真の
評価の 一度たびに 全件へ回す。 通れば 終わりではない
この
代理指標は
数字
- SOL-Exec/235カーネルで
平均 SOL 79.74% (9月10日時点の公開リーダーボード1位、 2位78.95%、 参照コードは 26%)、121本で 単独1位 - FA4/24構成の
幾何平均で Flash Attention 4 比 +11.97% - TPU-Inference/「すでに
最適化済みの 本番 Pallas カーネル」を 1.00 と して 2.68倍 - vLLM/1.92倍を
真の で評価7回・9.9時間 (Claude Code 単体は 12回で 1.07倍)
論文の
なぜ日本でまだ語られていないのか
一次ソースが、
そして
加えて、
エンジニアにとって何が変わるか
設計。
移植すべき
- τ≧0.5 を
要求する - 真の
スコア差が ——多くのノイズの 2σ̂ を 超えた ペアだけを 順位の 証拠に 数える 性能CIが 生の 数値を 比較して 一喜 一憂している 部分を 直接 突く - 最低6状態たまるまで
信用しない - 本番計測を
回すたびに 再検査する
そして
調達。
キャリア。
一方で、
出典
- 一次/Shubham Agarwal、
Akshat Gupta、 Ion Stoica、 Vahab Mirrokni ほか 「DuoDiscover: Scaling Autonomous Discovery Beyond the Evaluation Bottleneck」 arXiv:2610.17184v1 [cs.CL] (2026年10月12日、 CC BY-NC-ND 4.0) /評価コストの ボトルネック、 yardstick の 定義と 順位一致の 要件、 fidelity test の 4条件 (付録A.1、 F.1)、 フリート構成と 実行環境 (付録B.1)、 Table 8 の 評価時間、 SOL-Exec・FA4・TPU-Inference・vLLM の 結果。HTML版のみで、 逐語確認と 要約経由が 混在。 アブレーション表と τの 中央値・無効化率・コスト比較は 要約経由 - 一次/Vahab Mirrokni
(Google Research) 「Advancing science & engineering with Antigravity's /teamwork」 (2026年11月13日) /本記事の 発見経路。 工学側の 数字が 後半に 並ぶ 構成の 確認と、論文と 一致しない (JAXBench 4.09倍、数値 TPU-Inference 2.99倍、 「23秒の プロキシ」)。要約経由 - 一次/Arya Tschand、
Charles Hong ほか 「JAXBench: Benchmarking Autonomous TPU Kernel Optimization」 arXiv:2607.20466/DuoDiscover が 使う ベンチマークの 素性。 TPU v6e 単チップ、 50ワークロード、 正当性は jnp.allclose(bf16、atol=rtol=1e-2)、 速度は 5回ウォームアップ後 50回の 中央値。評価コストを ボトルネックと しては 論じていない。 Figure 2 の 「最大16.3倍」と Table 3 の 6.91倍に 内部 不整合あり - 参考/AI-Hypercomputer/accelerator-agents
(GitHub) /JAXBench の コードと ハーネス。本記事は 未確認 - 参考/日本語の
製品解説記事 (Antigravity の /teamworkの使い方・料金・ほかの コマンドとの 違い) /日本語での 到達点の 確認。検索結果の 見出しのみで 判断し、 本文は 未読 - 参考/Hacker News
(2026年11月14日) /巡回に 使用
データ・AIや
掲載は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
