プログラミング

評価に85分かかるなら、85分を速くするな——代理指標は、検定なしでは逆効果になる

イーランサー・ジャパン株式会社
この記事の要点

プログラムを速くする作業を機械に任せるとき、何が足を引っぱるのか。ある研究チームの答えは「賢さではなく、測るのに時間がかかること」でした。1回ちゃんと測るのに85分かかるなら、1日で12回しか試せません。

そこで、短時間で済む簡易な測り方を用意して回数を稼ぐ、という手が取られます。ところが実験では、簡易な測り方を足しただけの構成は、足さなかった構成より成績が下がりました。効いたのは、その簡易な測り方が本当の速さと同じ順位を示すかを繰り返し検査する手続きの方でした。

用語の説明
  • ベンチマーク/同じ条件でプログラムの速さを測り、比べるための試験のことです。
  • 代理指標/本来測りたいものが重いとき、代わりに使う軽い測り方のことです。
  • CI/コードを変えるたびに自動で試験を回し、壊れていないか確かめる仕組みのことです。

速い代理指標を用意して試行回数を稼ぐ。性能改善の現場で誰もがやっていることです。その構成が、何もしない構成より成績が落ちていました。効いていたのは代理指標ではなく、その順位がまだ正しいかを測り続ける検定でした。この手続きは、AIエージェントを使わない性能回帰CIにもそのまま移せます。

要点

何が起きたか

11月13日、Google Research がAntigravity の /teamwork の成果記事を公開しました。見出しは数学側(Weil予想の約180万行のLean形式化)が占めますが、同じ記事に工学側の数字も並びます。その出所が DuoDiscover(arXiv:2610.17184v1、2026年10月12日)です。

出発点は「探索の回数が評価で決まる」

1回あたりの評価時間は、SWE-fficiency が中央値15分、JAXBench が17分(7〜32分)、vLLM が約85分、CPUのデータプリフェッチャは最大28時間。20時間で約12回しか回せないなら、モデルをいくら賢くしても山登りになりません。

そこで yardstick が導入されます。各ワーカーは対象 T を選ぶとき、同時に T 専用の安価なスコアラ g を自分で書きます。条件は一つ、順位の一致——sign(g(x) − g(x')) = sign(f(x) − f(x'))。絶対値は合っていなくてよい。vLLM の例ではデコード1ステップの所要時間を見積もる単純な模型で、85分の評価が数秒になります。速いループで yardstick を山登りし、遅いループでたまに真の評価を回して確定させます。

ここまでは既知の発想です。論文の芯はこの先にあります。

代理指標単体は有害だった

SWE-fficiency のスコアで、ベースラインが 12.85、対象選択だけ足して 12.71、検定なしの yardstick を足すと 10.33 に落ちます。カーネル側も 69.12% → 69.68% → 66.91% と同じ向きに動きます。

回数を稼ぐと、代理指標と本当の目的のズレを突く方向に最適化が進む。論文はこれを reward hacking と呼び、"search can be rewarded for edits that exploit the gap" と書いています。

fidelity test を足すと 13.25 / 72.57% に回復します。ここが単一要素として最大の寄与です。

このアブレーションの数値(10.33 / 12.85 / 13.25 / 14.93、66.91% / 69.12% / 72.57% / 80.80%)は、論文のHTML版を要約経由で読んだ範囲のもので、本記事は原文の表を直接読めていません。本記事の中心的な主張がこの表に依っているため、ここは最も検証が必要な箇所です。付録の検定条件(m=6、τ_min=0.5、α=0.05)は逐語で確認しています。

検定の中身——τ≧0.5、2σ̂、6状態、毎回再検査

  1. ノイズを測る。同一スナップショットを繰り返し評価して相対ノイズ σ̂ を求め、真のスコア差が平均値の 2σ̂ を超えたペアだけを「resolved」とみなす。差がノイズに埋もれているなら、順位の証拠として数えない
  2. resolved ペアだけで Kendall の τ を計算する
  3. 4条件すべてで validated。(1) ノイズ測定済み、(2) resolved な状態が6個以上、(3) τ≧0.5、(4) 片側並べ替え検定が α=0.05 で独立性を棄却
  4. 真の評価のたびに全件へ回す。一度通れば終わりではない

この再検査が効いています。SWE-fficiency で対象9.2件中 validated は5.3件、SOL-Exec で15件中11件——41〜45%が無効化されます。validated 側の τ の中央値は 0.66 / 0.76、無効化側は 0.03 で相関がほぼ消えています。

代理指標は作った瞬間は正しくても、探索が進むと壊れる。それを検出できるかどうかが、10.33 と 13.25 を分けています。

数字

論文の数値はすべて著者による測定で、本記事は再現していません。実機(B200、TPU v6e、3,000 vCPUクラスタ)を要します。主要結果は単一実行であると論文自身が述べており、分散は部分集合で3シードのみです。またarXiv v1のプレプリントで、査読を経ていません。

なぜ日本でまだ語られていないのか

一次ソースが、別の話題の記事の下に埋まっています。日本語で出ているのは Antigravity の製品解説(使い方、料金、ほかのコマンドとの違い)であって、研究の中身ではありません。英語の二次報道も Weil 予想の形式化という数学の見出しに寄っており、ブログ自体、数学の節が先で工学の数字は後半に並びます。

そして肝心の手続きは、ブログに書かれていません。τ の閾値も、resolved ペアの定義も、2σ̂ のノイズ判定も、「真の評価のたびに再検査する」ことも出てきません。最大の発見である「検定なしの代理指標はベースラインより悪い」というアブレーションも無い。これらは arXiv の本文と付録にしかありません。

加えて、ブログと論文で数字が食い違います。JAXBench をブログは 4.09倍、論文は 4.62倍。TPU-Inference をブログは 2.99倍、論文は 2.68倍。ブログが言う「23秒のプロキシ」も論文中に見当たりません(論文の yardstick コストは40秒と16秒)。どちらが新しい測定なのかは、公開情報からは判断できません。

エンジニアにとって何が変わるか

設計。この検定は、AIエージェントを使わない現場にそのまま移植できます。性能回帰CI、オートチューニング、コンパイラのコスト模型、負荷試験の縮小版、A/Bの代理指標——「重い本番計測の代わりに軽い指標を見る」構造があるなら、同じ罠と同じ処方が当てはまります。

移植すべき値は4つです。

  1. τ≧0.5 を要求する
  2. 真のスコア差がノイズの 2σ̂ を超えたペアだけを順位の証拠に数える——多くの性能CIが生の数値を比較して一喜一憂している部分を直接突く
  3. 最低6状態たまるまで信用しない
  4. 本番計測を回すたびに再検査する

そして 10.33 対 12.85 が意味するのは、「速い代理指標を入れたが検定は後回し」は、何もしないより悪いということです。代理指標の導入は、検定とセットでなければ着手しない方がよい。

調達。効いているのが構造で、モデル等級ではありません。Claude Code のカーネル成績 69.12% に並ぶまでのコストが79.60ドル(真の評価13回)対 309ドル(76回)。バックボーンを軽いモデルに落としても 73.26%、約5.1倍安い。「最上位モデルを増やす」より「評価と検定の設計に投資する」方が伸びる領域があることを、同一条件で示した例として使えます。

キャリア。カーネルチューニングの手仕事の価値が、具体的な数字で削られました。相手は人手で最適化済みの本番 Pallas カーネルであり、Flash Attention 4 です。

一方で、yardstick を設計し、ノイズを測り、τ の閾値を決め、reward hacking を見抜くのは人間側に残っています——論文自身、vLLM と FreeToken の事例は各プロジェクトのメンテナに確認してもらったと書いています。価値が移った先は、内側のループを速く書く技能ではなく、「何を測れば本当に速いと言えるのか」を定義する技能です。

出典

PROJECTS

データ・AIや基盤まわりの領域では、こうした案件を扱っています。

掲載は案件の一例です。単価・稼働条件・技術要件を含む詳細はご登録後にご覧いただけます。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方