システム開発

テストをリポジトリに残さない——Metaの「使い捨てテスト」が19.5%から60%になるまで

イーランサー・ジャパン株式会社
この記事の要点

Metaが2026年10月29日、プログラムの修正案そのものに潜む不具合を見つけるため、修正案ごとにAIでテストを作り、使い終わったら捨てるという仕組みの運用状況を公開しました。589人の技術者が関わり、知らせを受けた本人が「本当に不具合だった」と答えた割合は60%でした。同じ仕組みの初期段階を報告した論文ではこの割合が19.5%で、約5か月で3倍になっています。

効果が出たのは個人情報の扱いに関する不具合で、2026年上半期に重大なものを74件、修正案の段階で捕まえたとしています。従来のテストは「いま動いているものが壊れていないこと」を確かめるため、その修正案が持ち込んだ不具合は原理的に見つけられません。この仕組みは逆に、わざと失敗するテストを作って差を暴きます。テストを資産として保存しないため、保守の手間が発生しないかわりに、誤った警告をどれだけ安く捨てられるかが設計の勝負になります。

用語の説明
  • テスト/プログラムが意図どおりに動くかを機械的に確かめるための、小さな検査プログラムのことです。
  • 修正案/プログラムをこう直したいという変更の提案で、本番に反映される前にレビューを受けるものです。
  • 誤った警告/不具合だと知らせたものの、調べてみると問題ではなかったという通知のことです。

テストを増やしておけばいつか当たる、という発想は数字の上で成立しません。ハードニング目的のテストが、たまたまそのdiffで落ちて親リビジョンでパスする確率は0.2%です。Metaが本番に載せたのは逆の設計でした。生成時点で落ちることを目的にしたテストを作り、使い終わったらリポジトリに残さない。「テストは資産」という前提が、ここでは外れています。

要点

何が起きたか

MetaのSreeja Thummalaらが2026年10月29日、「Catching Bugs Before They Land」を公開しました。5か月前に初公開した Catching JiTTests が研究プロトタイプから本番基盤になったという報告です。

パイプラインは5段です。

  1. 前日のdiffから Diff Risk Score 類似の指標でリスクの高いものを選び、余剰計算資源で夜間に回す
  2. テスト生成を2系統並走させる
  3. 複数のLLMを判定器として束ねる
  4. RubFake(Rule-Based False-Positive Killing Environment)という決定的なルールベース判定器を並べ、合議で順位をつける
  5. 上位だけを人間に渡す

論文側の数字はこうです。解析対象は生成テスト22,126件。diffを認識する生成は、ハードニングテストの約4倍、偶発的に落ちるテストの約20倍のキャッチ候補を出します。判定器を挟むと人間のレビュー負荷が約70%減ります(弱いキャッチ600件の手動調査による)。41人に連絡して8件が強いキャッチと確認され、うち4件は放置すれば本番の重大障害になっていたとされています。

「回帰のみの罠」を正面から外す

従来のテスト生成は、現リビジョンでパスするテストを足します。Harmanらはこれを Regression Only Trap と呼びます。

現リビジョンでパスすることを条件にした以上、そのリビジョンが持ち込んだバグは原理的に捕まりません。ハードニングテストは「将来の壊れ方」に備えるもので、「いま出そうとしている壊れ方」には効きません。

Catching JiTTest は逆に、生成時点で落ちることを目的にしたテストを作ります。

前者から後者を選り分ける工程が、このシステムの全部です。なお、ハードニング目的のテストがたまたまdiffで落ちて親でパスする確率は0.2%。「テストを増やしておけばいつか当たる」は数字の上で成立しません。

生成は2系統で、前提が違う

前者は網、後者は狙撃です。同じ「LLMでテストを生成する」という言い方で括られますが、前提も歩留まりの性質も違います。

偽陽性の分類が資産になっている

論文のTable 2に並ぶ偽陽性のパターンはこうです。broken_test_runner、reflection、type_missmatch、bad_mock_smell、mock_broken、web_server_down、flakiness。

半分はテスト基盤やモックの都合で、コードの正しさとは関係がありません。RubFake が決定的に落とせるのはここです。

LLM判定器は非決定的で検証も難しいとMeta自身が書いており、だからこそ決定的な層を並列に置いています。非決定的な判定器だけで積み上げると、落とした理由を後から説明できない仕組みになります。

人間の位置が変わる

前提にあるのは「最初の人間レビューまでに約8時間の計算予算がある」という見積りで、Harmanらはこれを業界の目標値として置きました。8時間あれば、変異体の構成からテスト生成、実行、合議まで回せます。

逆に言えば、この8時間が取れない開発サイクルでは、この設計はそのまま持ち込めません。

なぜ日本でまだ語られていないのか

数字が3本に分散しているためです。

並べて初めて「5か月で3倍」という線になります。中核はFSE Companion '26(2026年6月・モントリオール)の企業向けトラック論文で、国内のテスト・QA系コミュニティの射程から外れやすい位置にあります。2026年10月30日時点で日本語の解説は確認できず、論文評述は繁体字が先に出ています。

エンジニアにとって何が変わるか

設計。「テストは資産」という前提が一部で崩れ、代わりに偽陽性の値段が設計変数になります。論文は偽陽性の棄却を「数分」と見積もっており、真陽性率60%なら2件に1件弱が無駄打ちです。

これが成立するのは、次の3条件が揃ったときだけです。

  1. リスクの高いdiffだけを狙う
  2. 余剰計算資源の夜間バッチに載せる
  3. 人間に渡す前に2段で落とす

CIの同期パスに入れると条件が全部壊れます。自前で組むなら、まず偽陽性の分類表を自分の環境で作るところからです。

もう一点。弱いキャッチの定義が「親でパス・子で落ちる」である以上、親をビルドして回せないリポジトリではこの手法が成立しません。差分ビルドと親リビジョンの再現性が、テスト戦略の前提条件に昇格します。

運用。効き先がプライバシーだったという点は、導入の順番に影響します。diff段階で74件の重大プライバシーバグ、というのは「レビューで見落としやすく、本番で起きると高くつく」領域から入った結果です。どの不具合種別で元が取れるかを先に決めるほうが、カバレッジを一律に上げるより筋が通ります。

キャリア。効いているのは変異テスト、オラクル問題、偽陽性の分類という、どれも新しくない技能です。新しいのは、それをLLMの生成量に対して回すところにあります。「テストを書く」から「生成されたテストの判定基準を設計する」への移動で、Metaが集約レベルでの監視とポリシー層での介入と書いているのは、そのままジョブの記述になっています。

確認できなかった点

出典

本記事は2026年10月30日時点で公開されている情報に基づいています。「5か月で約3倍」という比較は、算定方法の異なる2つの数値を本記事で並べたものであり、同一条件での改善幅を示すものではありません。74件のプライバシーSEVと20%の低下についても、他の施策との切り分けは公開されていません。自社への適用を検討される際は、偽陽性の分類と計算コストを自環境で測ることをおすすめします。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方