テストをリポジトリに残さない——Metaの「使い捨てテスト」が19.5%から60%になるまで
Metaが
効果が
- テスト/
プログラムが 意図どおりに 動くかを 機械的に 確かめる ための、 小さな 検査 プログラムの ことです。 - 修正案/
プログラムを こう 直したいと いう 変更の 提案で、 本番に 反映される 前に レビューを 受ける ものです。 - 誤った
警告 /不具合だと 知らせた ものの、 調べてみると 問題ではなかったと いう 通知の ことです。
テストを
要点
- 公開/Metaが
2026年10月29日、 diffごとに LLMで テストを 生成して 捨てるCatching JiTTestsの 本番運用状況を 公開した。589人の エンジニアが (声を関与 かけた 対象の 64%)、 エンジニア側が 報告した真陽性率は 60% - 5か
月前 /同じ 仕組みの 初期デプロイを 報告した 論文 (arXiv:2601.22832、 2026年1月30日)では、41人に 連絡して だった。強い キャッチが 8件、 真 陽性率19.5% 約3倍である - 効き先/2026年上半期に
diff段階で74件の 重大 を(SEV) プライバシーバグ 捕まえ、 同期間の プライバシーSEV発生を20%下げたと している - 使い捨て/テストは
リポジトリに 保守も残さない。 テストコードレビューも 発生しない - 判定の
二段 /ルールベースとLLMの 判定器で レビュー負荷を約70%削減。 それでも偽陽性の 値段 が直接 効く - 前提/ハードニング目的の
テストが たまたま diffで 落ちて親で パスする 確率は0.2%。 数を 増やすだけでは 当たらない
何が起きたか
Metaの
パイプラインは
- 前日の
diffから Diff Risk Score 類似の 指標で リスクの 高い ものを 選び、余剰計算資源で 夜間に 回す - テスト生成を
2系統 並走させる - 複数の
LLMを 判定器と して 束ねる - RubFake(Rule-Based False-Positive Killing Environment)と
いう 決定的な ルールベース判定器を 並べ、 合議で 順位を つける - 上位だけを
人間に 渡す
論文側の
「回帰のみの罠」を正面から外す
従来の
現リビジョンで
Catching JiTTest は
- 弱い
キャッチ /親リビジョンでパスし、 子(提案中の diff)で 落ちる テスト - 強い
キャッチ /そのうち オラクル上も 本当に バグを 示す もの
前者から
生成は2系統で、前提が違う
- dodgy diff 系統/diffそのものを
変異体 (mutant)と みなし、意図を 一切推論せず 「このdiffは バグっている」と 仮定して、 親との 振る 舞いの 差を 暴く テストで 母数を 稼ぐ - intent-aware 系統/逆にコード差分・タイトル・サマリから
意図を し、推論 誤実装の リスクを 言語化し、 各リスクを 変異体と して 構成して それを 殺すテストを 作り、 実物の diffに 当てる
前者は
偽陽性の分類が資産になっている
論文のbroken_test_runner、reflection、type_missmatch、bad_mock_smell、mock_broken、web_server_down、flakiness。
半分は
LLM判定器は
人間の位置が変わる
- human-in-the-loop/出力を
1件ずつ 人間が 見る - human-on-the-loop/人間が事前に
基準を 、決め 結果を集約レベルで 監視 し、介入はポリシー層で 行う
前提に
逆に
なぜ日本でまだ語られていないのか
数字が
- 2026年10月29日の
ブログ /589人・64%・60%・74件・20%があるが、歩留まりの 内訳が ない - arXiv:2601.22832/19.5%・22,126件・70%・0.2%と
偽陽性の 分類表が あるが、本番規模の 話が ない - arXiv:2504.16472/Regression Only Trap と
8時間の 計算予算と いう 設計 思想が あるが、実測が 一切ない
並べて
エンジニアにとって何が変わるか
設計。「テストは
これが
- リスクの
高い diffだけを 狙う - 余剰計算資源の
夜間バッチに 載せる - 人間に
渡す前に 2段で 落とす
CIの
もう
運用。効き先が
キャリア。効いているのは
確認できなかった点
- 60%と
19.5%は /論文側は測り方が 違う 「41人に 連絡して 8件」と いう 分母の 明示が あるが、 ブログの 60%は 「エンジニアが 報告した 真陽性率」と あるだけで、 分母・期間・算定方法が 示されていない。3倍と いう 比較は 本記事の 読み替えである - 論文自体の
不整合 /§5は一箇所で 「7 issues」と 書き、 他の 箇所と 19.5%の 算定では 8件を 使っている。 4倍と いう 比較も、 要旨は ハードニングテスト比、 §4.2は 偶発キャッチ比に なっており、 Table 1 の 率からは どちらも そのまま 再現できない - 74件と
20%の /ブログは因果 「key role を 果たした」と 書くのみで、 他の 施策との 切り分けや 反実仮想が 示されていない。 因果の 強さは 確認できない - 589人の
母数 /「声を かけた 対象の 64%」から 対象は 約920人と 計算できるが、 これは 本記事の 計算であり、 Metaの エンジニア総数に 対する 比率は 公開されていない。全社 導入を 意味する 数字ではない - コストと
レイテンシ /計算コスト、レイテンシ、 対象diffの 総数は ブログにも 論文にも 出て こない。 論文は キャッチ生成を 「計算的に 高価」と 書くだけである。 「8時間」は 2025年の 論文が 置いた 目標値で、 実運用の 計測値ではない - 「5か月」の
起点 /FSE Companion '26(6月) 起点と 読めるが、 JiTTesting自体は 2026年2月11日の ブログで 公開されており、 起点の 定義は ブログに 明示されていない - 比較表の
中身 /human-on-the-loop とhuman-in-the-loop を 比較する Table 2 が 10月29日の ブログに あると されているが、 取得した 本文から 表の 内容は 確認できなかった - RubFakeの
公開状況 /ルールセットが公開されているか、 OSSと して 利用できるかは、 いずれの 一次ソースからも 判別できなかった
出典
- 一次/Engineering at Meta
「Catching Bugs Before They Land: JiTTesting's Human-on-the-Loop Approach at Full Scale」 (2026年10月29日、 Sreeja Thummala/Sophie Zeng/Mark Harman/Weini Liu/Eric Liu) /589人・64%・60%・74件・20%、 5段の パイプライン、 RubFake - 一次/arXiv:2601.22832
「Just-in-Time Catching Test Generation at Meta」 (Becker et al.、 2026年1月30日、 FSE Companion '26) /22,126件・19.5%・70%・0.2%、 弱い キャッチと 強い キャッチの 定義、 偽陽性分 類表 (Table 2)、 dodgy diff と intent-aware の 2系統 - 一次/arXiv:2504.16472
「Harden and Catch for Just-in-Time Assured LLM-Based Software Testing: Open Research Challenges」 (Harman/O'Hearn/Sengupta、 FSE 2025基調講演) /Regression Only Trap、 8時間の 計算予算 - 一次/Engineering at Meta
「The Death of Traditional Testing: Agentic Development and the JiT Testing Revival」 (2026年2月11日、 Mark Harman) /JiTTestの 初公開 - 参考/Engineering at Meta
「Sapienz Receives ISSTA 2026 Impact Paper Award」 (2026年10月15日) /Metaの テスト生成の 系譜 - 参考/InfoQ
(2026年4月) /JiTTestingを 扱った 英語 二次媒体。 記事タイトルの 表記は 未確認
本記事は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
