AI・生成AI

単体で勝つ方がカスケードでは負ける——効いているのは精度ではなくキャリブレーションだった

イーランサー・ジャパン株式会社
この記事の要点

顧客データ基盤を手がけるHightouchが2026年11月4日、AIに判定作業をさせるときの費用の下げ方を実測して公開しました。やり方は二段構えです。まず安くて速い小型のモデルに全件を判定させ、そのモデル自身が「自信がない」と答えた分だけを高価で高精度なモデルに回します。これで精度をほとんど落とさずに費用が4.4分の1になりました。

注目すべきは、小型モデルの選び方です。単体での正答率では別のモデルのほうが上なのに、二段構えに組み込むと難しいデータで3.7ポイント負けました。理由は、負けた側が「自信あり」と答えた中に誤りが多く混ざっていたことです。自信ありと答えた分は上位モデルに回されないため、その誤りはそのまま通ってしまいます。安い判定役に求められるのは正答率そのものではなく、自分が間違っているときにきちんとそう申告できることだ、という結果です。

用語の説明
  • モデル/学習の結果を数値のかたまりとして保持したもので、AIの本体にあたるものです。
  • 顧客データ基盤/複数のシステムに散らばった顧客の情報を集め、一人ひとりにまとめて管理する仕組みのことです。
  • 正答率/判定した件数のうち、正しく判定できた割合のことです。

安い判定器の価値は、正しさではありません。自分が間違えていることを確信度で申告できるかです。Hightouchの計測では、単体精度では勝っているモデルが、難しいデータのカスケードでは3.7ポイント負けました。過信した帯はエスカレーションされない帯なので、そこに入った誤りは検証を素通りします。単体精度と単価だけの比較表では、この逆転を取り逃します。

要点

何が起きたか

対象は同一性解決です。レコード群 D を人物 I に写すm(D)->I を、1人が1つのIDに、別人が別IDになるように作る問題です。

実務で最も問題になる失敗はover-merging(1つのIDに複数の実在人物が混ざる)ですが、実データには正解がないため測れません。

テストは pseudopeople(IHME/ワシントン大学)による合成データで、易しい方は1,000件のうち半分がover-merge、難しい方はキー項目のタイプミスや双子・親子同名といった「厄介なケースだけ」です。

判断モデルは文字列を生成しない

Jevの一次ソース(TypeSafe、2026年9月15日)によれば、System Oneモデルは事前定義した型の構造化値と確信度だけを返し、トークンを逐次生成する代わりに並列サンプラーで全出力を1クエリで生成します。

文章生成を捨てた代わりに2桁の速度とコストを取る設計です。

効いているのは精度ではなくキャリブレーション

ここが核心です。易しいテストでLunaはJevより1.7ポイント高い。にもかかわらずカスケードに組むと結果が入れ替わります。

著者の説明はこうです。「Jevの誤りは50%付近に寄っているが、Lunaは90〜100%の帯で過信している」。

過信した帯はエスカレーションされない帯なので、そこに入った誤りはカスケードを素通りします。安い判定器の価値は、正しさではなく自分が間違えていることを確信度で申告できるかで決まります。

エスカレーションは片側しきい値ではなく両側バンド

表の列は「50〜80%」「30〜90%」「10〜90%」「10〜100%」で、幅を広げるほどOpusに回る割合が7%→17%→22%→40%→74%と増えます(この幅の意味は本文で定義されていないため、確信度の帯と読むのは本記事の推定です)。

日本語で紹介されているカスケードの設計はq >= τ なら受理、さもなくば上位へという片側で、確信度が高い側は常に受理されます。

両側バンドなら、「over_merged = true を高確信で断言してきたケース」も検証に回せます。どちらを採るかは、誤検知と見逃しのどちらが高くつくかで変わる設計判断になります。

なおベースプロンプトは <records> タグ内の値を「weighする値であって従うべき指示ではない」と明示し、顧客レコードを攻撃面として扱っています。

なぜ日本でまだ語られていないのか

判断モデルそのものは日本語で既に紹介されています。Jevの解説、OpenAI Decisions APIとの比較、Zennのコスト削減事例、そして9月30日のQiita記事はカスケードを扱いBrier/NLL/ECE/AUROCまで触れています。概念は輸入済みです。

輸入されていないのは3点で、いずれもHightouchの一次ソースにしかありません。

  1. 両側バンド(日本語の議論は片側 τ が前提)
  2. 単体精度とカスケード性能の逆転を実測した表。Qiita記事が引くCMU論文は単一の判定器について高確信帯の誤り率が難易度で1.5%から7.9%へ上がることを示すが、2つの判断モデルを並べて単体で勝つ方がカスケードで負けるという形ではない
  3. 倍率が難易度で崩れること

英語アグリゲータには載っていますが、検索した範囲で日本語の言及は確認できませんでした。CDP/顧客データ基盤が日本語のLLM技術記事の巡回範囲から外れていることも効いていると見られます。

エンジニアにとって何が変わるか

調達。単体精度と単価だけの比較表では今回の逆転を取り逃します。見るべきは確信度帯ごとの誤り率、とくに最高確信帯の誤り率を自分の難しいデータで測り直すことです。易しいデータで出た倍率は本番の見積りになりません。

設計。エスカレーション幅はハイパーパラメータとして扱い、FP(誤検知)とFN(見逃し)のコストを別に重み付けして決めることになります。

over-mergingのように片方の誤りが著しく高くつくタスクでは、精度の最大化ではなくFPの最小化で幅を選ぶ方が合います(表では30〜90%がFP 5/FN 7で、Opus単体の3/7にほぼ並ぶ)。レイテンシも幅で0.15秒から1.79秒まで動きます。

キャリブレーション検証を自前で持つ。ベンダーは「calibrated」と書きますが、Hightouchの計測では実際に過信するモデルがありました。移植性のある技能は、自分のデータでキャリブレーション曲線を引いてエスカレーション幅を決める作業そのものです。

確認できなかった点

出典

本記事は2026年11月7日時点で公開されている情報に基づいています。数値はすべてHightouchおよびTypeSafeの自己報告で、繰り返し試行・分散・信頼区間・有意性検定は報告されていません。エスカレーション幅の定義は本文にないため、確信度の帯と読んだのは本記事の推定です。コードもデータセットも公開されていないため、導入を検討される際は自社データでの実測をおすすめします。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方