単体で勝つ方がカスケードでは負ける——効いているのは精度ではなくキャリブレーションだった
顧客データ基盤を
注目すべきは、
- モデル/学習の
結果を 数値のかたまりと して 保持した もので、 AIの 本体に あたる ものです。 - 顧客データ基盤/複数の
システムに 散らばった 顧客の 情報を 集め、 一人ひとりに まとめて 管理する 仕組みの ことです。 - 正答率/判定した
件数の うち、 正しく 判定 できた 割合の ことです。
安い
要点
- 公開/CDP事業者Hightouchが
2026年11月4日、 同一性 解決 (identity resolution)の 判定に 判断モデル (Jev、 GPT-6 Luna)を 使う 検証を 公開した。 比較対象は Claude Opus 5.5、 Gemini 3.1 Pro、 GPT-6 Sol - 単体の
数字 /易しいテスト (1,000件)で Opus 5.5が99.0%/2.2秒/1,000件あたり $3.86 、Jev単体が95.6%/0.15秒/$0.05。 判断モデルは 最大90倍安く 10倍以上 速いが、 難しい テストでは Opusに 約6ポイント劣る - カスケード/Jevで
全件を 採点し確信度30〜90%の 22%だけを Opusに 回すと、 易しい テストで98.8%/$0.88。 Opus単体の4.4倍安く、 精度差は 0.2ポイント - 逆転/単体では
Luna 著者は(97.3%)が Jev (95.6%)に 勝つのに、 難しい テストの カスケードでは Jev 95.3% 対 Luna 91.6% と 逆転する。 Lunaが 確信度 90〜100%の 帯で 過信している ことを 理由に 挙げる - 倍率は
崩れる /4.4倍という 見出しのコスト優位は 難しい テストでは 1.8倍 ($5.39→$2.94)に 縮む。 倍率は 易しい テストの ものである
何が起きたか
対象はD をI にm(D)->I を、
実務で
- 人手の
限界 /1時間あたり 。約50件 ±1%以内に 収めるには1,000件超が 必要 - 狙い/10万件の
並列採点 。人手では 成立しない - 代替/LLMに
1つの IDの レコード群を 見せ、 1人か 複数人かを 判定させる。 返すのは profile_countとover_merged、真の ときだけ 理由
テストは pseudopeople(IHME/ワシントン大学)に
判断モデルは文字列を生成しない
Jevの
- 入力/$0.042/MTok
- 出力/無料
- レイテンシ/70ms〜500ms
文章生成を
効いているのは精度ではなくキャリブレーション
ここが
- 易しい
テスト /Luna側が6%のエスカレーションで と98.5%/$0.33 いう 極めて 効率の よい点を 取る - 難しい
テスト /Luna 91.6%/$1.15 に対し Jev 95.3%/$2.94 と逆転
著者の
過信した帯は
エスカレーションは片側しきい値ではなく両側バンド
表の
日本語でq >= τ なら受理、さもなくば上位へと
両側バンドなら、
な<records> タグ内の
なぜ日本でまだ語られていないのか
判断モデルそのものは
輸入されていないのは
- 両側バンド(日本語の
議論は 片側 τ が 前提) - 単体精度と
カスケード性能の 。逆転を 実測した 表 Qiita記事が 引く CMU論文は 単一の 判定器に ついて 高確信帯の 誤り率が 難易度で 1.5%から 7.9%へ 上がる ことを 示すが、 2つの 判断モデルを 並べて単体で 勝つ方が カスケードで 負けると いう 形ではない - 倍率が
難易度で 崩れる こと
英語アグリゲータには
エンジニアにとって何が変わるか
調達。単体精度と
設計。エスカレーション幅は
over-mergingのように
キャリブレーション検証を
確認できなかった点
- 難しい
テストの /本文に件数 記載されていない。 易しい テストは 1,000件 (FP+FN が 1,000× (1−精度 ) に 一致するので 500/500と 整合する) - 倍率の
計算 /「4.4倍」 「1.8倍」は 表の 単価 ($3.86÷$0.88、 $5.39÷$2.94)からの 本記事の 計算である。 Hightouch自身の 表記は 見出しの 「> 4x」で、 どの テストを 指すかは 本文に 明示が ない。 「最大90倍安く 10倍以上 速い」も 本文の 記述だが、 どの 比較を 指すかは 示されていない - 統計処理/
繰り返し試行、 分散、 信頼区間、 有意性検定が いずれも 報告されていない。 難しい テストの 「ハイブリッドJev 95.3% 対 Opus単体 95.1%」は 0.2ポイント差で、 件数不明・検定なしである。この 0.2ポイントを 優位と 読むべきではない - しきい値の
選び方 /Jev 60%/Luna 70%は「精度が 最大に なる値」と して 選ばれており、 チューニング用の 分割が 別に 取られた 記述が ない。 同じ テストセット上で 選ばれている 可能性が ある - バンドの
定義 /「50〜80%」等の エスカレーション幅の 定義が 本文に ない。 確信度の 帯と 読んでいるが、 本記事では 推定と して 扱っている - キャリブレーション図/画像の
ため取得・確認しておらず、 Jevの 誤りが 50%付近に 寄る /Lunaが 90〜100%で 過信すると いう 記述は 著者の 散文のみに 基づく。 ECEや Brierなどの 数値は 本文に 示されていない - 統合方
法 /Opusの判定を Jevの 判定と どう 統合するか、 Opusに 同じ プロンプトを 渡すか、 幅を どう 選んだかは 記載が ない - コストの
前提 /トークン数と1トークンあたり 価格は 記載が なく、 コストは 1,000件あたりのみ。 著者も 「コストと レイテンシは 自社環境での 観測値で、 環境に より 変わる」と 明記している - モデルの
バージョン /正確なバージョンや APIエンドポイントは、 モデル名を 超える 記載が ない - 数値の
不一致 /Lunaのレイテンシが 易しい テストの 表では 0.17秒、 難しい テストの 要約表では 0.20秒と 異なる - 判断モデル側の
提供状況 /TypeSafe側の一次ソースは 9月15日時点で ウェイトリスト付きの 早期アクセスであり、 GAかどうかは 確認できていない。 パラメータ数、 コンテキスト長、 公開ベンチマークの スコア、 キャリブレーション指標は いずれも 同社ポストに 記載が ない。 同社は 「価格が 補助されていない ことは 証明できない」とも 書いている - 採らなかった
数値 /TypeSafeの「193.6倍速い /444.6倍安い」は ワークフロー評価由来で、 同社自身が 「現実世界の 利得と しては 高い側」と 述べている。 本記事では 採っていない - 第三者再現/本記事の
数値は すべて Hightouchと TypeSafeの 自己報告であり、第三者に よる 再現は 確認できていない - 再現
可能性 /コードもプロンプトファイルも データセットも 公開されていない。 プロンプトは 本文中に インラインで 3ブロック示されているのみ。 テストデータは pseudopeopleで 生成可能だが、 著者の 生成した 1,000件および難しい テストの セットは 配布されていない - 日本語記事の
不在 /検索結果の範囲での 確認である。 社内共有や クローズドな 場での 言及、 検索に 乗らない 日本語 記事は 把握できない - HNの
数値 /取得時点の値である (ライブの フロントページで 561点/137コメント、 11月6日の 日別ページで 284点/63コメント)
出典
- 一次/Hightouch
「A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost」 (2026年11月4日、 Albert Jin・Neil Desai・Delaney Mackenzie) /易しい テスト1,000件と 難しい テストの 全表、 Opus 5.5 99.0%/2.2秒/$3.86、 Jev 95.6%/0.15秒/$0.05、 Luna 97.3%/0.17秒/$0.10、 GPT-6 Sol 98.3%/$2.50、 Gemini 3.1 Pro 98.3%/$4.48、 ハイブリッドJev 30〜90%で 22%送信・98.8%/$0.88、 ハイブリッドLuna 10〜90%で6%送信・98.5%/$0.33、 難しい テストで Opus 95.1%/$5.39・Jevハイブリッド95.3%/$2.94・Lunaハイブリッド91.6%/$1.15、 しきい 値 Jev 60%/Luna 70%、 人手は 約50件/時、 pseudopeopleに よる合成データ、 Lunaの 90〜100%帯の 過信 - 一次/TypeSafe
「Introducing System One Models and Jev」 (2026年9月15日、 Diogo Almeida) /System Oneモデルの 定義、 型安全な 構造化出力と 確信度、 並列サンプラー、 入力 $0.042/MTok・出力無料、 70ms〜500ms、 文字列生成を 捨てる 設計、 早期アクセスと ウェイトリスト - 一次/pseudopeople
(IHME/ワシントン大学) /Hightouchの テストデータ基盤 - 参考/Qiita
(2026年9月30日) /日本語での カスケード解説の 到達点の 確認用。 片側しきい 値 q >= τ、CMU論文の 高確信帯の 誤り率1.5%から 7.9%へ、 Brier/NLL/ECE/AUROC。 Hightouchと 同一性 解決への 言及は なし - 参考/arXiv
「Cheap Verifiers, Large Blind Spots: Measuring the Reliability Cost of Cost-Saving Cascades」 (2026年9月1日) /検証器の 盲点が 0.12から 0.55へ、 検証器経由の 指標は 3%を 示すが 真の 誤りは 最大32%。 本記事では 抄録のみ 確認 - 参考/Hacker News
(2026年11月6日の フロントページ)
本記事は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
