システム開発

Goのファザーは、cap == len のスライスを0.07%しか渡さない——1/5で落ちるバグが60秒×3回すり抜けた

イーランサー・ジャパン株式会社
この記事の要点

プログラムに大量のでたらめな入力を食わせて不具合を探す手法をファジングと呼びます。Go言語に付属のその仕組みが、ある種の不具合を構造的に見逃している、という報告が出ました。

原因は、渡される入力の作り方にあります。Goでは配列の一部を切り出すとき、「実際に使っている長さ」ではなく「確保してある広さ」に対して範囲の検査が行われます。ファジングが渡す入力は広さに余裕がある作りなので、範囲外を読んでも異常として止まりません。試験の書き出しに一行足すと、0.3秒ほどで落ちました。

用語の説明
  • ファジング/大量の自動生成された入力を与えて、異常終了する入力を探す試験手法です。
  • パーサ/決まった形式のデータを読み取り、中身を取り出すプログラムのことです。
  • 境界チェック/配列の範囲外を読み書きしていないかを、実行時に確かめる処理のことです。

1/5の確率でクラッシュするパーサが、60秒のファジングを3回すり抜けました。運ではありません。入力生成器の構造的な性質です。そして対処は、fuzz targetに1行足すだけです。同じ1行は、Goチーム自身のコードに6年以上前から入っています。

要点

何が起きたか

著者はGoogleのDeveloper Relationsディレクターで、同社のagent skillsプログラム(175 skills)を率いる立場です。記事はAnthropicの形式検証記事(Rocqによる対話的定理証明、全バイナリに対するno-crash証明を64MBバジェットで)への対置として書かれています。こちらはSMTで、Argonがアセンブリを直接Z3制約へ翻訳します。

手順は5段階、起点はコンパイラ

GoのSSA proveパスは、スライス長とループ変数から安全と証明できる境界チェックを削除します。消えずに残ったチェックだけがruntime.panicBounds へ分岐します。つまり残存チェックは「コンパイラが安全を証明できなかった箇所」のリストであり、探索空間がそのまま絞り込まれています。

  1. -gcflags="-S -d=ssa/check_bce/debug=1" でアセンブリと残存チェックのログを出す
  2. ソースと逆アセンブルの両方をモデルに渡す
  3. Argonが残存トラップごとに、そこへ到達する経路を表現したZ3スクリプトを書く
  4. sat なら具体的なバイト列が得られる
  5. go test で実関数に食わせ、パニックすれば再現手順の完成

所要はArgonの翻訳が関数あたり約1分、Z3はミリ秒。従来は人間がアセンブリを手で制約へ落としていた部分が、LLMに置き換わった形になります。

1/5で落ちるバグが、60秒×3回すり抜けた

ParseTwoChunkFrame は59バイト入力、hdrLen = 48、bodyLen = 236 で落ちます。逆アセンブル上、MOVBU がuint8の和を256で丸めるため284 が 28 になり、28 + 4 <= 59 がガードを通過します。ところが endBody の加算は64ビット整数のままで、スライスはインデックス288に届きます。59バイト時点で組み合わせの19.4%がこのクラッシュを踏みます。

それでもファザーは落ちませんでした。3秒run 1回と60秒run 3回、いずれもキャッシュを新しくして実行し、全滅です。

理由は計測で突き止められています。Goのスライス式 buf[endHdr:endBody] は、lenではなくcapに対して検査されます(Go仕様)。そしてファザーが渡すスライスは、10秒・386,741回のうち約89%が共有の約100MBバッファへのビューで、cap == len は0.07%。余剰容量が常にあるため、範囲外スライスは単に余剰領域を読むだけでパニックしません。endBody は最大でも514なので、100MBの後方は常に足りています。

対処はfuzz target側の1行

data = data[:len(data):len(data)]——フルスライス式でcapをlenに切り詰めます。

つまりファザーが弱いのではなく、cap経由のバグだけが構造的に不可視でした。

ただし、これは証明ではない

著者自身が明示しています。sat は「確実にバグ」だが、unsat は「たぶん正しい」でしかない。LLMが書いた制約モデルは健全な証明系ではなく、sat は go test がパニックして初めて確認されます。

偽陽性側の対照も取られています。TOMLキーパーサではproveパスが境界チェックを全削除し、HTTPヘッダスキャナとvarintデコーダではZ3が unsat を返しました。実在のCLIであるskill-lint(28MB、32,321シンボル)では5関数を検査し、CRLF行分割器(残存チェック6件)を含む2スキャナがunsat、残り3つにバグ。うち1件は、約70バイトのラッパー+ファイルパスに一律100バイトを見込んでいたプロンプトパッカーで、パスが約30バイトを超えると2MBのコンテキスト予算を超過します。

本記事が参照したGoogle記事の本文は、取得経路の制約により逐語での全文確認ができていません。引用は短く切り詰められた形で取得しており、それ以外は要約経由です。19.4%、0.07%、89%、386,741、0.28秒/0.17秒といった数値はすべて著者の測定値で、本記事は再現していません。「約100MBバッファ」「endBodyは最大514」も要約経由の値です。

なぜ日本でまだ語られていないのか

この穴は、Goの公式ドキュメントに書かれていません。本記事はgo.devのファジングドキュメントを全文確認しましたが、「cap」「capacity」「三要素スライス」「余剰容量」のいずれの記述も存在しません。書かれているのは引数に使える型と「fuzz targetは高速・決定的であれ」程度です。

にもかかわらず、Goチームは6年以上前から知っていた形跡があります。protobuf-goのcommit 4eeab367(Damien Neil、2020年2月5日)は、fuzz呼び出しの直前にb = b[:len(b):len(b)] // set cap to len を1行だけ足しています。コミットメッセージは件名一文のみで、理由の説明もissueリンクもありません。知っている人だけが黙って入れる種類の修正で、検索にも翻訳にも乗りません。

日本語側は、スライスの cap 挙動の解説も、Goファジングの入門記事も豊富にあります。欠けているのは接続点だけです。「ファザーの入力は cap > len だからcap経由のバグが落ちない」という一文は、本記事が確認した範囲で日本語・英語ともに見つけられませんでした。

一次ソースも分散しています。残存境界チェックの意味はGoコンパイラの prove.go、cap検査の根拠はGo仕様、実際の対処はprotobuf-goの無説明コミット、観測値は11月12日のブログ。0.07%という数字が出てくるのは最後の一つだけです。

「Goチームが6年以上前から知っていた形跡がある」は、差分の内容と著者がGoチームのメンバーであることからの推定で、当人の意図を確認したものではありません。該当のGerritレビューのコメントも読んでいません。日本語記事の不在は検索範囲での確認で、Goのissue trackerを直接検索しての確認はしていません。

エンジニアにとって何が変わるか

設計。今日 []byte を取る fuzz target があるなら、1行入れて再実行するだけの話です。data = data[:len(data):len(data)]。これで落ちるなら、そのバグはこれまで一度も検出されていなかったことになります。コストはゼロに近く、中央値0.28秒で結果が出ます。パーサ、プロトコルデコーダ、バイナリフォーマット処理を抱えている現場ほど効きます。

設計その2。「ファジングでカバー済み」という前提を一段下げる必要があります。1/5の確率で落ちるバグが60秒×3回すり抜けました。これは運ではなく入力生成器の構造的性質なので、実行時間を伸ばしても解決しません。カバレッジの数字は、この穴を素通りします。

検証プロセスの調達判断。残存境界チェックを起点にする発想は、LLMが無くても半分は使えます。-d=ssa/check_bce/debug=1 が出すのは「コンパイラが安全を証明できなかった箇所」のリストで、レビューの優先順位付けにそのまま使えます。LLMが担うのはアセンブリから制約への翻訳という、従来は専門家の手作業だった一段だけです。

つまり導入判断は「Z3を入れるか」ではなく「翻訳をLLMに任せてよいか」になります。sat は go test で必ず裏が取れるので、誤りが通る経路はunsat側にしかありません——そしてそのunsatは元から「たぶん正しい」でしかありません。

キャリア。形式手法の敷居の位置が変わりました。Rocqで全バイナリのno-crashを証明する方向と、SMTで関数単位の反例を出す方向がある。後者はZ3を触ったことがないエンジニアでも結果を受け取れます——出てくるのは証明ではなく、落ちるバイト列だからです。

障壁は証明の知識ではなく、「どの関数を純粋関数として切り出せるか」という設計能力の側に移っています。

出典

PROJECTS

アプリケーション開発や検索基盤の領域では、こうした案件を扱っています。

掲載は案件の一例です。単価・稼働条件・技術要件を含む詳細はご登録後にご覧いただけます。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方