クラウド・インフラ

Fixes: タグ1行がなかった——2年前に本流で直っていたTCPバグが、GKEの開発者800人を止めるまで

イーランサー・ジャパン株式会社
この記事の要点

Google Cloudが2026年10月30日、自社のコンテナ基盤GKEで起きた通信障害の調査記録を公開しました。欧州の5つの環境で、プログラムが管理サーバーにつながらなくなる症状が断続的に発生し、約800人の開発者の作業が止まりました。1月に報告され、回復は3月初旬。原因の特定までに7〜8分野の担当者と約2週間を要しています。

原因は1つのバグではなく、通信経路でパケットの到着順が入れ替わること、プロキシの接続の閉じ方、そしてLinuxの通信処理の判定という3つが同時に揃ったときだけ起きるものでした。中核にあるLinux側の修正は2年前に本体へ取り込まれていましたが、修正であることを示す目印の1行が付いていなかったため、長期サポート版へ自動的に配られませんでした。この目印を付けるかどうかは人の判断であり、2年の遅れはそこから生まれています。

用語の説明
  • GKE/Googleが提供する、プログラムを小さな単位に分けて動かすための基盤サービスのことです。
  • パケット/ネットワークでやり取りされるデータを、小さく区切ったひとつひとつの塊のことです。
  • プロキシ/通信を中継して、行き先の振り分けや検査を担う中間のソフトウェアのことです。
  • 長期サポート版/新機能を足さず、不具合の修正だけを長期間提供し続けるバージョンのことです。

顧客に見えていたのは i/o timeout の一行だけでした。原因はPSCのパケット順序入れ替え、Envoyのハーフクローズ、Linuxカーネルの戻り値の扱い——単独では無害な3つが揃ったときだけ再現する障害です。そしてカーネル側の修正は2年前に本流へ入っていました。降りてこなかった理由は、コミットに Fixes: タグが1行なかったことです。

要点

何が起きたか

Google CloudのAkash Thakurが2026年10月30日、「When the Kubernetes API went silent: A three-layer networking mystery」を公開しました。

症状は、顧客のPodが dial tcp 1.2.3.4:443: i/o timeout を間欠的に出すというものです。宛先はkube-apiserverのPrivate Service Connect VIPで、経路は6段あります。

  1. Pod
  2. ワーカーノード
  3. PSCのNAT/プロキシ(新規接続ごとにproxy protocolヘッダを付与)
  4. ILB
  5. 制御プレーンVMのNIC
  6. Envoy → kube-apiserver

疑われた層はすべて外れました。顧客自作のkopfオペレータ、External Secrets Operator、セキュリティエージェント。エラーはオペレータのデプロイより8日前から出ており、撤去後も続きました。conntrackは既定上限1,308,000の約50%、制御プレーンのリサイズも効きません。

起票15日目にP0が立ち、22日目に3点同時パケットキャプチャが取られました。

キャプチャ地点を変えると像が変わる

制御プレーンのホストNICでは順序は正しく、PIGv(Google独自のプログラマブル仮想NIC)に届く時点で崩れていました。

PSCは新規フローを遅い経路(miss-thread)に流すため、クライアントのFINが先行するACKに追い越されます。これが1つ目です。

1点で順序が正しいことは、次の層で正しいことを意味しません。この障害の切り分けが22日目まで進まなかった理由は、ここにあります。

単独では無害な3つが重なる

tcp_fin_timeout は孤児ソケットにしか効きません。これが2つ目のバグです。

Envoyは shutdown(SHUT_WR) を呼びます。正当なTCPの作法であり、Envoyはソケットを保持し続けます。保持されたソケットは孤児ではないので、60秒の tcp_fin_timeout は起動しません。netstat には FIN_WAIT_2 が120秒以上並びました。

3つ目はカーネルの戻り値の扱いです。kernel 6.1系で、RFC 5961の基準では受理可能だが古いACKを渡されたとき、tcp_ack() は0を返します。FINを処理する呼び出し側はこれを「未処理」と解釈し、正当なFINを黙って捨てます。ソケットはTIME_WAITに進みません。

単独では無害な3つが、PSCのNATが送信元ポートを再利用した瞬間に火を噴きます。新しいSYNが古い5タプルに一致すると、カーネルはRFC 5961に従ってchallenge ACKを返します。本来はクライアントがRSTを返して古い状態が消え、次のSYNが通ります。

PSCのNATは1つのエンドポイントを多数のPodで共有するため、衝突は頻繁です。つまりGKEのTCPスタックは、古い状態の掃除をchallenge ACKの往復に静かに依存していました。

その依存を切ったのはGoogle自身の変更

2026年2月のUSPS(PSCのNATとproxy protocolヘッダ注入を担うソフトウェアスイッチ)更新が、別のセキュリティ問題を直す代わりに「サーバのSYN-ACKより先に届くACK」を落とすようになりました。challenge ACKはこの類型に当たります。

何か月も平らだった「Proxy protocol drop: invalid ACK packet」カウンタが、2月18日に毎秒数件へ跳ねています。

キャプチャに残った失敗はこうです。SYN Seq=1498の直後に返ってきたのが、SYN-ACKではなく前のストリームのACK Seq=1498 Ack=1025だった。

修復は3段に分かれた

  1. 2月の即時緩和としてUSPSをロールバック
  2. PSCのproxy protocol層へ代替の変更とPacketDrillのリグレッションテストを入れる
  3. 根治はカーネルパッチをCOSイメージ経由でGKE 1.33.5以降に載せる

3段目が本来は2年前に済んでいるはずだった、というのがこの記事の論点です。

なぜ日本でまだ語られていないのか

決定的な一文がブログの外にあるためです。ブログは「6.1で入り、6.9.7で直った。6.6.yと6.1.yにバックポート」とコミットを引用しますが、なぜ2年かかったのかには触れません。

答えはstableメーリングリストの3月13日12時34分、Dumazetの依頼文です。Fixes: タグがない以上、stableの自動選別は拾いません。同日11時54分、Dumazetは tcp_disorder_fin_in_FIN_WAIT.pkt というpacketdrillテストもnetdevに投げています(3月14日にnet-nextへ 4686679a14d2 としてマージ)。

深刻さが見落とされた理由は、元パッチの文脈の狭さにあります。Dongがv3(2024年1月25日)で挙げたのは同時クローズでcloseが遅れるという例で、変更は tcp_rcv_state_process() の11行追加・7行削除、対象はFIN_WAIT1・FIN_WAIT2・CLOSING・LAST_ACKの4状態。接続が無期限に詰まるという今回の帰結は書かれていません。

つまり中身は、2024年1月のLKMLスレッド、2026年3月のstableとnetdevのスレッド、10月30日のブログを突き合わせないと見えません。2026年10月31日時点で日本語の解説は確認できず、英語側でも二次媒体の言及が見当たりません。

エンジニアにとって何が変わるか

設計。自前のプロキシやサイドカーで shutdown(SHUT_WR) を使っているなら、tcp_fin_timeout は保険になりません。孤児ソケットにしか効かないという一行が、FIN_WAIT_2 の滞留をアプリケーション側の寿命管理の問題に変えます。

NATやPSCのように送信元エンドポイントを多数のクライアントで共有する経路では5タプル衝突は定常であり、古い状態の掃除をchallenge ACKの往復に任せている構成は、経路上のミドルボックスが「不正なACK」をどう扱うかに暗黙に依存しています。

調達。マネージドな制御プレーンのカーネルバージョンが、見積もりの質問項目に昇格します。GKEでは1.33.5以降が分水嶺ですが、一般形は「制御プレーンのOSイメージは何で、カーネルは何系で、LTSのどのリリースを追っているか」です。

本流で直っているバグがLTSに降りるかは、Fixes: タグという人間の判断ひとつに左右されます。2年の遅れはここから出ました。

キャリア。効いている技能はどれも新しくありません。多点パケットキャプチャ、TCP状態機械、RFC 5961、packetdrill、LKMLとstableを読む習慣。新しいのは、マネージドサービスの内側を外から再構成する必要が出てきた点にあります。顧客に見えていたのは i/o timeout の一行だけでした。

確認できなかった点

出典

本記事は2026年10月31日時点で公開されている情報に基づいています。コミットの作者について、Google Cloudのブログの記述とLKMLおよびstableの記録は食い違っており、本記事はメーリングリストの記録に従いました。バックポートが入ったstableのリリース番号、および該当のCOSイメージを含むGKEリリースノートの該当箇所は特定できていません。お使いの環境での分水嶺は、公式のリリースノートでご確認ください。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方