Fixes: タグ1行がなかった——2年前に本流で直っていたTCPバグが、GKEの開発者800人を止めるまで
Google Cloudが
原因は
- GKE/Googleが
提供する、 プログラムを 小さな 単位に 分けて 動かす ための 基盤サービスの ことです。 - パケット/ネットワークで
やり取りされる データを、 小さく 区切った ひとつ ひとつの 塊の ことです。 - プロキシ/通信を
中継して、 行き先の 振り分けや 検査を 担う 中間の ソフトウェアの ことです。 - 長期サポート版/新機能を
足さず、 不具合の 修正だけを 長期間 提供し続ける バージョンの ことです。
顧客にi/o timeout のFixes: タグが
要点
- 公開/Google Cloudが
2026年10月30日、 GKEの Podから kube-apiserverへの 接続が 間欠的に i/o timeoutになる 障害の 調査記録を 公開した。europe-westの 5クラスタ、 。約800人の 開発者が 停止 1月起票、 3月初 旬回復、 7〜8分野・約2週間の 調査 - 原因/単独の
バグではない。 PSCのパケット順序 入れ替え、 Envoyの ハーフクローズ、 Linuxカーネルの tcp_ack()の戻り値の 扱い。 3つ 揃った ときだけ 再現する - 2年前/カーネル側の
修正は 2年前に 本流へ 入っていた。 commit 795a7dfbc3d9(Menglong Dong、2024年1月26日)。 だが Fixes:タグが付かず、 。6.1/6.6 LTSに 降りなかった GKEの 制御プレーンVMは COSの kernel 6.1である - 依頼/2026年3月13日、
Eric Dumazetが stableへ バックポートを 依頼。「どういう わけか、 。この 問題が 深刻だと 我々は 見落としていた。 Fixes:タグが付いていない」 同日Greg KHが キューに 入れた - 分
水嶺 /根治はカーネルパッチを COSイメージ経由でGKE 1.33.5以降に 載せる 形で 入った
何が起きたか
Google Cloudの
症状は、dial tcp 1.2.3.4:443: i/o timeout を
- Pod
- ワーカーノード
- PSCの
NAT/プロキシ (新規接続ごとに proxy protocolヘッダを 付与) - ILB
- 制御プレーンVMの
NIC - Envoy → kube-apiserver
疑われた
起票15日目に
キャプチャ地点を変えると像が変わる
制御プレーンの
PSCは
1点で
単独では無害な3つが重なる
tcp_fin_timeout は
Envoyは shutdown(SHUT_WR) をtcp_fin_timeout はnetstat には FIN_WAIT_2 が
3つ目はtcp_ack() は
単独では
PSCの
その依存を切ったのはGoogle自身の変更
2026年2月の
何か
キャプチャに
修復は3段に分かれた
- 2月の
即時緩和と してUSPSを ロールバック - PSCの
proxy protocol層へ 代替の 変更とPacketDrillの リグレッションテスト を入れる - 根治はカーネルパッチを
COSイメージ経由で GKE 1.33.5以降に 載せる
3段目が
なぜ日本でまだ語られていないのか
決定的な
答えはFixes: タグがtcp_disorder_fin_in_FIN_WAIT.pkt と4686679a14d2 と
深刻さがtcp_rcv_state_process() の
つまり
エンジニアにとって何が変わるか
設計。自前のshutdown(SHUT_WR) をtcp_fin_timeout はFIN_WAIT_2 の
NATや
- 切り分け/ホストNIC・仮想NIC・コンテナ内の
3点同時キャプチャ。 1点で順序が 正しい ことは、 次の 層で 正しい ことを 意味しない - 確認すべき
設定 /shutdown(SHUT_WR)を使う 箇所の アプリケーション側の タイムアウト - 見るべき
指標 /ミドルボックス側の「不正な ACKを 落とした」カウンタ
調達。マネージドな
本流でFixes: タグと
キャリア。効いているi/o timeout の
確認できなかった点
- コミットの
作者 /ブログはcommit 795a7dfbc3d9の作者を Eric Dumazetと 記すが、 LKMLおよびstableの 投稿では 作者は Menglong Dong (2024年1月26日)、 Dumazetは バックポート依頼者である。 ブログが 引用と して 示す コミット本文も 上流の コミットメッセージと 書式が 一致せず、 要約と 見るべきである - 「6.1で
入り、 /6.9.7で 直った」 この 記述は 確認できなかった。 Dongの パッチは 2024年1月下旬に net-next宛で 投げられており、 本流の 初出は 6.9系と 読むのが 自然だが、 どの stableリリースに 入ったかは 特定できていない。 また Dongの v3の 説明は FIN_WAIT1での 古い ACK拒否を 長年の 挙動と して 書いており、 6.1の 回帰とは 述べていない - バックポートの
リリース番号 /6.1.yと6.6.yの どの リリース番号で 出たかは 確認できなかった。 Greg KHの 「キューに 入れた」と いう 返信までしか 辿れていない - GKE 1.33.5の
裏づけ /公開日と、 その COSイメージが 当該バックポートを 含む ことを 示す GKEリリースノートの 該当箇所は 確認できていない - PIGvと
USPS /正式名称が展開されておらず、 公開ドキュメントも 見当たらない。 USPSの 該当バージョンと、 それが 直した 「別の セキュリティ問題」も 特定できない - 日付/ブログの
「Day 1/Day 10/Day 15/Day 20/Day 22」は 起票からの 相対日数で、 暦日に 紐づいていない。 起票は 1月、 USPSの ロールバックは 2月、 回復は 3月初旬と あるが、 最初の エラー発生日は 示されていない - アドレス/
1.2.3.4や10.0.13.77などは記事中の 匿名化例であり、 実際の 値ではない - 影響範囲/europe-westの
5クラスタ・1顧客に 限られたのか、 同じ 条件の 他顧客にも 及んだのかは 示されていない。 「約800人の 開発者」は この 顧客側の 数字である
出典
- 一次/Google Cloud Blog
「When the Kubernetes API went silent: A three-layer networking mystery」 (2026年10月30日、 Akash Thakur) /3層の バグ、 5クラスタ・約800人、 6段の 経路、 2月18日の メトリクス、 3段の 修復と GKE 1.33.5 - 一次/LKML
「 [PATCH net-next v3] net: tcp: accept old ack during closing」 (2024年1月25日、 Menglong Dong) / tcp_rcv_state_process()の11行追加・7行削除、 対象4状態 - 一次/LKML
「 [PATCH] net: tcp: accept old ack during closing」 (2024年1月9日) /v1と kernel test robotの ビルドエラー報告 - 一次/linux-stable
「Backport to 6.6 and 6.1」 (2026年3月13日、 Eric Dumazet) / Fixes:タグ欠落の経緯、 Greg KHの 返信 - 一次/netdev
「 [PATCH net-next] selftests/net: packetdrill: tcp_disorder_fin_in_FIN_WAIT.pkt」 (2026年3月13日、 Eric Dumazet) /net-next 4686679a14d2として 3月14日マージ - 一次/lore.kernel.org
(元パッチの スレッド全体) - 参考/Container-Optimized OS リリースノート/COSの
カーネル系統の 確認用
本記事は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
