キャッシュキーに単調増加する値が入っていた——2PBでDuckLakeを降りたPostHogの機序
分析サービスの
原因は
- ペタバイト/データ量の
単位で、 1ペタバイトは およそ1,000兆バイトです。 - キャッシュ/一度
調べた 結果を 手近な 場所に 置いておき、 次からは 調べ直さずに 済ませる 仕組みの ことです。 - 統計情報/データの
件数や 値の 範囲を まとめた 要約で、 検索を 速くする ために 使われる ものです。 - 長期サポート版/新機能を
足さず、 不具合の 修正だけを 長期間 提供し続ける バージョンの ことです。
レイテンシをnext_file_id が
要点
- 公表/PostHogが
2026年11月2日、 データウェアハウスを DuckDB/DuckLakeから 自社版Trinoと HogLakeへ 移すと 公表した。 DuckDBで 作り直したのは 6月29日で、5か 月後の 。方針転換 再設計には 約3か 月かかった - 規模/移行時点の
DuckLakeは約2PB、 約1兆行、 。スナップショット1,530万 単一テーブルへの 1回の 書き込みが3分を 超える ことがあり、カタログの 統計行の99%超が 既に だった存在しない テーブルの もの - 機序/本体の
Issue #1847 (2026年10月24日、 Plan4Better)に 出ている。 DuckLakeCatalog::GetTableStatsの統計キャッシュの キーに next_file_idが含まれており、ファイルを 書く コミットごとに 値が 変わる ため 毎回 ミスし、 レイク内の 全テーブルの 列統計を 読み直していた - 計測値/Postgresカタログ・約22,000テーブル・統計行221,000で、
1回の 書き込みあたり約26MBの 転送 。1行INSERTの 中央値は0.032秒 (1.5.4)から へ0.609秒 (2.0.0) - 皮肉/
この バルク読み込みは、別の 遅延Issue #1398を だった。直す ために 入った もの 該当は 10月21日リリースのDuckDB 2.0.0 LTS「Cinnamon Teal」 - 現状/コミット側は
PR #122で 改善し、 10月28日に v2.0系へ バックポートされた。コミット後の 読み取り側は 11月3日時点で 未解決
何が起きたか
PostHogの
11月2日の
- 単一ノード/クエリが
来る 前に ワーカーを 見積もる 必要が あり、 1クエリあたりの CPUと メモリを 予測できない。 ディスクへの スピルは 遅く 高価で 選べない - 可搬性の
代償 /DuckLakeのカタログスキーマは 複数の SQLデータベースへの 可搬性を 保つ 設計なので、 エンジン固有の 最適化が 入れられない - 接続管理/ポート5432の
直接 接続は、 再接続・TTL・アイドル接続の 管理と ロードバランシングが HTTPに 比べて 難しい
Hacker Newsの
同じキャッシュが2回、逆向きに事故を起こしている
1回目は
報告者の
2回目は174a6f5)。
問題はnext_file_id は
数字は規模に線形に乗る
ファイルカタログでの
- 500テーブル/10ms → 28ms
- 2,000テーブル/10ms → 47ms
- 8,000テーブル/11ms → 123ms
- Postgres・22,000テーブル/1
書き込みあたり約26MBが 流れる - 別インスタンスでの
コミット後の /0.058秒 → 0.630秒読み取り - 書き込みが
挟まらない /約0.04秒で読み取り 変化しない
つまり
修正は半分だけ入った
PR #122は、big_lake_insert_commits は
ただし
- ファイルカタログの
VALUES INSERT /128ms → 15ms - Postgresの
VALUES INSERT /202ms → 54ms INSERT ... SELECT/127ms → 136msで改善しない。 この 文は テーブルを 読む ため - Postgresでの
コミット後の /約180〜190msの読み取り まま 動かない。 要求された テーブルだけを 読み直す PoCを 当てると 16ms
#1847は
3分はこの機序だけでは説明がつかない
PostHogが
スナップショット1,530万と
PostHogはadd_files が
HogLakeの設計はこの経験の裏返し
DuckLakeが
- バックエンド/Postgres専用。
外部キーの カスケード、 advisory lock、 部分インデックスを 前提に 置く - 書き込み/
書き手は Parquetを ステージし、 フッタ由来の 統計を コミットエンドポイントへ 送る。サーバは 登録の ために データファイルを 開かない - 統計/遅延登録して
非同期に 埋める - 削除/row IDは
再利用せず、 削除は deletion vector。 メンテナンスは サーバ側ジョブ、 inlined dataは 廃止 - 互換/読み取りに
ついては メタデータを Icebergへ マップ可能に 保つが、 書き込み側の Iceberg互換は 範囲外
なぜ日本でまだ語られていないのか
11月2日のnext_file_id、
機序が
報告者は
エンジニアにとって何が変わるか
調達。DuckDB 2.0.0 LTSは
- 使っている
DuckLakeの ビルドに#1852 (または がv2.0系の #1874) 入っているか INSERT ... SELECTのようにテーブルを読む 文が 主体なら、 改善は 乗らない - コミット後の
読み取りを 行う別インスタンス (BI、 がプランナ、 読み取り専用レプリカ) あるなら、 #1847は 未解決である
1.5.4以前からの
設計。教訓は
もう
加えて、
キャリア。効いているのは= ANY と
新しいのは、採用を
確認できなかった点
- 因果の
同一性 /PostHogが実際に どの DuckDB/DuckLakeバージョンで 運用していたかは 記載が ない。 #1847が 計測した DuckDB 2.0.0での 回帰が PostHogの 「3分」の 原因だと 確定させる ものは、 確認できた 範囲の 一次ソースには ない。 両者は 同じ GetTableStatsのバルク読み込みを 指しているが、因果の 同一性は 推定である - 99%超と
30〜50倍 /PostHogのブログ側の 数字で、 独立した 検証は ない - HogLakeの
成熟度 /PostHog/hoglakeのREADMEは 2026-09-04付、 ベンチマークは 2026-09-05付で、 mainは38コミット、 star 0。 READMEは 「本番データに 触れていない、 デプロイも 認証も されていない」と 明記している。 一方 11月2日の ブログは ペタバイト規模で テスト中と しており、 READMEが 古いのか 範囲が 違うのかは 判別できない - 期間の
不整合 /ブログは「DuckDBで 作り直したのは 5か月前」と し再設計に 約3か 月かかったとする。 6月29日から 11月2日は 約4か月で、 整合しない。 日本語の 要約記事は 「約3か 月後に Trinoへ」と 書いており、 こちらも 食い 違う - #1398の
紐づけ /作成者と起票日が 表示されず 特定できなかった。 commit 174a6f5がこの Issueの 修正であると いう 紐づけは #1847の 記述に 依拠しており、 #1398側では 確認できていない - #1269との
関係 /SHOW ALL TABLESが1テーブルあたり1クエリを 発行し、 約20,000テーブルで 数分と いう 報告も 関連するが、 起票日が 表示されず 窓に 入るか 判定できない。 1.5.3→1.5.4で count(*) FROM duckdb_tables()が0.9秒→95.5秒と いう 報告も 同Issue内の もので、 #1847の 機序と 同一かは 確認していない - PR #122の
比較値 /「DuckDB 1.0では 同じ ワークロードが 0.64秒/394MB」と いう 比較は PR本文の 数字で、 独立に 再現していない - バックポートの
配布 /#1874が実際に どの パッチリリース (2.0.1等)で 配布されたかは 確認できていない - HNの
点数 /取得時点で183点/119コメント (フロントページ表示では 163点)と ずれが ある - 日本語記事の
不在 /検索結果の範囲での 確認である。 既に 出ている 1本以外の 日本語記事、 および社内共有や クローズドな 場での 言及は 把握できない
出典
- 一次/PostHog
「Why we're moving our warehouse off DuckDB」 (2026年11月2日) /2PB・1兆行・1,530万スナップショット、 3分の 書き込み、 統計行99%超、 HogLakeと Trinoへの 移行 - 一次/PostHog
「Why we rebuilt our data warehouse and how it unlocks self-driving products」 (2026年6月29日、 Eric Duong) /DuckDB+DuckLake+S3、 Postgresワイヤ、 ライフサイクルサービス - 一次/duckdb/ducklake Issue #1847
「Commit time grows with the number of tables in the lake」 (2026年10月24日、 Elias Pajares/未解決) / next_file_idを含む キャッシュキー、 22,000テーブルで 26MB/ 書き込み、 1.5.4対2.0.0の 計測、 10月27日の 再計測 - 一次/duckdb/ducklake Issue #1398/DuckDB 1.5.5での
1テーブルずつの 統計読み込み、 初回4,000クエリ・約3.9秒、 #1167が 原因 - 一次/ducklake PR #122
「Read the stats of the tables a commit changes instead of every table」 (2026年10月20日提出・10月26日マージ) /2,000テーブルで 5.80秒→1.84秒、 ピークメモリ1,165MB→189MB - 一次/duckdb/ducklake PR #1852
(2026年10月26日マージ) /#122を 含む 10件の バンドル、 #1874で 10月28日に v2.0系へ バックポート - 一次/duckdb/ducklake Issue #1269
「SHOW ALL TABLES performance issue for large catalogs」/約20,000テーブルで 数分、 1.5.3→1.5.4の 回帰報告 - 一次/PostHog/trino PR #164
「Batch DuckLake data file registration in the catalog」 (2026年10月28日提出・29日マージ) /1ファイル約30往復、 1,000ファイル11.7秒→0.17秒、 並列度 8→32 - 一次/PostHog/hoglake
(MIT、 Kotlin+Ktor+Postgres、 deletion vector、 OCC、 Arrow/Parquet field ID必須、 README 2026-09-04付) - 一次/DuckDB
「Announcing DuckDB 2.0.0 LTS "Cinnamon Teal"」 (2026年10月21日) /LTS、 2027年10月までの サポート、 1.4は 2026年11月17日まで、 DuckLake 1.1 - 参考/Hacker News
「Moving our warehouse off DuckDB」 (119コメント) /46 vCPU・360GB RAM、 Iceberg 書き込みが 遅い、 Quackは 分散非対応、 著者の 発言 - 参考/AI Heartland
(2026年11月2日) /日本語の 既存記事。 カバー範囲の 確認用
本記事は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
