クラウド・インフラ

キャッシュキーに単調増加する値が入っていた——2PBでDuckLakeを降りたPostHogの機序

イーランサー・ジャパン株式会社
この記事の要点

分析サービスのPostHogが2026年11月2日、顧客向けのデータ保管基盤をDuckDBという製品から別の構成へ移すと発表しました。この構成で作り直したのは6月で、わずか5か月での方針転換です。移行時点のデータ量は約2ペタバイト、約1兆行。1つの表にデータを1回書き込むだけで3分を超えることがあったと報告しています。

原因はブログには書かれていません。製品側の課題管理に残された記録をたどると、処理結果を一時的に覚えておく仕組み(キャッシュ)の目印に、書き込みのたびに必ず変わる番号が混ざっていたことが分かります。そのため書き込むたびに覚えた内容が無駄になり、保管庫にある全部の表の統計情報を読み直していました。しかもこの仕組みは、別の遅さを直すために入れられたものでした。該当するのは2026年10月21日に出た長期サポート版で、いま移行を検討している利用者がそのまま踏む位置にあります。

用語の説明
  • ペタバイト/データ量の単位で、1ペタバイトはおよそ1,000兆バイトです。
  • キャッシュ/一度調べた結果を手近な場所に置いておき、次からは調べ直さずに済ませる仕組みのことです。
  • 統計情報/データの件数や値の範囲をまとめた要約で、検索を速くするために使われるものです。
  • 長期サポート版/新機能を足さず、不具合の修正だけを長期間提供し続けるバージョンのことです。

レイテンシを直すための変更が、レイテンシを悪化させる。その往復が2回起きていて、2回目に2PBのユーザーが当たりました。統計キャッシュのキーに next_file_id が含まれていたため、ファイルを書くコミットごとに必ずキャッシュミスし、レイク内の全テーブルの列統計を読み直していた。該当するのは10月21日リリースのDuckDB 2.0.0 LTSです。

要点

何が起きたか

PostHogのウェアハウスは顧客向けのプロダクトで、自社のイベント分析は従来どおりClickHouseが担います。6月29日の記事では、組織ごとに単一テナントのDuckDBインスタンスを立て、カタログをDuckLake、ストレージをS3に置き、Postgresワイヤプロトコルのエンドポイントを公開し、アイドル時はインスタンスを寝かせる設計を発表していました。

11月2日の記事が挙げる離脱理由は3つです。

Hacker Newsのスレッドでは著者が追加の数字を出しています。顧客Podの大半が46 vCPU・360GB RAMに達し、それでも要求は続いた。Icebergも試したが書き込みが遅すぎた。DuckDBのクライアント・サーバプロトコルQuackは分散クエリに相当するものを持たない。DuckLakeはフォークでパッチを当てて運用していた。著者はDuckDBに留まりすぎたと認めています。

同じキャッシュが2回、逆向きに事故を起こしている

1回目は#1398です。DuckDB 1.5.5時点のDuckLakeは、Postgresメタデータバックエンドでテーブル統計を1テーブルずつ読み、1テーブルに2往復かかりました。数千テーブルのカタログでは接続ごとに数秒が乗ります。

報告者の計測では初回メタデータアクセスが約3.9秒、発行される統計クエリは4,000本。1.5.3系では2本のバルク文で済んでいました。原因は#1167「Cache per-table stats」で、テーブルごとのキャッシュミスがそれぞれ独立したクエリを投げ、統計を持たないテーブルはキャッシュされず毎回問い合わせが走りました。5,000テーブルの再現環境で初回アクセス16.3秒です。

2回目はその修正です。ミス時に一括で全テーブル分を読んでキャッシュを埋める方向に変えました(commit 174a6f5)。コールドキャッシュには正しい設計です。

問題はキーでした。next_file_id はファイルを書くコミットのたびに増えるので、書き込み後の最初の統計参照は必ずミスします。結果、コミットと、その後のプランナの読み取りの両方が、レイク内の全テーブルの列統計の再読み込みを引き起こします。他プロセスがコミットした後に読むだけの読み取り専用インスタンスも巻き込まれます。

数字は規模に線形に乗る

ファイルカタログでのコミット中央値はこうです。

つまり劣化の引き金は読み取り頻度ではなく、書き込みが入ったかどうかです。

修正は半分だけ入った

PR #122は、コミット時に読む統計をそのコミットが変更したテーブルだけに絞ります。2,000テーブルのレイクで5回中央値5.80秒→1.84秒、ピークメモリ1,165MB→189MB。big_lake_insert_commits は1.2秒→429ms(−64.9%)。10月26日に本体へ#1852として入り、10月28日に#1874でv2.0系へバックポートされました。

ただし報告者が10月27日に本体mainで再計測した結果はこうです。

#1847は11月3日時点で「needs triage」のまま開いています。

3分はこの機序だけでは説明がつかない

PostHogが見ていた3分は、キャッシュキーの機序だけでは説明がつきません。統計行の99%超が存在しないテーブルのものだったという別の問題があり、掃除すると書き込みが30〜50倍速くなりましたが、行は再び増えました。

スナップショット1,530万という数字と合わせると、効いているのはカタログのライフサイクル管理です。

PostHogはTrino側でも別の経路を潰しています。PR #164(10月28日提出、29日マージ)は、add_files が28カラムのテーブルで1ファイルあたり約30往復のINSERTを投げていたのをJDBCバッチ化し、本番相当のレイテンシで1,000ファイル11.7秒→0.17秒、5,000ファイル53.8秒→0.74秒にしました。フッタ読みの並列度も8→32に上げています。

HogLakeの設計はこの経験の裏返し

DuckLakeが各プロセスに埋め込まれるクライアントライブラリであるのに対し、HogLakeはカタログをREST API越しのサービスにし、クライアントがデータベースに触りません。

なぜ日本でまだ語られていないのか

11月2日のブログについては、同日付で日本語の要約記事が1本出ています。扱っているのは「3つの壁」、2PB/1兆行/1,530万スナップショットという規模、3分の書き込み、統計行99%超という数字までで、キャッシュキーの機序、next_file_id、Issue #1847、DuckDB 2.0.0での回帰計測、HogLakeの実装には触れていません。同記事は一次ソースのブログ本体を取得できなかったとも書いています。

機序がブログの外にあるためです。PostHogのブログは「コミットごとにカタログ全体の統計を読み直す」と書きますが、なぜそうなったのかは書きません。答えは duckdb/ducklake のIssue #1847、#1398、#1167、PR #122、#1852、#1874 のスレッドに分散しています。

報告者はPostHogではなく、ドイツのPlan4BetterのElias Pajaresです。英語圏でも流通しているのは「PostHogがDuckDBをやめた」という線で、キャッシュキーの話とv2.0系へのバックポート状況はほぼ落ちています。

エンジニアにとって何が変わるか

調達。DuckDB 2.0.0 LTSは10月21日リリースで、サポートは少なくとも2027年10月まで。1.4は2026年11月17日で切れるため、いま移行が走っている時期です。DuckLakeカタログでテーブル数が数千を超える構成なら、確認すべきは3点です。

  1. 使っているDuckLakeのビルドに#1852(またはv2.0系の#1874)が入っているか
  2. INSERT ... SELECT のようにテーブルを読む文が主体なら、改善は乗らない
  3. コミット後の読み取りを行う別インスタンス(BI、プランナ、読み取り専用レプリカ)があるなら、#1847は未解決である

1.5.4以前からの上げ幅は、テーブル数に比例して効きます。

設計。教訓はカタログをどのSQLデータベースに置くかではなく、カタログのスキーマを可搬に保つことの代償がどこに出るかにあります。DuckLakeは複数バックエンドへの可搬性のためにスキーマを抽象に保ち、その結果としてエンジン固有の最適化が入れられません。HogLakeはPostgres専用に振り切って、カスケード、advisory lock、部分インデックスをスキーマの前提に置きました。

もう1つは、より一般的な話です。統計キャッシュのキーに単調増加するグローバル値を含めると、キャッシュが無効化装置になります。キーをテーブル単位の最終変更に紐づけるのが#1847で提案されている形です。

加えて、スナップショットと統計行のライフサイクル管理は、テーブル削除時に統計行が残る限り規模とともに単調に悪化します。掃除で30〜50倍という数字は、それが運用で詰む種類の問題であることを示しています。

キャリア。効いているのは新しい技能ではありません。キャッシュキーの設計、ラウンドトリップ数の見積もり、= ANY と semi-join の実行計画差、JDBCバッチ、OCCとロックの粒度。

新しいのは、採用を決める前に本体のIssueトラッカを読む作業が調達の前提工程になった点です。ブログに書かれた「3分」からは原因が辿れず、Issueの1行には辿れました。PostHog自身がフォークでパッチを当てて運用していたという事実も、同じ方向を指しています。

確認できなかった点

出典

本記事は2026年11月3日時点で公開されている情報に基づいています。PostHogが運用していたバージョンは公表されていないため、Issue #1847が計測した回帰とPostHogの「3分」を結ぶ因果は本記事の推定です。コミット後の読み取り側の問題は、取得時点で未解決のまま開いています。移行を検討される際は、お使いのビルドに該当パッチが入っているかを公式のリリースノートでご確認ください。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方