AI・生成AI

公開モデルの重みからGPU機種が割れる理由は、PyTorchの1行にある——固定シードでも、機種が変われば初期値は変わる

イーランサー・ジャパン株式会社
この記事の要点

学習済みのAIモデルを公開すると、その重みの数値から「どのGPUで作られたか」が分かる、という報告が出ました。学習の最初に置かれる乱数の並びが、GPUの内部の数に応じて変わるためです。

この記事が追うのは、その仕組みを作っているPyTorchというソフトの側です。一定の大きさを超えた配列をGPU上で乱数で埋めると、機種ごとに違う並びになります。つまり同じ設定で学習をやり直しても、別のGPUなら最初の数値が一致しません。PyTorchはこれを不具合ではなく仕様としています。

用語の説明
  • GPU/同じような計算を大量に並行して行うための装置で、AIの学習に使われます。
  • シード/乱数を作るときの出発点になる数で、同じ値なら同じ乱数列が出るはずのものです。
  • 再現性/同じ条件でやり直したときに、同じ結果が得られる性質のことです。

「同じシード・同じコードなら同じ重み」。この前提は、ある大きさを超えたテンソルをGPU上で初期化した瞬間に成り立ちません。機種が変われば初期値が変わり、以降の乱数列もずれます。そしてPyTorchはこれを仕様内としています。公開モデルから機種が割れるという報告と、自分の学習が再現しない問題は、同じ1行から出ています。

要点

何が起きたか

Blackwell判定は6本です。148SMがDeepSeek-V4-FlashとMiniMax-M3、152SMがDeepSeek-V4-Pro・Kimi K3・K3.1-Pro(K3と同一シード)・Ling-3.1-flash。DeepSeek-V3、Kimi K2/K2.5、Qwen、GLM、Tencent、Xiaomi、StepFunは132SMでした。

校正も効いています。Llama 3.1は132、Pythia 8本は108(A100)で、ハードウェアを公表済みの24件すべてで判定が一致しました。

なぜ機種が刻まれるのか——PyTorchの1行

PyTorchでCUDA上のテンソルを normal_() で初期化すると、乱数はPhilox(cuRAND)で生成され、スレッドごとにcurand_init(seed, idx, offset, &state) が呼ばれます(idx はグローバルスレッド番号)。同じシードでも、スレッド本数が変われば同じ乱数が別の重み位置に落ちます。

本数を決めるのが calc_execution_policy で、block_size_bound = 256 なので、グリッド幅は「SM数 ×(maxThreadsPerSM ÷ 256)」と「⌈要素数 ÷ 256⌉」の小さいほうになります。GPU側の上限とテンソル側の必要数の、小さいほうが採用されるということです。

Hopper/Blackwellは maxThreadsPerSM = 2048 なので上限は「SM数 × 2048」スレッド。270,336/303,104/311,296——報告書の数字と一致します。

閾値は計算できる

上限側が効くのは、要素数がSM数 × ⌊maxThreadsPerSM / 256⌋ × 256 を超えたときです。これ以下ではグリッド幅は要素数だけで決まり、どのGPUでも同一。超えた瞬間にSM数依存になります。

埋め込み行列は軽く数億要素なので、常に閾値の上にいます。だから指紋が残ります。

副作用のほうが実務には重いです。counter_offset もグリッド幅を含む式で決まり、ジェネレータの大域カウンタを進めます。閾値を超えたテンソルを1つ初期化した時点で、以降の乱数列すべてがずれます。

閾値の式とT4/L4の数値は、DistributionTemplates.h をmainブランチから直接取得して読み、本記事で検算したものです。ただしコードを実行して再現したわけではありません。また閾値以下のテンソルが本当に全GPUで同一になるかはコードの論理からの導出で、実機では確認していません。

PyTorchはこれを「仕様内」としている

issue #194676 は、T4とL4で要素数 40,960 なら8/8の経路が一致し、40,961 では0/8という測定を出し、torch.use_deterministic_algorithms(True) でも変わらないと報告しました。メンテナの結論は「So this does fall within intended behavior」です。

一方で未マージのPR #194828 は固定シードの出力を変えるBC-breaking変更を提案しており、自己申告で「This PR changes the values a fixed seed produces on CUDA and ROCm」「Because grid.x depends on multiProcessorCount, different GPUs produce different values」と書いています。この指紋はパッチ一つで将来の学習から消えます。

issue と PR は本文テキストは取得できましたが、open/closed の状態・作成日・ラベルは取得できていません。「未マージのドラフト」は説明文とコメントからの推定で、GitHubの状態表示で確認したものではありません。

なぜ日本でまだ語られていないのか

地政学としての本件は、もう日本語になっています。11月14日に日本語の長文記事が出ており、Philox、SM×2,048の算術、σ値、AMDの対照実験、実機再現、独立再実装まで扱っています。内容は薄くありません。

未消化なのはPyTorch側です。本記事が確認した日本語3記事の本文にcalc_execution_policy も cuRAND もブロックサイズも登場しません。「閾値がある」「こう計算する」「超えると後続の乱数列ごとずれる」「PyTorchは仕様内としている」は空白です。原報告もSM数までしか書かず、英語の二次報道はシード・RNG・SM数・σ値のいずれにも触れていません。

一次ソースが3か所に分散しているのが理由です——指紋は報告者のブログ、機構はPyTorchのソース、「仕様内」の判断はissueスレッド。突き合わせた記述がどこにもありません。

エンジニアにとって何が変わるか

設計。再現性に、機種という軸が1本増えました。「同じシード・同じコードなら同じ重み」は、閾値を超えたテンソルをCUDA上で初期化した瞬間に成り立ちません。A100の実験をH100で再現して初期値が合わないのは、バグではなく仕様です。

設計その2。公開するチェックポイントはハードウェア構成を漏らしています。学習が触らなかった重み(未使用の語彙行など)は初期値のまま残り、相関 0.9999 を超える精度で復元できます。公開する側には出自情報が意図せず付いてきます。

調達。報告書の推定は5モデル合計で相当な規模にのぼりますが、著者自身が「We are not confident in these estimates」と書いています。効くのは金額ではなく「供給継続性に規制リスクが乗る」可能性の一点です。

キャリア。面白いのはモデルの中身ではなく生成プロセスの痕跡を読んでいる点です。フォレンジックの対象が、ログやバイナリからモデルの重みへ広がりました。

報告書の数値(σ値、一致行数、対照実験の値など)はすべて著者の測定値で、本記事は再現していません。本記事が独立に確認したのはPyTorch側だけです。また報告書の本文は約5万2千字のうち約4万字を逐語で読み、残りは要約経由です。モデルとSM数の対応には媒体間で食い違いがあり、本記事は原報告とリポジトリの値を採りました。

出典

PROJECTS

データ・AIやクラウド基盤の領域では、こうした案件を扱っています。

掲載は案件の一例です。単価・稼働条件・技術要件を含む詳細はご登録後にご覧いただけます。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方