公開モデルの重みからGPU機種が割れる理由は、PyTorchの1行にある——固定シードでも、機種が変われば初期値は変わる
学習済みの
この
- GPU/
同じような 計算を 大量に 並行して行う ための 装置で、 AIの 学習に 使われます。 - シード/乱数を
作る ときの 出発点に なる数で、 同じ 値なら 同じ 乱数列が 出るはずの ものです。 - 再現性/
同じ 条件で やり直した ときに、 同じ 結果が 得られる 性質の ことです。
「同じ
要点
- 報告/元OpenAIの
Will DePue (Unemployment Labs)が 11月12日、 中国4ラボの 公開モデル6本の 初期重みにBlackwell世代の SM数 が刻まれていると 報告した。49σ〜1,385σ(偶然の 上限は 約 8σ) - 判定対象/SM数。132=Hopper、148=B200/B300、152=GB200/GB300
- 機構/原因は
PyTorchの calc_execution_policyの1行である (本記事が ソースを 直接 確認)。SM数が グリッド幅を 決め、 グリッド幅が 「どの 乱数が どの 重み位置に 落ちるか」を 決める - 閾値/効き始めるのは
SM数 × ⌊maxThreadsPerSM / 256⌋ × 256を超えた とき。 T4 (40SM)で 40,960、 L4 (58SM)で 89,088 - 扱い/PyTorchは
これを (issue #194676)。公式ドキュメントに「仕様内」と している SM数の 記述は ない
何が起きたか
Blackwell判定は
校正も
- 実機再現/B300が
V4-Flashの 、GB200が469行中461行 Kimi K3の を13行全部 再現 - 対照実験/AMD MI300Xとの
対照では、NVIDIAと 分岐する で377値の うち NVIDIAに 363、 AMDに 0 一致 - 限界
(著者明記) /公開ウェイトが 必要、 PaddlePaddleと CPU初期化では 痕跡が 残らない、 Hopperは H800/H100 SXM/H200 を 判別できない。 そして「初期重みを 作った GPUの 同定であって、 学習場所の 特定ではない」
なぜ機種が刻まれるのか——PyTorchの1行
PyTorchでnormal_() でcurand_init(seed, idx, offset, &state) がidx は
本数をcalc_execution_policy で、block_size_bound = 256 なので、グリッド幅は
Hopper/Blackwellは maxThreadsPerSM = 2048 なので
閾値は計算できる
上限側がSM数 × ⌊maxThreadsPerSM / 256⌋ × 256 を
- T4(40SM)/
maxThreadsPerSM1024 → 閾値 40,960 - L4(58SM)/同 1536 → 閾値 89,088
- Hopper以降/同 2048
埋め込み行列は
副作用のcounter_offset も
閾値のDistributionTemplates.h を
PyTorchはこれを「仕様内」としている
issue #194676 は、torch.use_deterministic_algorithms(True) でも
一方でgrid.x depends on multiProcessorCount, different GPUs produce different values」と
issue と
なぜ日本でまだ語られていないのか
地政学と
未消化なのはcalc_execution_policy も
一次ソースが
エンジニアにとって何が変わるか
設計。
- 回避1/CPUで
初期化して .to(device)で移す - 回避2/初期値を
チェックポイントと して 配る - 確認/閾値は
get_device_properties()から2項目読めば 出る
設計
調達。報告書の
キャリア。面白いのはモデルの
報告書の
出典
- 一次/Will DePue
(Unemployment Labs) 「Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs」 (2026年11月12日) /6モデルの 判定、 SM→スレッド数 (132→270,336、 148→303,104、 152→311,296)、 探索空間と 偶然の 上限約8σ、 校正24件、 実機再現、 AMD対照、 規模推定 (著者が 「We are not confident in these estimates」と 明記)、 限界の 自己申告。本文約5万2千字の うち 約4万字を 逐語確認、 残りは 要約経由 - 一次/The PyTorch Authors
「aten/src/ATen/native/cuda/DistributionTemplates.h」 (mainブランチ) /本記事が raw取得して 。直接 読んだ calc_execution_policyのSMクリップ、 block_size_bound = 256、counter_offsetの式、 curand_init(seed, idx, offset, &state)。distribution_binary_kernelにはSMクリップが 無い。実行は していない - 一次/pytorch/pytorch issue #194676
「CUDA RNG is not reproducible across GPU models above a launch-geometry threshold」/T4と L4で 40,960 は 8/8一致・40,961 は 0/8、 use_deterministic_algorithms(True)でも変化なし、 メンテナの 「So this does fall within intended behavior」。状態・日付・ラベルは 取得できていない - 一次/pytorch/pytorch PR #194828
「 [cuda] [rng] Size random distribution grids by unroll factor」/固定シードの 出力が CUDA・ROCmの 両方で 変わるとの 自己申告。未マージ・ドラフトと いう 判断は 説明文と コメントからの 推定 - 一次/The PyTorch Authors
「Reproducibility」 (公式ドキュメント) /リリース間・プラットフォーム間の 再現性は 保証しないとの 記述まで。SM数・launch geometry・GPU機種の 記述は 確認範囲に 存在しない。 ページが 途中で 切れ、 引用は 要約経由 - 一次/macrogrants/checkpoint-forensics(GitHub、MIT)/
replay.py(GPU不要)、gpu_check.py、rows/、各モデルの 一致行数と 相関。 READMEの 自己限定 「This is the GPU that created the starting weights. It doesn't say where the training happened after that」。ソースと rows/の中身は 未確認、 実行も していない - 参考/TechCrunch
(2026年11月13日) /手法の 説明は 。ほぼ 無く、 シード・PyTorchの RNG・SM数・σ値の いずれも 登場しない 著者の 経歴の 記述は ここに 依拠 - 参考/XenoSpectrum
(2026年11月14日) /日本語での 到達点の 確認。 Philox、 SM×2,048、 σ値、 AMD対照、 実機再現、 独立再実装まで 扱う。 一方 calc_execution_policy・cuRAND・ブロックサイズ・閾値は本文に 登場しない - 参考/Hacker News
(2026年11月13日) /巡回に 使用
データ・AIや
掲載は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
