倍率はインターコネクトで縮む——NVIDIAが重み転送をコレクティブに書き直して2.7〜5.7倍
NVIDIAが
従来は
- GPU/もともと
画像処理の ための 半導体で、 いまは AIの 計算を 担う 中心的な 部品の ことです。 - モデル/学習の
結果を 数値のかたまりと して 保持した もので、 AIの 本体に あたる ものです。 - ステップ/学習を
少し ずつ 進める ときの 1回分の 単位の ことです。 これを 何万回も 繰り返します。 - テラバイト/データ量の
単位で、 1テラバイトは およそ1兆バイトです。
「2.7〜5.7倍」の
要点
- 公開/NVIDIAが
2026年11月6日、 RLポストトレーニングの 重み転送 (refit)を 新しい コレクティブReshardと して 定式化し、 NeMo RL上の 実測で2.7〜5.7倍を 報告した。 参照実装 NCCL M2N はApache 2.0で 公開 - 転送量/転送量は
モデルサイズそのもの。 Kimi K3 (2.8兆パラメータ)は BF16で5.6TB、 従来方式では 二段で約11.2TBに なる。 これを毎トレーニングステップ流す - H100と
GB200 /DGX H100のDeepSeek v3 671Bは14.9秒→2.6秒 (5.7倍) 。同一モデル・同一レイアウトの DGX GB200は6.1秒→2.3秒 (2.7倍) 。ベースラインが速い ハードウェアでは 倍率が 縮む - 効き目/ステップ時間への
効き目は ブログに ない。 arXiv:2610.07516に だけ ある 数字は、 256GPUの DeepSeek-V3で 重み同期がステップ時間の 29.4% 、同期が 2.09倍に なって ステップは12.7%短縮 - 対象/対象はFFNの
重みだけ (全パラメータの約95%)。 QKVや Mambaは 従来経路に 残る - 注意/
refit_transport: nccl_reshardを書いても無言で フォールバックする 経路がレビューで 指摘されている。 設定後に 実測で 経路を 確認する 必要が ある
何が起きたか
非コロケートな
両者で
従来の
Reshard は
レプリケーションをネットワークに出さない
本質は[max(l_s, l_t), min(u_s, u_t)) を
そのうえで、ρ から
- ネットワーク/各寄与は
リーダー経由でドメインに 一度だけ 入る - ドメイン間/他ドメインへは
リングで 1コピーずつ - ドメイン内/NVLinkで
複製される - 負荷/リーダー間の
負荷差は 最大1なので NIC 使用も 均される。 ネットワークと NVLinkは パイプラインで 重なる
結果とr_d=2 のr_d=8 の77.258msへr_d=8(64GPU)で7.9倍です。
倍率はインターコネクトで縮む
ブログのPP16×EP16 → TP32×DP8 が
- ベースライン/14.9秒 対 6.1秒。
NVL72が 2.4倍速い - Reshard後/2.6秒 対 2.3秒。
ハードウェア差が ほぼ 消える
Reshard を
な
見積もりに使うべきは倍率ではない
ブログに
論文の
29.4%で
制約が設計を縛る
推論側のρ が
- 対象/FFNの
約95%だけ。 QKVや Mambaは 従来経路 - メッシュ/1〜2
次元かつdisjoint必須 - 必須設定/
colocated.enabled: false - 生成側PP/PP>1は
現時点で (Issue #4104、拒否される pipeline_parallel_size must be 1 (got 2)で停止)。 従来の broadcast経路に この ゲートは ない - 非対応/SGLang/TRT-LLM宛ても
非対応 - 無言の
退避 /PR #2971のレビューは、 data_plane.enabled: true併用時にgrpo_sync.py経由のrefitが と毎回 broadcastへ 無言で フォールバックする 指摘している (コミット aa341e6時点)。既定は null
設定を
なぜ日本でまだ語られていないのか
一次ソースが
- 入口/2026年11月6日の
NVIDIA開発者ブログ。倍率しか 残らない - アルゴリズムと
効き目 /arXiv:2610.07516(2026年10月5日、 NVIDIA 9名)。ステップ時間12.7%は ここにしかない - 制約と
落とし穴 /NeMo RL のPRと Issue。ここにしかない - ベースラインの
素性 /GitHubのDiscussion #3315まで 降りないと 分からない
日本語側のCheckpointEngineRegistry(naive、
ただし
エンジニアにとって何が変わるか
調達。見積りに
設計。推論側DPを
運用。無言の
キャリア。DTensorの
確認できなかった点
- ブログの
表の /Table 2には測定条件 GPU台数、 ノード数、 反復回数、 分散、 信頼区間が いずれも 記載されていない。 論文の 単層ベンチは warmup 3回・計測10回・全ランク最大値、 正当性確認は 各点3回と 明記されているが、 ブログの NeMo RL実測に ついては この 種の 記述が ない - マイクロベンチの
条件 /ブログの「Qwen3.8 2.4T BF16 で 4.3秒」は、 ハードウェア・GPU台数・並列レイアウトが いずれも 示されていない - ベースラインの
同一性 /ブログのgather-and-broadcast が Discussion #3315 の 最適化後の 実装である ことは、 数字の 水準 (235Bで 5秒 対 6.4秒、 DSV3で 14秒 対 14.9秒)からの 本記事の 推定である。 ブログも #3315 も、 両者が 同一実装だと 明言していない - 倍率の
計算 /「2.4倍」 「5.7倍」 「2.7倍」等は ブログの 表の 値からの 本記事の 計算である。 ブログ自身の 表記は 「2.7x to 5.7x」のみで、 どの 行が どちらに 対応するかは 明示されていない - 0.5秒の
差分 /論文のend-to-endでは、 重み同期が 3.01秒 縮んでいるのに ステップ時間は 2.50秒しか 縮んでいない。 差分の 約0.5秒に ついて 論文に 説明は なく、 本記事も 踏み込んでいない - 収束への
影響 /KL誤差 0.001869 対 0.001912 は論文自身が 「限定的な 安定性チェックであって 収束の 証拠ではない」と している。 本記事も 収束への 影響に ついては 何も 述べていない - 性能モデルの
性質 /論文のT_SOL = max(T_network, T_NVLink)は下限であり、 chunking・プロトコル・ 起動コストを 無視していると 明記されている - 量子化経路/MXFP8等での
挙動は 本記事では 扱っていない。 MXFP8 recipe 向けの reshard 適用は PR #3865 と して 別に 進んでいるが、 状態と 数値は 確認していない - PR/Issueの
現在の /PR #2971・#3739・Issue #4104 に状態 ついて、 取得できた 内容に マージ状態・日付・作者が 含まれていなかった。 したがって 「レビュー時点で 無言の フォールバックが あった」 「生成側PP>1が 非対応」はその後 修正されている 。可能性が ある 導入前に 現在の HEADで 確認が 必要 - 参照実装の
要求環境 /nccl-extensionsのREADMEには NCCL/CUDAの 要求バージョンも 対応レイアウト一覧も 記載が ない。 READMEは nccl_m2n を 「Experimental library」と 記述している。 取得時点で star 36、 fork 10、 コミット440件。 コミット日時は 取得できていない - 機能の
位置づけ /NeMo RL v0.8.0 のリリースノートは 取得に 失敗しており、 この 機能が experimental か 既定かの 公式な 位置づけは 確認できていない - 第三者の
追試 /論文はTensorHub、 torchstore、 Monarch、 HybridFlow/veRL、 LlamaRL を 関連 研究と して 挙げるが、 いずれとも 実験比較を していない。 第三者に よる 再現報告も 確認できていない。本記事の 数値は すべて NVIDIA自身 (ブログ、 論文、 自社リポジトリ)の 報告である - 日本語記事の
不在 /検索結果の範囲での 確認である。 ある 日本語ニュースまとめが Reshardに 言及している ことは 検索結果から 分かったが、 当該ページの 取得に 失敗した ため 言及の 深さは 確認できていない
出典
- 一次/NVIDIA Technical Blog
「Accelerating Reinforcement Learning Weight Refit with the Reshard Collective」 (2026年11月6日、 Youngeun Kwon・Kaushik Kandadi Suresh・Sreeram Potluri・Terry Kong・Sangkug Lym) /Reshardコレクティブの 定義、 DTensor→DTensorの 定式化、 Table 1 の Kimi K3 2.8兆・5.6TB・約11.2TB、 Table 2 の H100/GB200 の 実測、 「2.7x to 5.7x」、 FFNが 約95%、 refit_transport: nccl_reshardとcolocated.enabled: false - 一次/arXiv:2610.07516
「NCCL M2N: A Layout- and Topology-Aware Collective for Distributed Tensor Resharding」 (2026年10月5日、 NVIDIA 9名) /交差導出と リーダー割り当て、 性能モデル、 単層ベンチ (flat 20.859/77.258ms 対 階層 10.251/13.834/9.775ms、 7.9倍)、 256GPUの DeepSeek-V3で 29.4%・2.09倍・ステップ12.7%、 KL 0.001869 対 0.001912、 v0.2の 制約と disjoint mesh要件 - 一次/GitHub NVIDIA/nccl-extensions
(参照実装。 Apache 2.0、 nccl_m2n/とnccl_ep/、READMEの 「Experimental library」 記述) - 一次/GitHub NVIDIA-NeMo/RL Discussion #3315
「NeMo-RL: Optimizing Non-Colocated Refit for Asynchronous RL」 (2026年7月22日) /gather-and-broadcastの 三段構成、 naive比4〜10倍、 reshardへの 「最大で 一桁」と いう 期待値 - 一次/GitHub NVIDIA-NeMo/RL PR #2971
「feat: NCCL-Reshard refit merge PR (final)」 /レビューでの コミット aa341e6時点の無言フォールバックの 指摘 - 一次/GitHub NVIDIA-NeMo/RL Issue #4104/生成側PP>1が
pipeline_parallel_size must be 1 (got 2)で拒否される、 従来broadcast経路には ゲートが ない - 一次/GitHub NVIDIA-NeMo/RL PR #3739/
refit_transportの値 null/mcore/nccl_reshard、既定は null、生成側PP>1・VPP>1・SGLang/TRT-LLM/ModelOpt非対応 - 参考/Zenn
「分散 RL post-training の 通信プリミティブ入門 — slime と verl」 (2026年6月30日) /日本語での 到達点の 確認用。 M2N・DTensor・NeMo RLへの 言及は なし - 参考/arXiv:2604.09107
「TensorHub: Scalable and elastic weight transfer for LLM RL training」/論文の 関連 研究。 M2Nとの 実験比較は ない
本記事は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
