クラウド・インフラ

倍率はインターコネクトで縮む——NVIDIAが重み転送をコレクティブに書き直して2.7〜5.7倍

イーランサー・ジャパン株式会社
この記事の要点

NVIDIAが2026年11月6日、AIの学習で生じる大量のデータ転送を速くする新しい仕組み「Reshard」を公開しました。AIに追加の訓練を施す際には、文章を生成する側のGPUと、学習して賢くする側のGPUを分けて動かします。学習側で更新した内容を生成側へ送る作業が毎回発生し、これがモデルの大きさそのままの量になります。大型のモデルでは1回あたり数テラバイトを、訓練の1ステップごとに流すことになります。

従来はいったんデータ全体を組み立ててから全員に配っていたのを、必要な相手に必要な部分だけ届ける方式に書き直し、2.7〜5.7倍の高速化を報告しています。ただし同じモデルでも、GPU間の配線が速い機種では倍率が2.7倍に縮みます。また訓練1ステップ全体で見た短縮は12.7%で、この数字はブログではなく論文にだけ書かれています。

用語の説明
  • GPU/もともと画像処理のための半導体で、いまはAIの計算を担う中心的な部品のことです。
  • モデル/学習の結果を数値のかたまりとして保持したもので、AIの本体にあたるものです。
  • ステップ/学習を少しずつ進めるときの1回分の単位のことです。これを何万回も繰り返します。
  • テラバイト/データ量の単位で、1テラバイトはおよそ1兆バイトです。

「2.7〜5.7倍」の分母が何かを見ないと、この数字は調達判断に使えません。同一モデル・同一レイアウトで、H100が5.7倍、GB200が2.7倍。インターコネクトが良くなるほど倍率は縮みます。そして最も実務的な数字——ステップ時間が12.7%縮んだ——はブログには載っておらず、論文にだけあります。

要点

何が起きたか

非コロケートなRLポストトレーニングでは、ロールアウトを推論GPU群が生成し、ポリシー更新は別の学習GPU群で回ります。refit はこの間の重み転送を指します。

両者で並列化マッピング(TP/EP/PPなど)が違うため、同じパラメータでも各GPUが持つシャードは一致しません。

従来の gather-and-broadcast は、パラメータごとに学習側がall-gatherで完全テンソルを作り、推論側へbroadcastし、各推論GPUが必要なシャードだけ残します。実装は単純ですが、シャード1つしか要らないGPUがテンソル全体を受け取ります。

Reshard はこれをDTensor → DTensor のリシャードとして書き直します。両端のレイアウトをデバイスメッシュと placements で記述すれば、ライブラリが重なりを導出してその領域だけを送り、完全テンソルの中間形式が消えます。

レプリケーションをネットワークに出さない

本質はこの一行です。交差は次元ごとに [max(l_s, l_t), min(u_s, u_t)) を取り、全ランクが同一の列挙を走らせるのでプラン合意の通信が要りません。

そのうえで、送信先シャードごとに寄与の数とNVLinkドメイン内のレプリカ数 ρ からリーダーを決めます。

結果としてレイテンシがレプリケーション係数にほぼ依存しなくなります。論文の単層ベンチ(7168MBのBF16テンソル、GB200 NVL72、NDR InfiniBand、NIC片方向50GB/s)では、flat direct send が r_d=2 の20.859msからr_d=8 の77.258msへ伸びるのに対し、階層版は10.251/13.834/9.775msとほぼ動きません。r_d=8(64GPU)で7.9倍です。

倍率はインターコネクトで縮む

ブログの表には DeepSeek v3 671B・PP16×EP16 → TP32×DP8 がH100とGB200の両方にあります。

Reshard を入れることと NVL72 を買うことは、refit に関して部分的に代替関係にあります。H100で測った5.7倍を、GB200の投資判断にそのまま使うことはできません。

なお、この倍率の分母は naive 実装ではありません。ブログの「14.9秒」は、GitHubのDiscussion #3315がnaiveに対し4〜10倍を出した最適化済みbroadcastの水準と揃います。

見積もりに使うべきは倍率ではない

ブログに載っているのは refit 単体の倍率です。実務で効くのは、それがステップ時間のどれだけを占めていたかです。

論文のend-to-endでは、256GPU・64ノードのDeepSeek-V3で重み同期がステップ時間の29.4%。同期が5.78秒→2.77秒(2.09倍)になり、ステップは19.68秒→17.18秒、つまり12.7%の短縮でした。

29.4%で2.09倍ならステップは12.7%。同期が10%しか占めていなければ5%程度にしかなりません。この換算を飛ばして倍率だけを見ると、桁で見積もりを外します。

制約が設計を縛る

推論側のレプリカ数 ρ が大きいほど flat 方式との差が開くので、推論側DPを増やす構成は Reshard では相対的に有利になります。一方で制約が設計を縛ります。

設定を書いただけでは効いているとは言えません。設定後に refit レイテンシを実測して経路を確認する必要があります。

なぜ日本でまだ語られていないのか

一次ソースが3層に割れており、しかもブログが論文を一度もリンクしていません。

日本語側の到達点は broadcast と ring です。Zennの「分散 RL post-training の通信プリミティブ入門 — slime と verl」(2026年6月30日)は重み同期をcolocated(CUDA IPC)/disaggregated full(NCCL broadcast)/delta に分け、verlの CheckpointEngineRegistry(naive、nccl、nixl、mooncake、kimi_ckpt_engine)の5バックエンドまで降りています。

ただしそこで扱われているのは broadcast と ring であり、M-to-Nのシャード単位ルーティングもDTensorもNeMo RLも出てきません。概念は輸入済みで、M2Nだけが抜けている構図です。

エンジニアにとって何が変わるか

調達。見積りに使うべきは倍率ではなく、重み同期がステップ時間に占める割合です。29.4%で2.09倍ならステップは12.7%、同期が10%なら5%程度にしかなりません。しかも速いプラットフォームでは倍率自体が縮むので、H100で測った5.7倍をGB200の投資判断に使わないことです。

設計。推論側DPを増やす構成が有利になる一方、生成側PP>1、SGLang/TRT-LLM宛て、colocated構成はいずれも現時点で対象外です。先に自分の構成が対象に入るかを確かめるほうが早い、という性質の機能です。

運用。無言のフォールバックがあるため、設定ファイルの値を根拠にできません。refitレイテンシを実測して経路を確認する手順を、導入作業の一部として組み込む必要があります。

キャリア。DTensorのレイアウト記述、NVLinkドメインとNICの帯域差の見積もり、そして「どこがボトルネックで、直したら全体の何%か」を分解して説明できること。この3点が並ぶ職能で、分散学習基盤の調達判断に直接効きます。

確認できなかった点

出典

本記事は2026年11月8日時点で公開されている情報に基づいています。数値はすべてNVIDIA自身の報告(開発者ブログ、arXiv:2610.07516、自社リポジトリ)に依拠しており、第三者による追試は確認できていません。倍率の計算およびベースライン実装の同一性は本記事の推定です。生成側PP>1の非対応と無言フォールバックは取得時点のPR/Issueの記述に基づくもので、導入前に現在のHEADでご確認ください。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方