72枚のラックを64枚で使う——NVL72で「使えるGPU」が27%変わる、スライス幅の話
SkyPilot社が
128本の
- GPU/もともと
画像処理の ための 半導体で、 いまは AIの 計算を 担う 中心的な 部品の ことです。 - NVL72/72枚の
GPUを 1本の 棚に 収め、 内部を 専用の 高速な 配線で つないだNVIDIAの 製品の ことです。 - 故障率/ある
時点で機器が 使えなくなっている 割合の ことです。 ここでは 棚の 中の 1台あたりの 割合を 指します。 - 予備/故障した機器の
代わりに すぐ 差し替えられるよう、 あらかじめ空けておく分の ことです。
ラックスケール機の
要点
- 公開/SkyPilotが
2026年10月29日、 GB200/GB300 NVL72の ラックを18ノード単位ではなく 16ノード単位 で切ると、 同じ ラック群から 使える ノードが27%増えると 公開した - 数字/128ラック
(2,304ノード) ・ノード故障率2%で、 16ノード単位なら2,037ノード、 18ノード単位なら1,602ノード - 根拠/NVIDIAの
Slurmブロックスケジューリング記事が 示すモデル。 --segment=16なら18ノードの うち2台 落ちても できる。16ノードを 供出 --segment=18は1台落ちた 時点で 供出が ゼロ - 検算/
二項分布で 回すと2,037.3/1,601.6、 比1.272 。SkyPilotの 値と 小数まで 一致した - ラック内の
価値 /Megatron-Coreの論文では、 EPの all-to-allは 最適化前で 学習時間の20〜60%。 DeepSeek-V3の EP64は H100の ノード跨ぎで40〜60%、 GB200 NVL72の NVLinkドメイン内なら約20% - 故障率2%の
出どころ /MetaはPrometheusでMTBI約47,000 GPU時間を 報告し、 32,768枚を 動かすのに523ラック (37,656枚) を確保。 ラックごとに 8枚を 予備に している。 72枚の うち 64枚=16ノードである
何が起きたか
SkyPilotの
NVL72は
- 各GPUの
ポート /NVLinkポート18本。1本100GB/s双方向で合計1.8TB/s - 内部総帯域/18個の
NVSwitchチップに それぞれ1 本ずつ 繋ぎ、130TB/s。 完全ノンブロッキングで、 任意の 2枚間の レイテンシが 一様 - ラックを
跨ぐと /InfiniBandの400Gb/s——約50GB/sに 落ちる。 NVLink 5の 900GB/sから18分の 1
つまり
18は2のべき乗ではない
これが
16ノード=64枚なら
NVIDIAの--segment=9では--segment=16では
故障耐性の差は非線形になる
ただし
ラック1本のmin(⌊18/s⌋·s, ⌊(18−u)/s⌋·s)を
- 16ノード単位/p=0.02で2,037.3
- 18ノード単位/同条件で1,601.6。
比は1.272 - 9ノード単位/1,952.8。
16ノード比で−4.1%。 SkyPilotの 「4%少ない」と 合う - 8ノード単位/2,042.7。
16ノードを わずかに 上回るが 差は0.26%。 差が 1%を 割るのはp=0.033まで ——SkyPilotの 「約3.3%を 超えるまで 1%未満」と 合う
8ノードが
ラック内に収める価値は実測で出ている
なぜ
- TP
(テンソル並列) /層ごとに前方パスで 2回の all-reduceを 要する。クリティカルパス上に あって 計算と 重ねきれない - EP
(エキスパート並列) /MoE層ごとにdispatchと combineの2回の all-to-all を要する
Megatron-Coreの
推論側は
ただし
予備ノードの要否は故障率から出る
16ノードで
Metaは
SkyPilotは
Metaが
なぜ日本でまだ語られていないのか
決定的な
- SkyPilotの
ブログ /結論の27%はあるが、 モデルの 式が ない - NVIDIAの
Slurm記事 /モデルはあるが、 クラスタ規模も 数値も ない - Metaの
Prometheus記事 /故障率はあるが、 (ノード単位・ラック単位の 値が ない 「490日」と いう 語は 出てこない) - Megatron-Coreの
論文 /通信比率はあるが、 スケジューラの 話が ない
4本を
エンジニアにとって何が変わるか
調達。NVL72の
- 確認すべき
点1 /ラックあたり何ノードを 予備に 置くか - 確認すべき
点2 /スケジューラがトポロジを 認識するか (Slurmなら topology/blockと--segment、Kubernetesなら マルチノードNVLinkと IMEXドメインの 扱い) - 確認すべき
点3 /故障ノードの差し替えが ジョブ全体の 再起動を 伴うか - 確認すべき
点4 /推論なら動作点。 4.39倍は 125 tok/s/user付近の 値である
設計。並列化グループを
さらに
キャリア。スケジューラ、topology/block、
NVIDIAの
確認できなかった点
- 2,037/1,602の
出どころ /この 数値は NVIDIAの 記事には 存在しない。 NVIDIAの 図6は λに 対する グラフのみで、 クラスタ規模も 数値も 示していない。 二項分布での 検算は 一致したが、 SkyPilotの モデルの 前提 (故障の 独立性、 スライスの 再配置可否など)は 公開されていない - 490日・27日の
導出 /Metaの「約47,000 GPU時間」は クラスタ規模の 実行を GPU時間に 正規化した MTBIで、 1ノード490日・1ラック27日と いう 読み替えは SkyPilotの 導出。 Metaの 記事には 「490日」も ノード単位の 値も ない。 ファームウェア修正後の 54,000 GPU時間超を 使えば ノード約562日・ラック約31日に なり、 「5時間ごと」の 前提も 変わる - 「ラックごとに
8枚予備」の /Metaの解釈 これは NVLinkドメイン内の GPU単位の 予備で、 SkyPilotが 論じる ノード単位の スライス予備と 同一の 運用かは 確認できていない。 残る 稼働分が 64枚=16ノードで 一致する、と いう 対応づけは 本記事の 解釈 - 「約2%の
ノード不稼働」 /SkyPilotの自社観測で、 算定方法と 対象期間が 示されていない - TPを
NVLinkから /Hugging Faceの外すと 43%劣化 Ultrascale Playbookに 帰されているが、 一次ソースで 該当箇所を 確認できなかった - vLLMの
KVキャッシュ13.9倍 /Llama-3.1-70BをTP=2で 2枚の H100に 分けると KVキャッシュブロックが 13.9倍、 スループットが 3.9倍と いう 数値も、 SkyPilotの 引用元まで 確認できなかった - GR00T N1.7の
構成と /512枚の節約額 GB300/128ノードと いう 構成は NVIDIAの 動画に 帰されており、 動画の 該当箇所を 確認できていない。 14.4%の 改善と 「1万GPUクラスタで 学習1時間 あたり 約16,700ドル/1日あたり 約40万ドル」の 節約額は SkyPilotの 自社測定と 推定で、 第三者の 追試は ない - 機能の
提供範囲 /TAS/GPU Manager/Frontier Trainer/Auto DefragがOSS版で 使えるのか SkyPilot Platform限定なのか、 記事からは 判別できなかった
出典
- 一次/SkyPilot
「Grace Blackwell needs a new scheduler: 27% more usable GPUs from the same racks」 (2026年10月29日、 Rohan Sonecha) /27%、 2,037/1,602、 9ノード・8ノードとの 比較、 予備ノードと ホットスワップ、 Auto Defrag、 GR00T N1.7の 14.4% - 一次/NVIDIA
「Achieving Peak System and Workload Efficiency on NVIDIA GB200 NVL72 with Slurm Block Scheduling」 (2026年5月7日) / --segmentの故障耐性と スライスモデル、 図6 - 一次/NVIDIA
「Unlock Exascale Performance on NVIDIA GB200 NVL72 with Slurm Topology-Aware Job Scheduling」/トポロジ認識スケジューリング - 一次/arXiv:2603.07685
「Scalable Training of Mixture-of-Experts Models with Megatron Core」 (2026年3月) /§1.2の all-to-all 60%、 §4.2の EP64比較 - 一次/Engineering at Meta
「Inside Prometheus: Meta's Journey to a Gigawatt-Scale Supercluster」 (2026年10月19日) /MTBI約47,000 GPU時間、 523ラック、 ラック8枚予備 - 一次/InferenceX by SemiAnalysis
「GB200 NVL72 vs B200 on DeepSeek R1 670B」 (2026年5月23日) /EP幅と 動作点別の 実測、 4,130対941 tok/s/GPU、 250 tok/s/userでの 0.97倍 - 参考/NVIDIA
「Running AI Workloads on Rack-Scale Supercomputers」/NVLinkドメインと IMEXドメインの 階層 - 参考/NVIDIA Isaac GR00T
(N1.7の リポジトリ) - 参考/Crusoe
「Slurm block topology on Crusoe accelerated by NVIDIA GB200 NVL72」/事業者側の 適用例
本記事は
案件をお探しの方へ
イーランサーでは、
ご登録いただいた
