クラウド・インフラ

72枚のラックを64枚で使う——NVL72で「使えるGPU」が27%変わる、スライス幅の話

イーランサー・ジャパン株式会社
この記事の要点

SkyPilot社が2026年10月29日、NVIDIAの最新GPUラック「NVL72」の使い方について報告を公開しました。NVL72は72枚のGPUを1本の棚にまとめた製品で、中は18台の小さなサーバーに分かれています。ところが計算の割り当てを18台ひとまとまりにすると、1台が故障した瞬間にその棚からは1台も使えなくなります。16台ずつで区切れば2台分が予備として残るため、同じ数の棚から使えるGPUが27%増える、という内容です。

128本の棚・故障率2%という条件での試算で、16台区切りなら2,037台、18台区切りなら1,602台という数字が示されています。本記事ではこの数字を確率の計算で検算し、小数まで一致することを確認しました。GPUを何枚買うかではなく、何台ずつの単位で区切るかという設計の話です。

用語の説明
  • GPU/もともと画像処理のための半導体で、いまはAIの計算を担う中心的な部品のことです。
  • NVL72/72枚のGPUを1本の棚に収め、内部を専用の高速な配線でつないだNVIDIAの製品のことです。
  • 故障率/ある時点で機器が使えなくなっている割合のことです。ここでは棚の中の1台あたりの割合を指します。
  • 予備/故障した機器の代わりにすぐ差し替えられるよう、あらかじめ空けておく分のことです。

ラックスケール機の見積もりを「GPU枚数÷72」で出していると、故障率2%で3割外します。NVL72のコンピュートトレイは18台。ところが並列化のグループは2のべき乗で切られるため、18ノードで切ると予備がゼロになり、1台落ちた時点でそのラックの供出量がゼロになります。見るべきはスライス幅と予備方針です。

要点

何が起きたか

SkyPilotのRohan Sonechaが2026年10月29日、「Grace Blackwell needs a new scheduler」を公開しました。主張は一行です。ラックスケール機では、既存スケジューラのノード単位の空き枠探索が、使えるはずの容量を落としている。

NVL72は72枚のBlackwellを1つのNVLinkファブリックに載せたラックで、18台のコンピュートトレイ(1台4枚)と9台のNVLinkスイッチトレイからなります。

つまりラックの境界は、帯域が一桁変わる境界です。スケジューラがこの境界を知らずにノードを拾うと、同じGPU枚数でも通信の前提がまったく変わります。

18は2のべき乗ではない

これが問題の核にあります。コンピュートトレイは18台でGPUは72枚。ところが並列化のグループは2のべき乗で切られます。

16ノード=64枚なら素直に収まり、残る2ノードが予備になります。18ノードで切ると予備がゼロになります。

NVIDIAのSlurm記事(2026年5月7日)はこう書いています。--segment=9では「1台使えないだけで、そのドメインは9ノードしか供出できない」。--segment=16では「使えないノードが3台未満であれば16ノードを供出する」。16は2台の故障を吸収し、18は0台しか吸収しません。

故障耐性の差は非線形になる

ただしNVIDIAの記事は、この関係をλ(ノード故障率)に対するグラフで示すだけで、クラスタ規模も数値も載せていません。数字を入れたのはSkyPilotです。本記事では、これを二項分布で検算しました。

ラック1本の期待供出ノード数は、18ノードのうちu台が落ちる確率に、残りから切り出せる完全スライス分min(⌊18/s⌋·s, ⌊(18−u)/s⌋·s)を掛けて足し上げたものになります。

8ノードが16ノードをわずかに上回る、という結果の読み方には注意が必要です。16ノードは8ノードの2倍のGPUを1つのNVLinkドメインに収められます。その差が0.26%なら、容量を捨ててでも16ノードで切る価値があります。

ラック内に収める価値は実測で出ている

なぜドメイン幅にそこまでこだわるのか。通信量の内訳が答えになります。

Megatron-Coreの論文(arXiv:2603.07685)は§1.2で「最適化されていないall-to-allは学習時間の最大60%を占めうる」とし、§4.2で通常20〜60%、ノード跨ぎ(H100・DeepSeek-V3のEP64)で40〜60%、NVLinkドメイン内(GB200 NVL72のEP64)で約20%と分けています。

推論側はInferenceXの2026年5月のベンチが、DeepSeek R1 0528 FP4・125 tok/s/userでGB200 NVL72(EP=32)4,130 tok/s/GPU 対 B200(EP=8)941 tok/s/GPU、4.39倍を出しています。

ただし同記事は、250 tok/s/user以上ではB200が並ぶ(0.97倍)とも書いています。優位はカーブの中腹に集中しています。動作点を言わずに「4.4倍」だけを持ち出すのは、調達判断として危険です。

予備ノードの要否は故障率から出る

16ノードで切れば2ノードが予備として残る、という設計が成立するかどうかは、故障率の実測値にかかっています。

MetaはPrometheusの学習実行MTBIを約47,000 GPU時間、ファームウェア修正後は54,000 GPU時間超、目標を約100,000 GPU時間と書いています。

SkyPilotはこれを1ノード4枚で割って約490日、18ノードで割ってラック単位約27日とし、128ラックなら予備なしでフルラックのジョブが約5時間ごとに組めなくなると結論しています。

Metaが32,768枚に523ラックを充てている比率——512ラックで足りる計算に対し約2%の余裕——は、そのまま見積もりの出発点になります。

なぜ日本でまだ語られていないのか

決定的な数字が、一次ソースのどこにも単独で存在しないためです。

4本を並べて初めて「ラック単位の調達判断」という一つの問題に見えます。2026年10月29日時点で日本語の解説は確認できず、英語側でもHacker Newsで50点にとどまり、二次媒体の要約も見当たりません。

エンジニアにとって何が変わるか

調達。NVL72の見積もりを「GPU枚数÷72」で出していると、故障率2%で3割外します。見るべきはスライス幅と予備方針です。

設計。並列化グループを72ではなく64に合わせます。TPとEPはラック内、PPとDPはラック跨ぎ。16ノードで切れば2ノードが予備として残り、SkyPilotのFrontier Trainerは同一ラック内の予備へホットスワップし、尽きればスライスごと健全なラックへ移します。

さらにAuto Defragは、トポロジ由来でブロックされたジョブのために再起動安全なワークロードだけをプリエンプトしてラックを空けます。チェックポイントから再開できないジョブは、この容量回収の対象外に置かれる代わりに、空きを待たされる側になります。再起動安全性が性能要件になりました。

キャリア。スケジューラ、トポロジ、信頼性モデリングの3点が並ぶ職能です。Slurmのtopology/block、IMEXドメイン、NVLinkパーティション、そして二項分布でラックの期待供出量を出す計算。

NVIDIAのGR00T N1.7の事前学習(512枚のGB300/128ノード)では、素朴な配置をラック単位のスライス配置に変えただけでスループットが14.4%改善し、イテレーション時間が1.59秒から1.39秒になったとSkyPilotは報告しています。モデルにもカーネルにも手を入れずに出た数字です。

確認できなかった点

出典

本記事は2026年10月29日時点で公開されている情報に基づいています。2,037/1,602という期待供出ノード数は、SkyPilotの公開値を本記事で二項分布により検算し、小数まで一致することを確認したものです。ただしモデルの前提はSkyPilot側で公開されていません。本記事の数値は、SkyPilotの自社測定・自社観測に依拠する部分が多く、第三者による追試は確認できていません。導入にあたっては、お使いの構成での実測をご確認ください。

CONSULTATION

案件をお探しの方へ

イーランサーでは、専任担当がご経歴と希望条件を整理したうえで案件をご提案し、条件面の調整もお手伝いしています。すぐに稼働できる状態でなくても、情報収集としてご相談いただけます。

ご登録いただいた情報が企業に公開されることはありません。氏名・連絡先を伏せたスキルシートを使用します。登録から案件のご紹介、契約手続きまで費用は一切かかりません。

案件を見る
案件をお探しの方 人材をお探しの方