クラウド・インフラ

8ノードで統合メモリ1TB——753Bモデルをローカルで回したときの実測値

「フロンティア級モデルをオンプレで回す」という話は、これまで見積もりが立ちませんでした。NVIDIAが公開した8ノードクラスタの実測値は、そこに具体的な数字を与えています。載るかどうかだけでなく、何がボトルネックになるかまで表に出ているのが要点です。

要点

• 構成／128GB×8ノードで統合メモリ1,024GB（1TB）。ノード間はDGX Spark内蔵のConnectX-7をRoCEで接続
• 載ったモデル／GLM 5.3（753B）。NVFP4量子化で約470GB
• デコード性能／入力8Kで、同時実行1なら31 TPS、4なら51 TPS（ユーザーあたり21）、8なら67 TPS（ユーザーあたり18）
• トポロジの差／同じ8ノードでもスイッチ接続52.58 TPS対スイッチレスのリング40.11 TPS
• 学習側／nanochat（約896.5Mパラメータ）で8ノード68,079 TPS、スケーリング効率97.4%
• 価格／128GB版は6,950ドル。8台で単純計算約5.6万ドル

何が起きたか

NVIDIAが2026年10月22日、技術ブログ「Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes」を公開しました。8ノード対応は10月21日のGTC Berlin基調講演に合わせた発表です。

ノード間接続はDGX Spark内蔵のConnectX-7をRoCEで使い、トポロジは3種類用意されています。

• 2ノード／ダイレクト接続
• 4／8ノード／スイッチレスの物理リング
• 4／8ノード／スイッチ接続

構成管理はNVIDIA SyncのCluster Assistantですが、Sync側の8ノード対応は「年内」とされており、現時点では手動構成が前提です。

推論スタックはvLLM。集合通信はNCCLが既定で、Spark向けall-to-allバックエンドRoCEnanteがFlashInferにマージされ、起動テスト失敗時はNCCLへフォールバックします。ルーティングはNeMo Switchyardが担います。

753Bが「載る」とはどういうことか

1TBの統合メモリに対し、GLM 5.3はNVFP4量子化で約470GB。MTP3（マルチトークン予測）付きで提供されます。

入力8,000トークンでの実測は次のとおりです。

• 同時実行1／デコード合計 31 TPS（ユーザーあたり31）
• 同時実行4／デコード合計 51 TPS（ユーザーあたり21）
• 同時実行8／デコード合計 67 TPS（ユーザーあたり18）

プレフィルは同時実行数に関係なく一定で、デコード側が律速します。GLM 5.3 Flashなら8ノードで約80 TPSとされています。

この数字の読み方は用途で分かれます。ユーザーあたり18 TPSは、対話UIの応答速度としては厳しい。一方、バッチ処理や常時稼働のエージェントなら成立します。

効くのはノード数より、スイッチの有無

実務上いちばん効くのはトポロジの選択です。Qwen3.8-27B（NVFP4、同時実行1、入力8,192／出力256、投機デコードとMTPなし）の実測値を並べます。

8ノードのスイッチレスのリングは40.11 TPS。4ノードのスイッチ接続（36.34 TPS）とほとんど変わりません。つまりスイッチなしでノードを4台から8台へ倍増させても、伸びは約1.2倍しか取れない。

RoCEnante自体の寄与も数字が出ています。8ノードのデコードスケーリングが3.05倍から4.43倍へ、4ノードで2.56倍から3.06倍へ。ただしスイッチ接続のみ対応で、NVIDIAは高同時実行・大規模クラスタ・リング構成ではNCCLを推奨しています。

モデルを混ぜる：Switchyardの数字

ルーティング側にも実測があります。Qwenレプリカ3つ（各2ノード）とMiniCPMレプリカ2つ（各1ノード）をSwitchyardで並べた構成です。

• 精度／92問のツール利用ベンチで91/100。Qwen単独と同スコア
• Qwenへ50%／総スループットが約1.5倍
• Qwenへ25%／総スループットが約3.0倍

精度を落とさずにスループットを3倍にできた——という読み方になります。1クラスタ＝1モデルという置き方が、必ずしも最適ではないことを示す数字です。

学習側は素直に伸びる

• 1ノード／8,741 TPS
• 2ノード／17,202 TPS（効率98.4%）
• 4ノード／33,640 TPS（効率96.2%）
• 8ノード／68,079 TPS（7.79倍、効率97.4%）

nanochat（約896.5Mパラメータ、データ並列）での測定です。小規模な事前学習や継続事前学習なら、8ノードがほぼ線形に効く。推論側のトポロジ依存とは対照的です。

なぜ日本でまだ語られていないのか

一次ソースがNVIDIAの開発者ブログに閉じているためです。「8ノードで1TB」という見出しは英語圏・中国語圏のメディアが拾っていますが、上のスケーリング表とRoCEnanteの比較値を載せているのはNVIDIA自身のブログと一部の技術系サイトだけで、多くの二次媒体はメモリ容量と対応台数しか書いていません。

日本語側は10月上旬の価格改定までは報じられましたが、8ノード対応と実測値の記事は確認できませんでした。

エンジニアにとって何が変わるか

①調達

オンプレ推論の見積もりが現実的に書けるようになりました。128GB版は6,950ドル（発売時は3,999ドル、メモリ価格の高騰で上昇）。8ノードなら単純計算で約5.6万ドルで、これで753Bが同時実行8・ユーザーあたり18 TPSです。

外に出せないデータや、トークン課金が読めない常時稼働エージェントなら、比較表に載る水準になります。同時期に64GB版が4,999ドルで追加されており、1TBを狙うなら128GB版8台が条件です。

②設計

スイッチの有無が分岐点になります。スイッチレスのリングでは8ノードにしても4ノードから約1.2倍しか伸びないため、ノードを増やす前にスイッチの予算を確保するという順序になります。

もう一つは、1クラスタ＝1モデルではなくSwitchyardでモデルプールを混在させる設計です。精度を保ったままスループットを3倍にした実測がある以上、検討の価値があります。

③キャリア

問われるのはモデルを使う力ではありません。RoCE、NCCL、集合通信バックエンド、量子化フォーマット、投機デコードといった分散推論のインフラ側の知識です。マネージド推論ではこの層は見えません。

1TBクラスのローカル推論を設計・チューニングできる人材は、データ主権の制約が強い金融・医療・公共の案件でそのまま値段がつきます。

確認できなかった点

• GLM 5.3のプレフィル／NVIDIAブログが示すとされる「入力8Kで1,600 TPS」は、本記事が参照できた二次ソースには記載がなく、独立に確認できていない
• 国内価格／8ノード構成の国内価格、および64GB版8台の扱い（1TBは128GB版8台の数値）
• NVIDIA Sync／8ノード対応の正式な出荷日（「年内」とのみ記載）
• 約5.6万ドル／6,950ドル×8の単純計算。OEMにより実売は異なる
• 第三者検証／ベンチマークはすべてNVIDIA自身の計測。独立した追試は確認できていない

出典

• 一次／NVIDIA Technical Blog「Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes」（2026年10月22日）
• 一次／NVIDIA Blog「Bringing the Spark to Europe」および GTC Berlin 2026 基調講演（2026年10月21日）
• 二次／Data Studios「NVIDIA DGX Spark eight-node clusters」／スケーリング表、GLM 5.3の実測、nanochat、Switchyardの数値を独立に確認
• 二次／ServeTheHome「NVIDIA DGX Spark 64GB Launched and Big 128GB GB10 Price Increases」（2026年10月3日）／価格
• 二次／Guru3D、Notebookcheck ほか／8ノード対応と1TBの独立確認

本記事は2026年10月22日時点で公開された情報に基づいています。数値はNVIDIAの技術ブログの内容を、独立した二次ソースで照合したうえで記載しました。価格・提供構成は変更される可能性があります。