メラノックス (NVIDIA メラノックス) 920-9B210-00FN-0D0 インフィニバンドスイッチ技術ソリューション

このテクニカル ホワイト ペーパーは、アーキテクト、プリセールス エンジニア、運用チームに、以下を中心とした包括的なリファレンス デザインを提供します。メラノックス (NVIDIA メラノックス) 920-9B210-00FN-0D0インフィニバンドスイッチ。このソリューションは、ネットワークに起因する遅延、輻輳、従来のイーサネット ファブリックのスケーラビリティの制限など、最新の AI および HPC 環境における最も差し迫った課題に対処します。

1. プロジェクトの背景と要件の分析

大規模言語モデルのトレーニング、分子動力学シミュレーション、または天気予報のために大規模な GPU クラスターを導入している組織は、相互接続ファブリックという共通のボトルネックに直面しています。従来の損失のあるイーサネットでは、効率的な all-reduce および all-to-all の集合操作に必要な確定的なサブマイクロ秒の遅延を保証できません。実際の展開から特定された主な要件は次のとおりです。

• レイテンシに敏感な MPI ワークロード向けのエンドツーエンドのレイテンシは 1µs 未満
• ロスレス、ラインレート 400Gb/s/ポート、ヘッドオブラインブロッキングなし
• ネットワーク内コンピューティングにより、ホスト CPU から集合的な操作をオフロードします。
• ファブリックの再構築を必要としない、8 から 2,000+ GPU ノードまでのシームレスな拡張性

これらの要求により、私たちの設計チームは920-9B210-00FN-0D0次世代の低遅延ファブリックの基礎的な構成要素として使用されます。

2. 全体的なネットワーク/システム アーキテクチャの設計

提案されたアーキテクチャは、ノンブロッキングの完全二分帯域幅向けに最適化された 2 層リーフスパイン トポロジを採用しています。すべての計算ノード (GPU サーバー、ストレージ アプライアンス、管理ホスト) はリーフ スイッチに接続され、スパイン スイッチはリーフ間の任意対任意の接続を提供します。この設計により、オーバーサブスクリプションが排除され、通信パターンに関係なく予測可能な遅延が確保されます。

リファレンス 512 GPU クラスターの場合、16 個のリーフ スイッチと 8 個のスパイン スイッチを展開します。NVIDIA メラノックス 920-9B210-00FN-0D0。リーフ/スパイン リンクは 400 Gb/秒 NDR で動作し、ファブリックの総帯域幅が 200 Tb/秒を超えます。アダプティブ ルーティング (AR) と輻輳制御アルゴリズムがすべてのポートで有効になり、トラフィックのバランスを動的に分散し、インキャスト イベント中のホットスポットを回避します。

3. 920-9B210-00FN-0D0 の役割と主な差別化要因

の920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRスイッチはリーフとスパインの両方として機能し、ファブリック全体で一貫したパフォーマンスを提供します。その重要なアーキテクチャ上の利点は次のとおりです。

調達を評価するエンジニアは、920-9B210-00FN-0D0 インフィニバンドスイッチ OPN(注文部品番号) により、見積もりと納品が簡素化されます。相互運用性の検証では、920-9B210-00FN-0D0 データシートそして920-9B210-00FN-0D0の仕様ConnectX-7、BlueField-3 DPU、およびサードパーティのストレージ アプライアンスとの詳細な互換性マトリックスを提供します。

4. 導入と拡張に関する推奨事項

運用の中断を最小限に抑えるために、段階的な導入アプローチをお勧めします。

• フェーズ 1 (パイロット):8 ～ 16 GPU ノード + 2920-9B210-00FN-0D0スイッチ（シングルレールトポロジ）。 RDMA パフォーマンスを検証し、ベースライン メトリックを収集します。
• フェーズ 2 (部分生産):4 つのリーフ + 2 つのスパインを使用して 128 GPU にスケールします。アダプティブ ルーティングと SHARPv3 を有効にします。
• フェーズ 3 (完全生産):512 個以上の GPU に対して 16 個のリーフ + 8 個のスパインをデプロイします。 NVIDIA UFM を使用したマルチパス ルーティングとファブリック パーティショニングを導入します。

ケーブル配線には、5 メートル未満の場合はアクティブ光ケーブル (AOC) またはアクティブ銅線ケーブルを使用します。より長いスパインまたはラック間リンクの場合は、シングルモード ファイバーを備えた 400Gb/s NDR トランシーバーを導入します。のすべてのポート920-9B210-00FN-0D0互換エコシステムは、400Gb/s と 200Gb/s の動作モード間の自動ネゴシエーションをサポートします。

5. 運用、監視、トラブルシューティング

実稼働の準備には堅牢な可観測性が必要です。私たちは、920-9B210-00FN-0D0 InfiniBandスイッチOPNソリューションNVIDIA ユニファイド ファブリック マネージャー (UFM) を使用します。主な運用機能には次のものがあります。

• リアルタイムテレメトリー:Prometheus/Graphite 経由でエクスポートされたポートごとのカウンター、レイテンシ ヒストグラム、バッファ占有率、および輻輳通知。
• 自動フェイルオーバー:ケーブルまたはトランシーバーの障害時に 1 秒未満でリンクを再ルーティングします。
• パフォーマンス診断:SHARP パフォーマンス カウンターとファブリック アナライザー ツールが組み込まれており、排水の遅いノードを特定します。

一般的な問題については、を参照してください。920-9B210-00FN-0D0 データシートエラー コードと推奨される修正処置については、こちらを参照してください。容量の追加を計画する場合は、920-9B210-00FN-0D0 価格リーフのみの拡張とフルスパインの拡張の間のトレードオフのモデル。

6. 概要と価値の評価

のNVIDIA メラノックス 920-9B210-00FN-0D0ベースのソリューションは、RDMA/HPC/AI クラスターに対して決定論的なサブマイクロ秒のレイテンシ、ロスレス 400Gb/s スループット、ネットワーク内コンピューティングの高速化を実現します。代替の 400Gb イーサネット設計と比較して、この InfiniBand ファブリックは 2.5 倍低い遅延を実現し、SHARPv3 経由の集合トラフィックの最大 90% を排除します。を評価する組織にとって、920-9B210-00FN-0D0 販売用オプションを使用すると、GPU 使用率が向上し、ジョブの完了時間が短縮されるため、総所有コストは通常​​ 6 ～ 12 か月以内に回収されます。新しい AI インフラストラクチャまたは拡張中の AI インフラストラクチャについては、すぐにパイロット展開することをお勧めします。