NVIDIA メラノックス MQM8790-HS2F インフィニバンド スイッチ 技術参照

このテクニカル ホワイト ペーパーは、ネットワーク アーキテクト、プリセールス エンジニア、および運用リーダーを対象としています。を中心に、NVIDIA Mellanox MQM8790-HS2FInfiniBand スイッチでは、RDMA アクセラレーションと確定的な低遅延通信に重点を置き、大規模な AI トレーニングと HPC シミュレーションに対応する高性能ファブリックの設計、導入、運用に関する詳細なリファレンスが提供されます。

最新の AI および HPC ワークロードにより、GPU クラスターは数万のノードに向けて推進されています。従来のイーサネット ファブリックは、たとえ RoCE を使用していても、インキャスト パターンの下ではパフォーマンスに一貫性がなく、CPU オーバーヘッドが高くなります。次世代クラスター相互接続の主な要件は次のとおりです。

• 同期された集合操作のサブマイクロ秒のポイントツーポイント遅延
• ロスレスで輻輳のない転送により、テールタイムアウトの滞留者を防止
• 通信処理をCPU/GPUコアから完全オフロード
• ノンブロッキング帯域幅を備えたスケーラブルなファットツリーまたはトンボ+トポロジ
• 既存の 100G/200G 光ファイバーからのコスト効率の高い移行パス

こういった要望に応えて、MQM8790-HS2F インフィニバンド スイッチは、ポートあたり 200Gb/s HDR、ユニットあたり 40 QSFP56 ポート、RDMA およびネットワーク内コンピューティングのネイティブ サポートを提供します。このソリューションは、相互接続の効率がジョブの完了時間と TCO に直接つながる環境向けに専用に構築されています。

を使用した AI/HPC クラスターの推奨物理トポロジNVIDIA Mellanox MQM8790-HS2F2 段または 3 段のファットツリー (葉の背骨とも呼ばれます) です。各リーフ スイッチは HDR または HDR100 リンクを介して GPU サーバーに接続し、スパイン スイッチはリーフ間のフルメッシュ接続を提供します。一般的な 800‑GPU 構成では、次のものが採用されます。

• リーフ スイッチ 20 個: 各MQM8790-HS2F 200Gb/秒 HDR 40 ポート QSFP56最大 20 台のサーバーに対応 (デュアルレール接続)
• 4 つのスパイン スイッチ: 200Gb/s アップリンクを使用してリーフと完全に相互接続
• 各層のノンブロッキング比率は 1:1

大規模なクラスター (2,000 以上の GPU) の場合、3 層アーキテクチャによりスーパースパイン層が追加されます。すべてのファブリック管理は、専用コントローラー上で実行されるか、小規模ファブリックのスイッチ ファームウェアに組み込まれたサブネット マネージャー (SM) によって処理されます。

このアーキテクチャ内では、MQM8790-HS2F葉と背骨の両方の要素として機能します。その主な差別化要因は次のとおりです。

• ポートあたり 200Gb/s HDR:合計 16Tb/s のノンブロッキング スイッチング容量による完全な双方向スループット
• アダプティブ ルーティング (AR):ファットツリーの効率にとって重要なホットスポットを回避するために、トラフィックを複数のパスに動的に分散します。
• SHARPv2 (スケーラブルな階層型集約および削減プロトコル):集合的な操作 (All‑Reduce、Reduce‑Scatter) をスイッチ ネットワークに直接オフロードし、GPU のアイドル時間を削減します。
• 輻輳制御:FECN/BECN メカニズムによるきめ細かいフロー制御により、ロスレス ファブリックを保証します
• 高いポート密度:1U シャーシあたり 40 個の QSFP56 ポートにより、ラック レイアウトが簡素化され、ラック間のケーブル配線の複雑さが軽減されます。

エンジニアは以下を参照できます。MQM8790-HS2F データシートそしてMQM8790-HS2Fの仕様詳細な電力、熱、遅延の数値については、こちらをご覧ください。プラットフォームも、MQM8790-HS2F互換幅広い HDR、HDR100、さらには EDR 光学系を備えており、段階的なアップグレードが可能です。

バランスのとれた 1,000 GPU AI クラスターの場合は、次の導入シーケンスをお勧めします。

• ステップ 1 – 葉の層:25 回インストールMQM8790-HS2Fユニットをリーフスイッチとして使用します。冗長性と帯域幅を確保するために、各 GPU サーバー (サーバーあたり 8 GPU) を 2 つの HDR ポート経由で 2 つの異なるリーフに接続します。
• ステップ 2 – 脊椎レイヤー:8x を展開NVIDIA Mellanox MQM8790-HS2F背骨のスイッチとして。 200 Gb/s リンクを使用してすべてのリーフをすべてのスパインに接続します (リーフあたり 40 のアップリンクですが、通常はブロック率 ≤1:1 を維持するのに十分なサブセットです)。
• ステップ 3 – サブネット マネージャーの配置:2 台の軽量サーバーで冗長 SM インスタンスを実行するか、2,000 ポート未満のクラスターに組み込み SM を使用します。
• ステップ 4 – パーティショニング:InfiniBand パーティションを使用して、同じ物理ファブリック上で実稼働、開発、およびストレージのトラフィック フローを分離します。

2,500 個以上の GPU に拡張するには、追加の MQM8790-HS2F ユニットを使用してスーパースパイン レイヤを追加し、リーフからスパインへのアップリンク密度を高めます。のMQM8790-HS2F InfiniBand スイッチ ソリューションコアを再構築することなく、線形にスケールします。

構築されたファブリックの日常的な運用MQM8790-HS2Fスイッチは、NVIDIA の Fabric Manager と MLNX‑OS を通じて管理されます。主な実践方法は次のとおりです。

• 監視：トポロジ検証には「ibdiagnet」を、ポート カウンターには「perfquery」を使用し、リアルタイム テレメトリ (リンク使用率、シンボル エラー、輻輳マーカー) には Prometheus エクスポーターを備えた Grafana ダッシュボードを使用します。
• ファームウェアとソフトウェア:すべてのスイッチ間で一貫したファームウェアを維持します。最新のリリース ノートを参照してください。MQM8790-HS2F データシートバージョンの互換性のため。
• トラブルシューティング:一般的な問題 (リンクのフラッピング、MTU の不一致、またはパーティションの構成ミス) は、「ibstatus」、「smpquery」、およびスイッチの syslog を使用してすぐに分離されます。アダプティブ ルーティング ログは、輻輳の原因を正確に特定できます。
• 最適化：ワークロード プロファイリングに基づいて、適応ルーティングのしきい値と輻輳制御パラメータを調整します。大規模な AI トレーニングの場合は、該当する MPI ライブラリで SHARP を有効にします (例: SHARP プラグインを備えた NCCL)。

予算や拡張を計画する場合は、リクエストしてくださいMQM8790-HS2F 価格認定パートナーからの見積もりと検証MQM8790-HS2F 販売用可用性。このプラットフォームは既存の QSFP56 ケーブル配線と互換性があるため、調達リスクが軽減されます。

のMQM8790-HS2Fは単なるスイッチではなく、確定的で低遅延の HPC および AI ファブリックの基礎的な構成要素です。 200Gb/秒の HDR、40 ポート密度、アダプティブ ルーティング、SHARP ネットワーク内コンピューティングの組み合わせにより、最新のクラスター インターコネクトの主要な問題点に直接対処します。代替の 200G イーサネット ソリューションと比較して、InfiniBand エコシステムは以下を提供します。

• CPU オーバーヘッドの低減 (ハードウェア トランスポート オフロードを備えた真の RDMA)
• 実際の負荷下での確定的なマイクロ秒スケールのレイテンシ
• 一元化されたサブネット マネージャーによるシンプルなファブリック管理
• 数万のエンドポイントに対応する実証済みのスケーラビリティ

GPU クラスターを構築または拡張する組織の場合、NVIDIA Mellanox MQM8790-HS2Fこれは、1 ドルあたりのより高い実効 FLOPS を達成し、ジョブ完了時間を短縮し、次世代 HDR200 (400Gb/s) アップグレードに備えた相互接続を将来にわたって保証することを意味します。完全なものを含む詳細なリファレンス設計MQM8790-HS2Fの仕様およびケーブル配線マトリックスは、NVIDIA パートナー ポータルから入手できます。