Mellanox 920-9B210-00FN-0D0 インフィニバンドスイッチ ◎ RDMA,HPC,AIクラスタ低遅延技術ソリューション

Mellanox 920-9B210-00FN-0D0 インフィニバンド スイッチ | RDMA、HPC、および AI クラスターの低遅延相互接続最適化のための技術ソリューション

NVIDIA Quantum-2 NDR InfiniBand ネットワーキング、RDMA アクセラレーション、スケーラブルな GPU クラスター インターコネクト、ファブリック管理、パフォーマンスの最適化をカバーする包括的な技術アーキテクチャと導入ガイド。

製品：NVIDIA QM9790 / MQM9790-NS2F |SKU:920-9B210-00FN-0D0 |テクノロジー：400Gb/秒 NDR インフィニバンド

人工知能、ハイ パフォーマンス コンピューティング (HPC)、分散 GPU ワークロードにより、データ センター ネットワーキング インフラストラクチャに前例のない要求が課されています。コンピューティング クラスターが成長するにつれて、高価な GPU リソースがその潜在力を最大限に発揮できるかどうかは、ネットワーク通信効率によってますます左右されます。のNVIDIA メラノックス 920-9B210-00FN-0D0InfiniBand スイッチは、スケーラブルなアクセラレーション コンピューティング ネットワークを構築するための高帯域幅、低遅延のスイッチング プラットフォームを提供します。

NVIDIA Quantum-2 テクノロジーを搭載した QM9790 は、32 個の OSFP コネクタを介して 64 個のノンブロッキング 400Gb/s NDR InfiniBand ポートをサポートし、合計最大 51.2Tb/s の双方向スイッチング スループットを実現します。このテクニカル ホワイト ペーパーでは、スイッチを RDMA 対応ネットワーク アーキテクチャに統合し、分散 AI 通信を最適化し、回復力のある HPC ファブリックを設計し、効果的な展開と運用方法を確立する方法について説明します。

01. プロジェクトの背景と要件の分析

最新の AI トレーニング プラットフォームは通常、複数の GPU サーバーを分散コンピューティング クラスターに接続します。モデルのトレーニング中、GPU は NVIDIA NCCL などの通信ライブラリを使用して、勾配、パラメーター、中間結果を頻繁に交換します。 HPC アプリケーションも同様に、MPI およびその他の並列コンピューティング フレームワークを通過する低遅延メッセージに依存します。

コンピューティング ノードの数が増えると、通信トラフィックはより複雑になります。アプリケーションでは、帯域幅の飽和、輻輳ホットスポット、集団的な通信遅延、ネットワーク競合によるパフォーマンスの一貫性の低下が発生する可能性があります。

高性能 InfiniBand ソリューションは、次の技術要件に対応する必要があります。

• 高帯域幅:GPU サーバーとコンピューティング ノード間の大規模なデータ移動に十分な相互接続容量を提供します。
• 低い通信遅延:頻繁な同期や小さなメッセージの交換に伴う遅延を最小限に抑えます。
• RDMA サポート:CPU の関与を減らし、効率的なメモリ間通信を可能にします。
• ネットワークのスケーラビリティ:個々のサーバー ラックからマルチラック AI および HPC ファブリックへの拡張をサポートします。
• トラフィックの最適化:適応型ルーティングと輻輳管理によりネットワーク利用率を向上させます。
• 動作の信頼性:監視、障害の切り分け、パフォーマンス検証の手順を確立します。

設計の目的:ネットワーク関連のボトルネックを最小限に抑え、分散型 AI トレーニング、科学技術コンピューティング、およびデータ集約型の HPC アプリケーション向けの予測可能な RDMA パフォーマンスをサポートする、スケーラブルな高帯域幅の InfiniBand ファブリックを構築します。

02. 全体的なネットワークとシステムのアーキテクチャ

提案されたアーキテクチャでは、920-9B210-00FN-0D0 インフィニバンドスイッチ OPN高速 NDR ファブリック内のコア構成要素として機能します。導入規模に応じて、スイッチは単層設計または多層リーフ/スパイン トポロジで動作できます。

マルチラック GPU クラスターの場合、2 層ファット ツリー アーキテクチャが実用的な出発点となります。リーフ スイッチはコンピューティング サーバーに接続し、スパイン スイッチはラック間の高帯域幅通信を提供します。アップリンクの割り当ては、予想されるトラフィック パターン、必要な二分帯域幅、および許容可能なオーバーサブスクリプションに従って計算する必要があります。

参照ネットワーク トポロジ

AI トレーニング / HPC アプリケーション
NCCL / MPI / UCX / RDMA
↓
GPU サーバーとコンピューティング ノード
NVIDIA ConnectX InfiniBand アダプター
↓
葉の層
NVIDIA Quantum-2 QM9790 NDR スイッチ
↓
スパインレイヤー
NVIDIA Quantum-2 QM9790 NDR スイッチ
↓
その他の GPU ラック / HPC コンピューティング ノード
外部サブネット マネージャー / NVIDIA UFM ファブリック管理

このアーキテクチャでは、計算ノードは RDMA 対応ネットワーク アダプタを使用して InfiniBand ファブリックにアクセスします。リーフ層はサーバー側の接続を提供し、スパイン層は異なるネットワーク セグメント間の通信をサポートします。ノンブロッキング設計では、接続されたダウンリンクに対して適切なアップリンク帯域幅が必要です。

大規模な AI の導入では、障害の分離と帯域幅の使用率を向上させるために、複数の独立したネットワーク レールに通信を分散することもあります。ホスト側の制限によって高速スイッチングの利点が損なわれないように、レール アライメント、アダプターの配置、NUMA アフィニティ、および GPU トポロジを一緒に検討する必要があります。

03. NVIDIA Mellanox 920-9B210-00FN-0D0 の役割と主な機能

の920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRスイッチは NVIDIA Quantum-2 QM9790 ファミリに属します。これは、外部管理ファブリック用に設計されたアンマネージド InfiniBand スイッチング システムであり、高速化されたコンピューティング ノード間の高密度接続と高速通信をサポートします。

次の920-9B210-00FN-0D0の仕様ネットワーク アーキテクチャとハードウェアの選択に関連する製品の特徴をまとめます。

RDMAベースの通信の最適化

リモート ダイレクト メモリ アクセスを使用すると、参加システムは、CPU 処理のオーバーヘッドを削減しながら、登録されたメモリ領域間でデータを転送できます。 AI および HPC 環境では、この機能により効率的なノード間通信がサポートされ、ソフトウェア関連のデータ転送コストを削減できます。

互換性のある NVIDIA ConnectX アダプターと適切に構成されたソフトウェア スタックを使用すると、アプリケーションは UCX、MPI、NCCL などのフレームワークを通じて RDMA トランスポートを利用できます。 GPU Direct RDMA は、ハードウェア プラットフォーム、ドライバー、アプリケーション構成がサポートしている場合、データ移動をさらに最適化できます。

適応型ルーティングと輻輳管理

NVIDIA Quantum-2 は、利用可能なネットワーク パス全体にトラフィックを分散できる適応ルーティング メカニズムをサポートしています。これらのテクノロジーを InfiniBand の輻輳制御、サービス品質機能、仮想レーン管理と組み合わせることで、トラフィックのホットスポットに対処し、通信の安定性を向上させることができます。

実際の利点は、ファブリック トポロジ、ルーティング ポリシー、ファームウェア機能、およびサブネット管理構成によって異なります。ネットワーク設計者は、理論上のスイッチング容量だけに依存するのではなく、代表的なアプリケーション トラフィックの下でこれらの設定を検証する必要があります。

NVIDIA SHARP インネットワーク コンピューティング

NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) により、サポートされている集合操作をネットワーク ファブリック内で処理できるようになります。 SHARP は、サポートされている削減操作中に交換されるデータの量を削減することで、選択した AI および HPC ワークロードの通信効率を向上させることができます。導入には、互換性のあるファームウェア、管理コンポーネント、およびアプリケーション ソフトウェアのサポートが必要です。

04. 導入戦略とネットワーク拡張

の展開920-9B210-00FN-0D0 InfiniBandスイッチOPNソリューションハードウェアの互換性、ファブリック計画、ネットワーク検証、将来の容量要件をカバーする構造化された実装プロセスに従う必要があります。段階的なアプローチにより、構成のリスクが軽減され、パフォーマンスの問題を特定しやすくなります。

フェーズ 1: ハードウェアと物理インフラストラクチャ

• スイッチの SKU、レガシー OPN、ラックの寸法、電源要件、P2C エアフローの方向を確認します。
• リンク速度と距離に基づいて、互換性のある ConnectX アダプター、OSFP 光モジュール、DAC ケーブル、またはアクティブな光ケーブルを選択します。
• ケーブルの配線、ラックの冷却、電源の冗長性、および物理ポートの割り当てを計画します。
• 実稼働展開の前に、サポートされているファームウェアのバージョンとハードウェアの相互運用性を確認してください。

フェーズ 2: ファブリックの構成と検証

QM9790 はアンマネージド スイッチであるため、ファブリックの初期化とパスの構成には外部の InfiniBand サブネット マネージャーが必要です。 NVIDIA UFM は、サポートされているコンポーネントとともに導入すると、追加のファブリック管理、監視、運用機能を提供できます。

ネットワーク管理者は、ポートのリンク状態、ネゴシエートされた速度、サブネットの検出、ルーティング構成、およびエンドツーエンドの RDMA 接続を確認する必要があります。必要に応じて、アプリケーション要件に従ってパーティショニング、サービス レベル、仮想レーン、輻輳制御、および適応ルーティングを構成します。

フェーズ 3: スケーリングとキャパシティ プランニング

クラスタの拡張では、スイッチ基数、利用可能なアップリンク容量、トラフィック分散、およびネットワーク層の数を考慮する必要があります。 QM9790 は 64 個の論理 NDR ポートを提供しますが、物理インターフェイスの配置とサポートされているケーブル ブレークアウト構成は、ポート割り当て計画に正確に反映されている必要があります。

大規模な導入の場合は、新しいサーバー ラックに対応するために追加のリーフ スイッチとスパイン スイッチを導入できます。拡張計画では、冗長性、ネットワーク レールの分離、ケーブル配線の距離、およびコンピューティング グループ間で必要な帯域幅の維持を考慮する必要があります。

05. 運用、監視、トラブルシューティング

信頼性の高い InfiniBand 運用には、リンク ステータス、ファブリックの健全性、輻輳動作、およびワークロード パフォーマンスを継続的に可視化する必要があります。 NVIDIA UFM および互換性のある InfiniBand 診断ツールを使用して、ネットワーク状態を監視し、異常な通信パターンを特定できます。

推奨される運用監視には次のものが含まれます。

• リンクの状態:ネゴシエートされた速度、物理エラー、リンク フラップ、ポートダウン イベントを監視します。
• 帯域幅使用率:送受信トラフィックを追跡して、オーバーサブスクライブされたリンクを特定します。
• 混雑インジケーター:送信待機カウンタ、フロー制御アクティビティ、およびトラフィック ホットスポットを検査します。
• ファブリック管理:サブネット マネージャーの可用性、ルーティングの一貫性、トポロジの変更、および検出されたデバイスを確認します。
• アプリケーションのパフォーマンス:ネットワーク測定値を NCCL、MPI、実稼働ワークロード メトリックと関連付けます。

ネットワークレベルのパフォーマンステストの場合、エンジニアは次のような InfiniBand ユーティリティを使用できます。ibstat、ibdiagnet、パークエリー、および RDMA パフォーマンス ツールなどib_write_bwそしてib_send_lat。 NVIDIA NCCL テストと MPI ベンチマークは、アプリケーション レベルの通信パフォーマンスに関するさらなる洞察を提供します。

パフォーマンス低下のトラブルシューティングを行う場合は、まず物理的な接続を確認し、次にポート速度、エラー カウンタ、ファブリック ルーティング、および輻輳インジケータを確認します。ネットワーク メトリックが正常な場合は、ホスト側の PCIe 帯域幅、NUMA の配置、GPU アフィニティ、ドライバーのバージョン、およびアプリケーションの通信設定を調査します。

パフォーマンスの許容には、有効帯域幅、通信遅延、集合的な操作のスループット、およびワークロードの完了時間を含める必要があります。 P50、P95、および P99 遅延の測定は、持続的なトラフィックまたはバースト量の多いトラフィックの下でのパフォーマンスの変動を明らかにするのに役立ちます。受け入れしきい値は、プロジェクト固有のサービス目標と測定されたベースライン データを使用して定義する必要があります。

06. ソリューションの価値とパフォーマンスの評価

の920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRスイッチング プラットフォームは、要求の厳しい分散コンピューティング環境に必要なネットワーク容量とアーキテクチャを提供します。その主な価値は、高速通信、スケーラブルなファブリック設計、RDMA 対応コンピューティング システムとの効率的な統合を可能にすることにあります。

インフラストラクチャの観点から見ると、400Gb/秒の NDR 接続と高いポート密度により、GPU クラスターのサイズが増加するにつれてネットワークの制約が軽減されます。高度な InfiniBand 機能は、より効率的なトラフィック分散をサポートし、外部ファブリック管理により運用の可視性とトラブルシューティングが向上します。

完全な価値評価では、導入コストと、アプリケーションのスループット、GPU 使用率、ネットワークの安定性、運用効率の測定可能な改善を比較する必要があります。評価するチーム920-9B210-00FN-0D0 価格互換性のあるアダプター、光学機器、ケーブル、管理ソフトウェア、電源、およびサポート要件も考慮する必要があります。

技術評価原則:InfiniBand ネットワークのアップグレードが成功したかどうかは、再現可能なベンチマークと運用ワークロードの検証によって判断する必要があります。帯域幅を切り替えるだけでは、トレーニング時間やアプリケーションの遅延が一定に削減されることは保証されません。

07. まとめと今後の展開

のNVIDIA メラノックス 920-9B210-00FN-0D0InfiniBand スイッチは、AI トレーニング、HPC アプリケーション、高速データセンター環境向けに設計された高密度ネットワーキング ソリューションです。 NVIDIA Quantum-2 テクノロジー、64 個の NDR ポート、最大 51.2Tb/s の総双方向スループットを備え、スケーラブルで低遅延のコンピューティング ファブリックを構築するための基盤を提供します。

導入を成功させるには、ハードウェアの設置だけでは不十分です。適切に設計されたソリューションでは、ネットワーク トポロジ、RDMA 対応アダプター、光インターコネクト、サブネット マネージャー構成、ワークロードの調整、および運用監視を調整する必要があります。

GPU クラスターが拡大し、分散ワークロードの通信集約度が高まるにつれて、高性能 InfiniBand ファブリックは、最新の高速化されたコンピューティング インフラストラクチャの重要なコンポーネントであり続けるでしょう。 QM9790 は、信頼性の高い NDR 接続と大規模なマルチラック ネットワーク アーキテクチャへの明確なパスを求める組織に実用的なオプションを提供します。

技術リファレンス:NVIDIA QM97XX 1U NDR 400Gbps InfiniBand スイッチ システムのユーザー マニュアル。最終的な導入仕様、サポートされている機能、ファームウェアの互換性、および物理構成を、正確な製品 SKU のドキュメントと照合して確認する必要があります。

NVIDIA Mellanox InfiniBand ネットワーキング ソリューション

北京中科新源科技有限公司は、AI データセンター、GPU クラスター、HPC システム、エンタープライズ インフラストラクチャ向けに NVIDIA Mellanox ネットワーキング ハードウェアとソリューション サポートを提供しています。当社の製品ポートフォリオには、NVIDIA Quantum InfiniBand スイッチ、ConnectX ネットワーク アダプター、光トランシーバー、高速 DAC/AOC ケーブルが含まれます。

お求めのお客様へ920-9B210-00FN-0D0互換ネットワーキング コンポーネント、製品選択のサポート、可用性情報、またはプロジェクトの見積もりについて、当社のチームがモデルの特定、構成の一致、調達計画を支援します。