NVIDIA メラノックス MQM9790-NS2F インフィニバンドスイッチをRDMA,HPCのLow-Latencyインターコネクト最適化に活用

NVIDIA メラノックス MQM9790-NS2F インフィニバンド スイッチ in Practice 低遅延インターコネクト最適化 for RDMA, HPC, and AI Clusters

現代のAIトレーニング,HPCシミュレーション,および分散型ストレージ環境では,実際のボトルネックは نادに生計算能力です.The NVIDIA メラノックス MQM9790-NS2Fこの記事では,MQM9790-NS2FがRDMAをどのように改善するかを示す代表的な展開シナリオを歩きます.HPC低レイテンシーファブリックデザインによる AI クラスターパフォーマンス

背景 と 課題

A typical research or enterprise AI cluster might consist of hundreds of GPU servers, a parallel file system, and a job scheduler distributing MPI and NCCL workloads. GPU世代が前進するにつれて,多くのコンピュータが,GPUのシステムに組み込まれている.Each node can generate far more east-west traffic than a 200Gb/s HDR fabric can comfortably absorb このノードは200Gb/sのHDRファブリックよりはるかに多くの東西トラフィックを生成できるチームでは一般的に3つの痛点が報告されています. 集合作業中に尾の遅延が上昇し, 繊維層に広がる混雑, そしてホップを追加せずにポートカウントをスケーリングする困難.

ネットワークアーキテクトにとって,チャレンジは単にリンク速度をアップグレードすることではなく,不必要なレイテンシーを避けるのに十分なファブリックをフラットにして,決定的で損失のないトランスポートを維持することです.MQM9790-NS2Fの仕様を実際のワークロードプロファイルに対して評価することが不可欠です..

解決策と導入方法

このシナリオでは,クラスタは,MQM9790-NS2F インフィニバンドスイッチの周りに構築された400Gb/s NDR スピーンリーフ・ファブリックに移行した.it provides high radix in a single switch インターフェースは,単一のスイッチで高いradix を提供します.設計は,非ブロックする帯域幅を維持しながら,ファブリック層を減らすことを可能にしました.

• Leaf layer: MQM9790-NS2F スイッチは400Gb/s NDRリンク経由でGPUノードとストレージターゲットを接続する
• Spine layer:追加MQM9790-NS2Fユニットは,葉間接続と経路多様性を提供する
• NVIDIA SHARPv3はMPIとNCCL操作をファブリックにオフロードする
• 混雑制御: アダプティブルーティングと高度なQoSはインカストとホットスポットから保護します
• 管理: 標準インフィニバンドツールとテレメトリー

Because the MQM9790-NS2F InfiniBand switch is part of the Quantum-2 family, it interoperates with existing InfiniBand management practices and adapter ecosystems. MQM9790-NS2F インフィニバンドスイッチは量子2ファミリーの一部であるため,既存のインフィニバンド管理実践とアダプターエコシステムと互動する.MQM9790-NS2F対応ハードウェアを評価するチームは,ホストチャンネルアダプタを検証する必要があります.OSFPケーブル,およびファームウェアレベルは NDR 要求事項に準拠しています.MQM9790-NS2F InfiniBand Switch solution of this kind is typically planned alongside GPU refresh cycles to avoid mixed-generation bottlenecks この種の MQM9790-NS2F インフィニバンド スイッチ ソリューションは,通常,GPU リフレッシュ サイクルとともに計画される..

結果 と 益

部署後,最も目に見える変化は,緊密に結合されたワークロードの仕事完了時間でした.以前は混雑で止まっていた集合操作は,現在,より低く,より一貫した尾遅延で完了しています.64-port OSFP density はまた,ケーブルを簡素化し,任意の2つのエンドポイント間のスイッチングホップの数を減少させ,RDMA 性能に直接利益をもたらしました.

From a operations perspective, the fabric became easier to reason about. より少ないレベルは,より少ない失敗ドメインと,より単純なトラブルシューティングを意味する.低レイテンシートラフィックを計算トラフィックと同じものにします.ITマネージャーにとって,キーテイクアウトは,ファブリック層で投資することで,既に計算層で支払われた容量を解凍できるということです.

Procurement and planning teams often review the MQM9790-NS2F datasheet to confirm port count, power, and cooling envelopes before finalizing a design. プロキュメントと計画チームは,設計を最終化する前にポート数,パワー,および冷却封筒を確認するために,MQM9790-NS2Fデータシートをしばしばレビューする.MQM9790-NS2Fの価格と販売利用可能性に関する質問は,認証されたディストリビューターおよびNVIDIAのエンタープライズ代表者へ設定,サポート,および地域によって価格が決まるからです.

概要と展望

NVIDIA Mellanox MQM9790-NS2Fは,高半径400Gb/sのNDRプラットフォームが,繊維の複雑さを追加することなく,AI,HPC,およびRDMAクラスターパフォーマンスを再構築する方法を示しています.ワークロードのスケールとGPU密度が増加するとMQM9790-NS2Fは,次のファブリックリフレッシュを計画するアーキテクトにとって,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的,決定的.高通量接続.