Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand スイッチの動作 – RDMA/HPC 向けの低遅延相互接続の最適化

メラノックス (NVIDIA メラノックス) MQM9790-NS2F インフィニバンドスイッチ 動作 低レイテンシーインターコネクト最適化 RDMA/HPC/AIクラスター

AIトレーニングクラスタが数千から数千の GPUに拡大するにつれて ネットワークのレイテンシーと混雑制御は 効果的なコンピューティング利用の決定的な要因になりますグローバルで AIの研究を主導する組織がメラノックス (NVIDIA メラノックス) MQM9790-NS2F超コンピューティング施設を支えるよう,大規模な言語モデル,分子ダイナミクスシミュレーション,分散型ディープラーニングをサポートする.この記事では,現実の世界での展開について説明します.このInfiniBandスイッチがRDMA輸送,HPC通信,AIデータ並列トレーニングファブリックをどのように変容するかを詳細に説明します.

背景と課題: イーサネットの妥協から損失のない相互接続の必要性へ

この組織は当初,RoCEv2を搭載した100GbEイーサネットファブリックに依存していたが,GPUノードが1200以上のサーバー (それぞれ8×NVIDIA H100GPU) に成長したため,GPUノードが1200以上のサーバーに拡大した.持続的なPFCデッドロックに遭遇しました複雑なECNチューニングや 時折のパケット落下により 訓練が停止しましたこれらの問題は,平均的な作業完了時間を35%以上延長し,ネットワークのトラブルシューティングに相当なエンジニアリング努力を消費しました既存のインフラストラクチャは,大規模な全減量および全対全集合操作に必要な決定的なマイクロ秒レベルの遅延と混雑フリー処理をもはや提供できませんでした.

解決法と展開:MQM9790-NS2F インフィニバンドスイッチ繊維の骨組みとして

複数の選択肢を評価した後,チームはNVIDIA メラノックス MQM9790-NS2F新しい2階層の葉の骨組みの基礎となる.各葉のラックには2つのMQM9790-NS2F 400Gb/s NDR 64-ポート OSFPスイッチは,ユニットごとに64のOSFPポートと合計スイッチ容量が25.6Tb/sで,ポートごとに400Gb/sのNDR速度,カットスイッチと適応ルーティングと組み合わせ,ポートからポートまでの遅延が 600 ns 未満の GPU 密集型ワークロードの重要な要件展開はMQM9790-NS2F インフィニバンドスイッチソリューションNVIDIA Quantum‐2 ファーームウェアと統合され,シームレスなMQM9790-NS2Fに対応する既存の ConnectX‐7 アダプターと BlueField‐3 DPU で動作する.

主要な展開選択肢は以下の通りです

• トポロジー:ブロックしない FAT ツリー 64 ポート OSFP から 400G オプティカル トランシーバーで,すべての GPU ノードにフルバイセクション帯域幅を可能にします.
• 管理:NVIDIA UFM (Unified Fabric Manager) リアルタイムのテレメトリ,混雑検出,積極的な経路再路線
• 集団卸荷:SHARPv3は,ホストCPUからの通信をオフロードし,全減量操作を加速できるようにした.

順調な移行を保証するために,チームはMQM9790-NS2F データシートそしてMQM9790-NS2F 仕様1U形状因子と冗長電源は既存のラック密度に整然とフィットし,OSFPポートはDACケーブルと光学モジュールの両方をサポートします.,将来の拡大に柔軟性を提供します

測定できる結果と利益 業績と効率の定量化できる向上

完全な展開と最適化後,組織は複数の次元で有意な改善を記録しました:

ネットワーク操作を大幅に簡素化した. ネットワークの内蔵テレメトリと適応型ルーティングにより,ネットワークは,ネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのネットワークのNVIDIA メラノックス MQM9790-NS2F自動ロードバランスを可能にし,手動ECNの調整をなくした.MQM9790-NS2F インフィニバンドスイッチ95%のリンク利用率下でも決定的なパフォーマンスを提供しました 前のEthernet設定では不可能でした

組織はまた,MQM9790-NS2F価格5年間のライフサイクルで償却された場合,ポート1口あたりの消費電力の減少 (≈400Gポート1口あたり1.5W) と,ポート密度の高いため,ケーブルコストの低下が相殺されました.一般的に利用可能で,現在成熟している確認しましたMQM9790-NS2F 販売中承認されたチャネルを通じて,直接的な調達を行いましたMQM9790-NS2F データシート必要な設置とコンプライアンスに関する詳細をすべて提供した.

概要と展望 次世代AIインフラストラクチャの青写真

決定についてメラノックス (NVIDIA メラノックス) MQM9790-NS2Fこの大規模な HPC/AI クラスターでは,InfiniBand 専用ファブリックがもはや贅沢品ではなく,AIと科学コンピューティングの境界を押し広げている組織にとって必要不可欠であることを示しています.安定した微秒未満の遅延を提供することでネットワーク内コンピューティングの加速,MQM9790-NS2F 400Gb/s NDR 64-ポート OSFPスイッチはデータセンターに 数万台のGPUまで ほぼ線形的なスケーラビリティを達成することを可能にします

組織をさらに拡大する計画ですMQM9790-NS2F インフィニバンドスイッチ気候モデリングとゲノム学を含む,次のエクサスケールクラスのワークロードをサポートするユニットです.MQM9790-NS2Fに対応する将来のNVIDIA世代とのエコシステムで投資の保護を保証します.類似のアップグレードを評価する建築家やITマネージャーにとって,この実世界のケースは,MQM9790-NS2F インフィニバンドスイッチソリューション高性能で低レイテンシーなクラスターネットワークへの実証され,コスト効率の良い道を提供します.