NVIDIA Mellanox MQM9790-NS2F 活用事例：AI および HPC クラスター向けの低遅延 RDMA ファブリック構築

NVIDIA Mellanox MQM9790-NS2F in Action: AIとHPCクラスターのための低遅延RDMAファブリックを構築する

背景 と 課題: 規模 を 拡大 する こと が 困難 に なっ た 時

数千から数万のGPUまでスケールし 天気シミュレーションがキロメートルの解像度へと推し進みます伝統的なイーサネット・ファブリックの限界が 鮮明に明らかになりますこれらの環境では,MPIの集団通信パターンは,すべてを削減し,すべてをすべてにします.ネットワークのレイテンシーと混雑制御に極端な要求をします.最も強力なコンピューティングノードでさえ サイクルの重要な部分をデータを待っています高価なGPU資源を無駄にします

この課題をNVIDIA メラノックス MQM9790-NS2F64のOSFPポートを備えた 400Gb/s NDR InfiniBand スイッチとして,数千のエンドポイントで 決定的な微秒未満の遅延を 提供するように設計されています.分散されたワークロードの真の線形スケーリングを可能にします.

解決策と展開: RDMA に建設された葉の脊椎組織

AI研究室の典型的な展開シナリオではMQM9790-NS2F インフィニバンドスイッチ2階層のリーフ・脊柱トポロジーのコアを形成する.リーフ層では,各コンピューティング・ラックに1つまたは2つのMQM9790-NS2Fユニットが装備されている.OSFPからOSFPへの直接接続銅ケーブルまたはアクティブ光ケーブル経由でGPUサーバーへの400Gb/s接続の64ポートを提供する脊椎層では,追加のMQM9790-NS2Fスイッチが葉を相互接続し,完全なバイセクション帯域幅を持つブロックしない脂肪木の組織を作り出します.

What makes this solution particularly compelling is the switch's native support for RDMA over Converged Ethernet (RoCE) when operating in InfiniBand mode—though here it leverages InfiniBand's native RDMA capabilities for even lower latency and CPU offload.MQM9790-NS2F 400Gb/s NDR 64-ポート OSFPNVIDIAの SHARPv3 (スケーラブル・ヒエラルキカル・アグリゲーション・アンド・リドクション・プロトコル) テクノロジーを統合し,これは,通常,ネットワークを複数回横断する全減算操作が1回のパスで完了することを意味します.コミュニケーションを重んじる作業の完了時間を最大30%短縮します

ネットワークアーキテクトがMQM9790-NS2F インフィニバンドスイッチソリューションNVIDIAのUnified Fabric Manager (UFM) によって展開プロセスが簡素化されています.UFMは,ファブリック健康,自動トポロジー発見,2つ以上の繊維を扱う際の重要な能力初期採用者は,MQM9790-NS2Fに対応するNVIDIA認証のケーブルとトランシーバーの幅広い範囲を含むエコシステムで,調達を簡素化し,導入リスクを軽減します.

理論から生産現実へ

大規模なトランスフォーマーモデル訓練に専念した2,048GPUクラスタの最近の生産展開では,HDR (200Gb/s) からNDR (400Gb/s) インフラストラクチャへのアップグレードはNVIDIA メラノックス MQM9790-NS2F複数の次元にわたる測定可能な改善をもたらしました.

• 作業完了時間の短縮:175Bパラメータモデルにおけるエンドツーエンドトレーニング・イテレーションは,主にSHARPv3のオフロードと尾行遅延の減少に起因して28%減少した.
• ネットワーク利用:スイッチの高度な適応型ルーティングと混雑制御メカニズムのおかげで 混雑崩壊を起こすことなく 平均的な布の利用率は 62% から 89% に増加しました
• 操作のシンプルさスイッチ1つに 64 ポートを持つことで, 32 ポートの HDR デザインと比較して必要なスイッチ数は半分に削減され,ケーブルの複雑性とラックあたりの消費電力を大幅に削減しました.

報告書によると,MQM9790-NS2F 仕様このスイッチは100ns未満のポート対ポートの遅延を提供し,51.2Tb/sまでの総スイッチ容量に対応します.ネットワークエンジニアはまた,MQM9790-NS2F データシート検証段階では 驚異はなく 現実のパフォーマンスを正確に反映します

TCOの観点から,スイッチレベルごとにより多くのエンドポイントを統合する能力は,資本支出を直接削減しました.MQM9790-NS2F価格この経済的な利点は,GPU1台あたりのネットワークコストは,より高いradixとスイッチ層の数が減少したため,実際に減少しました.業績向上と組み合わせた研究室の運営委員会に ビジネスケースを明らかにしました

概要&展望: エクサスケールコンピューティングのためのNDR財団

についてNVIDIA メラノックス MQM9790-NS2FHPCとAIクラスタの設計における根本的な変化を表しています. 400Gb/sのNDR帯域幅,64ポート密度を提供することで,ネットワーク内の計算加速を 1U 形式要素で性能や管理性を犠牲にすることなく 数万のエンドポイントにスケールできる 構造物を構築できます

作業負荷がより高い帯域幅と遅延を要求し続けているため,MQM9790-NS2F インフィニバンドスイッチ次の世代のエクサスケールシステムの基礎となるものです既存のNVIDIA Quantum-2プラットフォームとの互換性とUFMとのシームレスな統合は,HDRファブリックからアップグレードする組織のためのスムーズな移行経路を確保します次の世代のネットワーク投資を評価するITマネージャーやアーキテクトにとって,MQM9790-NS2Fは,低レイテンシーRDMAインターコネクト最適化という約束を果たす生産準備済みのソリューション.