NVIDIA Mellanox MQM9790-NS2F InfiniBandスイッチの実働：低遅延インターコネクト最適化

NVIDIA Mellanox MQM9790-NS2F インフィニバンドスイッチ: RDMA/HPC/AIクラスターのための低遅延インターコネクト最適化

AI訓練,高性能コンピューティング (HPC) シミュレーション,大規模な分散型ストレージでは,ネットワークの遅延と帯域幅はしばしばクラスタ効率の上限を決定します.組織がこのボトルネックを乗り越えるためにについてMQM9790-NS2FNVIDIA MellanoxのInfiniBandスイッチは,多くのAIおよびHPC展開におけるコア・インターコネクトコンポーネントになっている.この記事では,大規模なAIトレーニングクラスタの実用的なアップグレードを紹介する.このスイッチが低レイテンシーRDMAネットワークと測定可能なパフォーマンス向上をどのようにもたらすかを示す.

背景と課題:千GPUから万GPUのネットワーク圧力

優れた研究機関が以前は,大規模な言語モデル訓練と天気シミュレーションのための1000GPUのクラスタを運営していました.数十億から数十億に増加しました既存の200Gb/s HDR InfiniBand ネットワークは,交通渋滞と通信上のコストの増加を経験し始めました.クロスノードオールリデュース操作はかなり時間がかかりました.ネットワーク転送を待機している間,GPUは頻繁に無効状態です.建築家は緊急に,より高い港密度,より微細な負荷バランス,そして既存の RDMA インフラストラクチャとの完全な互換性を提供するソリューションを必要としていました.

NDRグレードのInfiniBand布を選択した.NVIDIA メラノックス MQM9790-NS2F. 64 OSFP ポートがあり,それぞれ 400Gb/s の線速で動作し,スイッチは次世代の GPU サーバーのスループット要求に完全に適合します.

ソリューションと展開:NDRファブリック + 無損 RDMAネットワーク

新しい設計では,各GPUサーバーは2つのポートのConnectX‐7アダプターで装備され,MQM9790-NS2F 400Gb/s NDR 64-ポート OSFPスイッチは,ブロックしないClosアーキテクチャを使用して2層のFat-Treeトポロジーを形成します.適応型ルーティングと混雑制御が有効です.ネイティブのInfiniBand RDMAを利用して,GPUメモリからリモートGPUメモリに直接データを転送するCPUとソフトウェアスタックのオーバーヘッドを回避します

• ポート利用と互換性:既存のHDRアダプタは低速度で動作し,以前の投資を保護できます.MQM9790-NS2Fに対応するこのリストは主流のGPUサーバーとストレージシステムを含み,導入中にドライバの変更を必要としない.
• インテリジェント操作:組み込みテレメトリモニターは,エラーと混雑をリアルタイムでリンクし,チームは光学モジュールやケーブルの問題を迅速に孤立させ,修理の平均時間を大幅に短縮します.

結果と利益: 訓練の繰り返しの時間が38%短縮され,ネットワークオーバーヘッドは8%に低下

生産作業負荷の比較テストを行いました.GPT型の100億パラメータの予備訓練作業では,MQM9790-NS2F インフィニバンドスイッチ2.8秒から1.73秒へ 改善38%. ネットワーク通信の全体の遅延時間の割合は22%から8%に減少しました. GPU は有用な計算に より多くの時間を費やしましたNDR スイッチ内の SHARPv3 ネットワークコンピューティングのおかげで,All-Reduce の帯域幅利用はほぼ2倍になりました.

ストレージ側では,InfiniBand上の低レイテンシーNVMeは,並列ファイルシステムの総読み書き帯域幅を2.3倍増加させた.チェックポイントの保存と復元時間は12分から5分未満に縮小しましたこれらの数字は,内部試験報告書に記録され,MQM9790-NS2F 仕様基準値です

概要&見通し:次世代AIインフラストラクチャのデフォルト選択としてNDRインターコネクト

このケースは,大規模なRDMA/HPC/AIクラスターでは,MQM9790-NS2F インフィニバンドスイッチソリューションネットワークの混雑を効果的に排除し,GPU利用率を高め,操作を簡素化します.MQM9790-NS2F データシートこのモデルは現在量産されている.MQM9790-NS2F価格あるいはMQM9790-NS2F 販売中将来のワークロードが 800Gb/s以上の需要を押し上げるとNDR スイッチング プラットフォームは コンピューティングの可能性を解放する上で 重要な役割を果たし続けます.