NVIDIA Mellanox MQM8790-HS2F InfiniBand スイッチの実際の使用

July 10, 2026

NVIDIA Mellanox MQM8790-HS2F インフィニバンドスイッチを実用化します

背景と課題: 大規模なAIとHPCクラスターにおける遅延ボトルネック

AIトレーニングクラスタが数千の GPUや HPC システムにまで拡大するにつれてエカスケール性能に向かって推し進められ, コンピューティングノードを接続するネットワークファブリックは重要なパフォーマンス決定要因となっています.この環境では遅延は単なるメトリックではなく,アプリケーションのパフォーマンス,解決までの時間,およびクラスタの全体的な効率に直接影響します.MPI (Message Passing Interface) の集合操作とすべて対すべて通信パターンに大きく依存するワークロード言語モデル訓練や計算流体動力学など,マイクロ秒レベルでの遅延増加でさえ,追加の実行時間数時間に変換できます.RDMA over Converged Ethernet (RoCE) にも対応するこれらの要求の高いアプリケーションに要求される決定的な低レイテンシーを提供するのに苦労しています.

この課題は,最近,気候モデリングとAI研究のために2000ノードHPCクラスタを展開する国立研究室に直面しました.クラスタは,MPIベースのHPCワークロードと分散型AIトレーニングの両方をサポートするために,100ナノ秒未満の遅延で200Gb/s接続を必要とした.エンジニアリングチームは安定した低遅延性能を提供できるスイッチを必要としていました変化する負荷条件下で繊維の効率を維持するための適応型ルーティングや混雑制御などの高度な機能をサポートしながら.NVIDIA メラノックス MQM8790-HS2F200Gb/sのHDR InfiniBandのポート40つを提供し,100ナノ秒未満の遅延と先進的なネットワーク内コンピューティング能力を提供する理想的なソリューションとして登場しました.

ソリューションと展開:低遅延のインフィニバンドファブリックを構築

遅延とスケーラビリティの課題に対処するために,研究室はNVIDIA メラノックス MQM8790-HS2F骨組み構造におけるコアスイッチとしてMQM8790-HS2F インフィニバンドスイッチ40 QSFP56 ポートを備えており,それぞれ 200Gb/s HDR で動作し,合計 8Tb/s のスイッチ容量と 100 ナノ秒未満のポート・トゥ・ポート・レイテンシーを提供します.このファブリックは 4‐spine で設計されました.16葉目トポロジー2千のコンピューティングノードを接続し,それぞれに ConnectX‐6 HDR アダプタが搭載されている.MQM8790-HS2F 200Gb/s HDR 40ポート QSFP56この構成によりチームには完全に分割された帯域幅を備えたブロックしない組織が作られワイヤーの速度で各ノードが他のノードと通信できるようにしました

導入は3つの主要段階で行われました.

繊維デザイン:システムを使用MQM8790-HS2F インフィニバンドスイッチソリューションチームでは, 16 つのリーフスイッチのそれぞれが 50 つのコンピューティングノードに接続される (直接接続 200Gb/s と 100Gb/s HDR100 ブレイクアウト接続の組み合わせを使用する) 脊葉トポロジーを設計しました.4つのスイッチは葉間接続を可能にしました.MQM8790-HS2Fスイッチはアダプティブルーティングを有効に設定し,利用可能な経路で動的にトラフィックを分散させ,渋滞を回避できるようにしました.
先進機能設定:チームは,MQM8790-HS2FスイッチでSharp (スケーラブル・ヒエラルキカル・アグリゲーション・アンド・リドクション・プロトコル) を有効にし,MPIの集合操作をコンピューティングノードからオフロードした.このネットワーク内コンピューティング機能により,スイッチは直接すべての減量および放送操作を実行することが可能になりました.ネットワークの横断数を減らし,集団通信の全体的な遅延を減少させる.
パフォーマンスのチューニング:サブネット管理は,NVIDIAのユニファイデッドファブリックマネージャ (UFM) プラットフォームを使用して構成され,ファブリックの健康,レイテンシーメトリック,および混雑パターンのリアルタイム可視性を提供した.チームは混ざったHPCとAIワークロードプロファイルのパフォーマンスを最適化するために混雑制御パラメータを調整しました.

なぜならNVIDIA メラノックス MQM8790-HS2FはMQM8790-HS2Fに対応するConnectX‐6 および BlueField‐2 アダプタを含むより広範な NVIDIA InfiniBand エコシステムにより,カスタムドライバやファームウェアのパッチを必要とせず,シームレスに展開できました.スイッチのUFMプラットフォームへの統合により組織は面積上での織物の性能を監視できるようになりました,アプリケーションの実行時間に影響を与える前に,潜在的なボトルネックを特定し,解決する.

結果と利益:遅延とアプリケーションのパフォーマンスの測定可能な改善

導入後のベンチマークは,2000ノードクラスター全体で平均ポートからポートまでの遅延は 85 ナノ秒で測定された.MQM8790-HS2F データシートこの低レイテンシーが直接アプリケーションの性能向上に変換されました. MPIの全減量操作は,ラボの以前の100Gb/s InfiniBand fabricと比較して,最大35%速く完了しました.分散型AI訓練の仕事 (NCCLベースの通信を使用) では,エンドツーエンドのエポックタイムが約28%短縮されました..

2つ目に,SHARPのネットワーク内コンピューティング能力は,実質的なパフォーマンスメリットをもたらしました.クラスタは,通信タスクのためのCPUとGPUの利用量を最大20%削減しました.これは,集団コミュニケーションが総実行時間の30~40%を占める大規模なAI訓練にとって特に有益でした.

第三に,適応型ルーティング機能は,異なる負荷条件下で一貫したパフォーマンスを維持するのに不可欠であることが判明しました.,アダプティブルーティング:利用可能な経路に動的にトラフィックを分散し,平均遅延をベースラインの10%以内に維持し,混雑による性能低下を防ぐ.UFM プラットフォームを使って繊維の健康状態を監視しました, すべての20のスイッチで遅延,スループット,リンク利用を追跡するリアルタイムダッシュボードを提供しました.

4つ目,密度はMQM8790-HS2F 200Gb/s HDR 40ポート QSFP56実験室は,以前の100Gb/s InfiniBand インフラストラクチャと比較して,必要となるスイッチ数を 50%削減しました.ラックスペースの消費と電力需要を削減する各 MQM8790-HS2F は 230W の典型的な電力を消費し,ネットワークインフラストラクチャの冷却コストを 20% 削減しました.

運用面ではスイッチの管理能力により継続的なメンテナンスが簡素化されました研究所のネットワークチームは,CLIとWeb UIインターフェースを使用して,ファームウェアのアップグレードと構成変更をファブリック操作を妨害することなく実行しましたスイッチのサポートを活用してMQM8790-HS2F 仕様SNMP 監視と syslog 統合を含む包括的な管理機能を含む.チームに既存のネットワークオペレーションセンター (NOC) の監視フレームワークにファブリックを統合できるようにする.

概要と展望:低遅延インフィニバンドファブリックの設計図

導入経験は,NVIDIA メラノックス MQM8790-HS2F2,000ノードのHPCとAIクラスタを横断すると 40ポートの200Gb/s HDR InfiniBand スイッチが低レイテンシー,スケーラビリティ,要求の高い研究や企業ワークロードに必要な高度な機能スイッチの100ナノ秒未満の遅延,適応ルーティング,および SHARPのネットワーク内コンピューティング能力を活用することで,組織はMPIとAI通信を加速するファブリックを構築できます.解析までの時間を短縮するクラスターの全体的な効率を向上させる.

AIトレーニングクラスタが10,000以上の GPUや HPCシステムまで拡大するにつれて,高密度低遅延の InfiniBand スイッチの需要は増加するだけです.MQM8790-HS2Fは,この軌道に適しています.ポート密度40ポート,スイッチ容量8Tb/s,HDR200とHDR100の対応により,現在および次世代のコンピューティングノードとの互換性を確保しているため,類似のHPCまたはAIクラスターの展開を計画している組織,この展開で検証された階層的なspine-leafアプローチは,実践的なロードマップを提供します:アクセス接続のためにMQM8790-HS2Fのリーフスイッチを展開します.より大きな繊維用には,ポート密度の高いスイッチ (例えば64ポートのQM9700シリーズ) を使用する.UFM を活用して組織的な織物の最適化のために統一された管理枠組みを維持する.

詳細な織物設計テンプレート,性能調整ガイド,および展開チェックリストについては,MQM8790-HS2F データシートNVIDIA Mellanox InfiniBand アーキテクチャのドキュメントも提供しています