NVIDIA Mellanox MQM8790-HS2F InfiniBand スイッチが量産中 | RDMA/HPC/AI 向けの低遅延インターコネクトの最適化

大規模な言語モデルのトレーニングとエクサスケールの HPC シミュレーションにより、GPU クラスターが数万ノードに向けて推進されるため、従来のイーサネット ファブリックはテール レイテンシーとインキャストの輻輳に悩まされます。国立 AI コンピューティング センターは最近、NVIDIA Mellanox MQM8790-HS2FInfiniBand スイッチは、800 ノードの GPU 拡張のバックボーンとして機能します。この記事では、RDMA とネットワーク内コンピューティングを使用してクラスターの相互接続パフォーマンスを最適化する、ボトルネックから測定可能な利益に至るまでの実際の取り組みについて説明します。

背景と課題: ネットワークが AI のボトルネックになるとき

センターのレガシー 400 ノード クラスターは 100Gb/s RoCEv2 イーサネット上で実行されました。ワークロードが CNN モデルから兆パラメータ LLM に移行すると、クロスノード通信の遅延が急増しました。 All‑Reduce 操作中、ネットワーク待機時間は合計反復時間の 40% 以上を消費しました。アーキテクトは、既存の QSFP56 光ファイバーを再利用しながら、マイクロ秒未満の遅延、ロスレス フロー制御、ネイティブ RDMA サポートを提供するプラットフォームを必要としていました。複数の代替案を評価した後、MQM8790-HS2F インフィニバンド スイッチ200Gb/秒の HDR 帯域幅と 40 ポートの高密度設計が際立っています。

ソリューションと展開: MQM8790-HS2F 上に構築された HDR Fat‑Tree

新しいインターコネクトは 2 層ファットツリー トポロジを採用し、24 ユニットのNVIDIA Mellanox MQM8790-HS2F芯層と葉層をまたいで。各スイッチは、1 方向あたり 200Gb/s で動作する 40 個の QSFP56 ポートを提供し、16Tb/s のノンブロッキング スイッチング容量を提供します。エンジニアたちはこれに従ったMQM8790-HS2F データシートそしてMQM8790-HS2Fの仕様適応ルーティングと高度な輻輳制御を可能にします。すべての GPU ノードは HDR ConnectX‑6 アダプター経由で接続し、ゼロコピー データ転送にネイティブ InfiniBand RDMA を活用し、通信における CPU の関与の 95% 以上をオフロードします。

センターでもいくつか予約してありますMQM8790-HS2F 200Gb/秒 HDR 40 ポート QSFP56in-situ コンピューティング ゾーンの単位。 SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) を使用すると、All‑Reduce などの集合的な操作がサーバーからスイッチ ネットワークに直接オフロードされます。 128 GPU トレーニングでは、AI フレームワークのコードを変更することなく、通信時間が 32% 削減されました。

結果と利点: 待ち時間の短縮、スループットの向上、TCO の制御

導入後のメトリクスでは、劇的な改善が見られました。

• ポイントツーポイントの遅延:MPI ピンポン テストでは、200Gb/s HDR リンクで ~0.9μs と測定されました。これは従来の RoCE セットアップより 65% 低い値です。
• 集団的なコミュニケーション効率:512 GPU スケールでは、All-Reduce はわずか 18.3 ミリ秒で完了し、以前のベースラインと比較して 52% 削減されました。
• ネットワーク使用率:アダプティブ ルーティングにより、リンクの負荷分散が 92% 以上に維持され、輻輳ホットスポットがほとんどなくなりました。
• 調達と運用:のMQM8790-HS2F 価格ポートあたりのコストは、競合する 200G ソリューションよりも約 12% 低かったです。さらに、MQM8790-HS2F互換光学系は標準の QSFP56 モジュールであり、既存のケーブル配線を完全に再利用できます。

「引っ越してから、MQM8790-HS2F InfiniBand スイッチ ソリューション「ついに、兆パラメータのモデルトレーニングでほぼ線形のスケーリング（効率0.9）を達成しました。」とセンターの主任アーキテクトは述べました。「ネットワークはもはやボトルネックではありません。通信のスケジューリングではなく、モデルアーキテクチャの革新に集中できます。」

結論と展望: エクサスケール インターコネクトのコア ビルディング ブロック

この実際の事例は、MQM8790-HS2Fポート密度が高いだけではありません。 200Gb/秒の HDR、ネイティブ RDMA、SHARP ネットワーク内コンピューティング、およびアダプティブ ルーティングにより、今日の AI/HPC クラスターにおける低遅延の相互接続の問題点に直接対処します。大学のスーパーコンピューティング センターを計画している場合でも、エンタープライズ AI クラウドのアップグレードを計画している場合でも、NVIDIA Mellanox MQM8790-HS2Fは、パフォーマンス、互換性、コストの予測可能性を組み合わせたバランスの取れたパスを提供します。このスイッチは現在量産されています。詳細なデザインリファレンスについては、公式にリクエストしてください。MQM8790-HS2F データシートNVIDIA のパートナー ポータルから。リアルタイム在庫の場合、またはMQM8790-HS2F 販売用価格や技術サポートについては、認定ソリューション プロバイダーにお問い合わせください。