NVIDIA Mellanox MQM8790-HS2F 活用事例：RDMA/HPC/AIクラスター向け低遅延インターコネクト最適化

急成長中のAI研究組織は、よくある課題に直面していました。大規模言語モデルのトレーニングや分子動力学シミュレーションに使用されている200基以上のGPUクラスターで、ジョブ完了時間が予測不能になっていたのです。強力なコンピューティングノードにもかかわらず、既存の100Gb/sイーサネットファブリックは、テールレイテンシのスパイク、インキャストパターンでのパケットドロップ、従来のTCP/IPスタック処理による高いCPUオーバーヘッドに悩まされていました。チームは、一貫したサブマイクロ秒のレイテンシを提供し、GPU Direct用のRDMAを完全にサポートし、フォークリフトアップグレードなしでスケールできるソリューションを必要としていました。利用可能なオプションを評価した後、彼らは次世代クラスターファブリックのコアビルディングブロックとして「NVIDIA Mellanox MQM8790-HS2F」を選択しました。

この組織は、2層のファットツリー・トポロジーに「MQM8790-HS2F InfiniBandスイッチ」をデプロイし、128のコンピューティングノード（それぞれにNVIDIA ConnectX-6 HDRアダプターを搭載）と4つのストレージノードを接続しました。200Gb/s HDRで動作する40のQSFP56ポートを備えた単一の「」は、16Tb/sのノンブロッキングスイッチング容量を提供し、レガシーイーサネットスイッチ2台を置き換えるのに十分な容量でありながら、ケーブリングの複雑さを軽減しました。このデプロイメントは、「MQM8790-HS2F 200Gb/s HDR 40ポートQSFP56」のRDMAとGPUDirectネイティブサポートを活用し、CPUの介入なしに異なるサーバー間のGPU間で直接メモリにアクセスできるようにしました。

主な実装の詳細には以下が含まれます：

• アダプティブルーティング：複数のパスにトラフィックを自動的に分散させ、ホットスポットを解消します。
• SHARPv3（Scalable Hierarchical Aggregation and Reduction Protocol）：ネットワーク内での集約・削減を可能にし、All-Reduce操作を最大2.5倍高速化します。
• スイッチレベルでの輻輳制御：損失性の高いイーサネット環境で一般的なヘッドオブラインブロッキングを防ぎます。

購入前に、エンジニアリングチームは「MQM8790-HS2Fデータシート」と「MQM8790-HS2F仕様」を確認し、既存のMellanoxケーブルおよびトランシーバーとの互換性を確認しました。「MQM8790-HS2F互換」エコシステム（HDR光ケーブルおよび銅ケーブルを含む）により、以前のインターコネクト投資の40%を再利用でき、アップグレードの障壁を大幅に低減しました。

「」をパフォーマンス向上と比較検討する上で、このケーススタディは、計算効率の向上のみに基づいた12ヶ月未満のROIを示唆しています。」ベースのファブリックに移行した後、この組織は3つのカテゴリーの改善を記録しました：

• レイテンシの削減：平均MPIピンポンレイテンシは、2.1μs（イーサネットRoCE）から0.82μsに低下し、テールレイテンシは事実上排除されました。ジョブスループット：通信オーバーヘッドの削減とSHARPv3の高速化により、分散トレーニングジョブ（NCCLベース）の完了時間が37%短縮されました。
• CPUオフロード：InfiniBand over RDMAにより、ネットワーク用のCPU使用率が約15%から2%未満に削減され、コアが計算に解放されました。128 GPUのオールツーオール通信ベンチマークでは、「
• MQM8790-HS2F InfiniBandスイッチソリューション」は、ポートあたり198Gb/sをパケットロスゼロで維持しました。一方、以前のイーサネットファブリックでは112Gb/sで1.2%のロスが発生していました。同じチームが実行した金融シミュレーションでは、ジョブのばらつきが78%削減され、より厳格なSLAと予測可能な実行時間が可能になりました。

概要と展望：将来性のある投資この実世界のデプロイメントは、「MQM8790-HS2F

MQM8790-HS2F価格」をパフォーマンス向上と比較検討する上で、このケーススタディは、計算効率の向上のみに基づいた12ヶ月未満のROIを示唆しています。この組織はGPU数を400基以上に倍増する計画を立てており、ノンブロッキングファットツリーアーキテクチャを維持するために、追加の「MQM8790-HS2F販売用」ユニットの予算をすでに確保しています。このスイッチはHDRとEDRの速度を混在させることができるため、古いアダプターが徐々に交換されるにつれて、スムーズな移行パスが保証されます。次世代のRDMA中心のクラスターを設計するアーキテクトにとって、「

NVIDIA Mellanox MQM8790-HS2F」は、部門的なAI研究からエクサスケールスーパーコンピューティングまでスケールする、実績のある本番環境対応のバックボーンを提供します。