Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBandスイッチの実践

実践におけるMellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBandスイッチ | RDMA/HPC/AIクラスター向けの低遅延インターコネクト最適化

背景と課題：RDMAクラスターがネットワークボトルネックに直面するとき

典型的なHPCとAIの混在ワークロード環境では、コンピューティングクラスターはCFDシミュレーション、分子動力学、分散型大規模モデルトレーニングなどを並行して実行します。これらのワークロードは、ノード間通信にRDMAを多用し、帯域幅、遅延、パケットロスに非常に敏感です。クラスターが数十ノードから数百ノードに拡大すると、元のインターコネクトはすぐに制約要因となります。

一般的な症状としては、AllReduce中のテール遅延の増大、ファブリック全体でのリンク使用率のばらつき、複数のテナントがネットワークを共有した際のジョブ完了時間の低下などが挙げられます。ネットワークエンジニアやアーキテクトにとっての課題は、単に帯域幅を追加するだけでなく、輻輳下でも遅延を予測可能に保つファブリックを構築することです。

ソリューションとデプロイメント：MQM8790-HS2Fを中心にファブリックを構築する

これらの問題に対処するため、クラスターファブリックは、高密度・低遅延環境向けに設計された200Gb/s HDR InfiniBandスイッチであるMellanox (NVIDIA Mellanox) MQM8790-HS2Fを中心に再設計されました。MQM8790-HS2F 200Gb/s HDR 40ポートQSFP56フォームファクタは、1Uに40ポートを搭載でき、2層のファットツリートポロジーに自然に適合します。

デプロイメントはレイヤードアプローチに従いました：

• スパインレイヤー： NVIDIA Mellanox MQM8790-HS2Fスイッチをスパインデバイスとしてデプロイし、200Gb/sのアップリンクとリーフグループ間のノンブロッキングな東西トラフィックを提供します。
• リーフレイヤー： リーフスイッチは、ConnectX-6またはConnectX-7アダプターを搭載したコンピューティングノードを接続し、MQM8790-HS2F互換のエンドツーエンドHDRパスを形成します。
• インネットワークコンピューティング： MQM8790-HS2FのSHARPテクノロジーは、AllReduceなどのコレクティブオペレーションをスイッチにオフロードし、GPUとCPUのオーバーヘッドを削減します。
• 管理とテレメトリ： MLNX-OS、UFM、NetQを使用して、ファブリックのプロビジョニング、監視、輻輳の可視化を行いました。

計画中、チームはMQM8790-HS2FのデータシートとMQM8790-HS2Fの仕様を確認し、電源予算、冷却要件、2×100Gb/sブレークアウトなどのポート分割オプションを検証しました。ケーブリングとオプティクスはQSFP56に標準化され、スペア部品と将来の拡張を簡素化しました。

結果とメリット：デプロイメント後の変化

MQM8790-HS2F InfiniBandスイッチソリューションに移行した後、クラスターは通信効率とジョブ安定性において測定可能な改善を示しました。最も顕著な成果は以下の通りです：

運用面では、チームはファブリックの動作に対する制御を強化しました。アダプティブルーティングとSHARPはホットスポットの影響を軽減し、テレメトリにより遅いノードや設定ミスのあるリンクを特定しやすくなりました。MQM8790-HS2Fの価格やMQM8790-HS2Fの販売オプションを評価するアーキテクトにとって、重要な点は、スイッチは単なるポート数だけでなく、クラスター利用率の向上によって元が取れるということです。

結論と展望

MQM8790-HS2Fは、目的特化型のInfiniBandスイッチがRDMA、HPC、AIクラスターのインターコネクトボトルネックをどのように解消できるかを示しています。200Gb/s HDRポート、SHARPインネットワークコンピューティング、成熟した管理スタックを組み合わせることで、NVIDIA Mellanox MQM8790-HS2Fは、スケーラブルな環境で予測可能な低遅延を実現します。クラスターが成長し続け、AIワークロードの通信集約度が高まるにつれて、MQM8790-HS2F InfiniBandスイッチ上に構築されたファブリックは、次の拡張の波をサポートするのに適した位置にあります。