メラノックス (NVIDIA メラノックス) 920-9B110-00FH-0D0 インフィニバンドスイッチ 低遅延インターコネクト最適化

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand スイッチの動作 – RDMA/HPC/AI クラスター向けの低遅延インターコネクトの最適化

地域のスーパーコンピューティング センターは最近、AI コンピューティング インフラストラクチャの大規模なアップグレードに着手し、大規模な言語モデルのトレーニングとゲノム シーケンシングのワークロードをサポートするために NVIDIA A100 GPU を 64 個から 256 個に拡張しました。しかし、既存の 100GbE RoCEv2 ネットワークが永続的なボトルネックになりました。頻繁な PFC ストーム、予測できないテール レイテンシー、複雑な ECN チューニングにより、多大なエンジニアリング労力が費やされ、ジョブの完了時間が 40% 以上延長されました。このケーススタディでは、センターがどのようにメラノックス (NVIDIA メラノックス) 920-9B110-00FH-0D0InfiniBand スイッチはファブリックを変革し、RDMA 集約型アプリケーションに確定的な低遅延の相互接続を提供します。

背景と課題 – イーサネットの上限

センターの初期アーキテクチャでは、RoCEv2 を備えた 2 つの 100GbE リーフ スイッチを使用し、GPU サーバーと並列ファイル システムを接続しました。トレーニング ジョブが拡大するにつれて、ネットワークには 3 つの重大な問題が発生しました。1 つは、PFC (Priority Flow Control) のデッドロックが毎日発生し、手動リセットを強いられたことです。 2 番目に、all-reduce の集合操作では 200 μs を超えるテール レイテンシが発生し、GPU 使用率が直接低下しました。 3 番目に、トラブルシューティングには詳細なパケット検査が必要でしたが、これには時間がかかり、決定的な結果が得られることはほとんどありませんでした。運用チームは、イーサネットでは、たとえ RDMA 拡張機能を備えていても、次世代 AI ワークロードに必要なロスレスで確定的なファブリックを提供できないことに気づきました。

ソリューションと展開 –920-9B110-00FH-0D0 インフィニバンド スイッチ OPN新しいバックボーンとして

複数の選択肢を検討した結果、センターはNVIDIA メラノックス 920-9B110-00FH-0D0スイッチ、に基づいて920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/秒 HDRプラットフォーム。導入では、2 層ファットツリー トポロジが採用されました。920-9B110-00FH-0D0スイッチはリーフとして (各スイッチは 200G リンクを介して 64 GPU ノードに接続)、追加の 2 つのユニットはスパインとして、完全な二分帯域幅を提供します。スイッチは既存の ConnectX‑6 HDR アダプターとペアリングされ、920-9B110-00FH-0D0互換シームレスな統合を保証するエコシステム。導入に関する主な決定には次のものが含まれます。

• ケーブル配線:最大 100 メートルのスパイン-リーフ距離に対応する 200G HDR 光モジュール。ラック内接続用のパッシブ DAC を備えています。
• 管理：自動トポロジ検出、適応ルーティング ポリシー、およびリアルタイム テレメトリのための NVIDIA UFM (Unified Fabric Manager)。
• 集団オフロード:SHARPv2 により、all-reduce 操作が高速化され、ホスト CPU からの作業がオフロードされ、ネットワーク チャタリングが軽減されました。

チームが参考にしたのは、920-9B110-00FH-0D0 データシートそして920-9B110-00FH-0D0の仕様電力と冷却の要件を検証するため – スイッチの 1U フォーム ファクタとポートあたり 200G の密度は、追加のインフラストラクチャを変更することなく、既存のラックにきちんと収まります。の920-9B110-00FH-0D0 InfiniBandスイッチOPNソリューションまた、正確な OPN (注文部品番号) により正しい構成が保証されるため、調達も簡素化されます。

測定された結果と利点 - 定量化可能なパフォーマンスの向上

2 週間の導入と検証の後、センターは主要業績評価指標全体の大幅な改善を文書化しました。次の表は、代表的な 256 GPU トレーニング ジョブ (BERT 大規模事前トレーニング) の前後のメトリクスをまとめたものです。

数字以外にも、チームは次のように報告しました。NVIDIA メラノックス 920-9B110-00FH-0D0は、ゼロパケットドロップファブリックを提供し、これまで PFC 回復に必要であった手動介入を完全に排除しました。によって提供される組み込みテレメトリ920-9B110-00FH-0D0 インフィニバンドスイッチ OPN運用スタッフがフローごとの混雑とパスの使用率を詳細に把握できるようになり、プロアクティブな容量計画が可能になりました。さらに、920-9B110-00FH-0D0 価格400G NDR スイッチにアップグレードする場合と比較して費用対効果が高いことが証明されており、センターのミッドレンジ予算に最適です。

概要と展望 – 低遅延の相互接続への実証済みの道

スーパーコンピューティング センターの経験は、メラノックス (NVIDIA メラノックス) 920-9B110-00FH-0D0は、困難に直面しているイーサネット ファブリックと高価なハイエンド ソリューションの両方に代わる、実用的で高性能な代替品を提供します。このスイッチは、200 Gb/秒の HDR スループット、10 μs 未満の平均レイテンシ、ロスレス RDMA トランスポートを実現することで、組織が GPU 投資の可能性を最大限に引き出すことができ、AI および HPC ワークロードの洞察までの時間を短縮します。

将来を見据えて、センターは同じものを使用してファブリックを 512 GPU に拡張することを計画しています。920-9B110-00FH-0D0 InfiniBandスイッチOPNソリューション、既存のスパイン インフラストラクチャを維持しながら、リーフ スイッチを追加することで拡張します。このスイッチは将来の NVIDIA アダプター (ConnectX‑7 を含む) と互換性があるため、スムーズなアップグレード パスが保証されます。同様のアップグレードを評価している組織の場合、920-9B110-00FH-0D0の仕様そして920-9B110-00FH-0D0 データシート必要な設計パラメータがすべて提供されており、ユニットはすぐに入手できます (920-9B110-00FH-0D0 販売用認可されたチャネルを通じて）。

この現実世界の展開により、920-9B110-00FH-0D0は単なる製品ではありません。低遅延、高効率のクラスター ネットワーキングを可能にする実証済みの製品であり、AI と科学技術コンピューティングの次の 10 年の需要を満たす準備ができています。