Mellanox (NVIDIA Mellanox) MMA4Z00-NS データセンター光モジュール アプリケーションの実践

ハイパースケール データセンターと AI クラスターの進化において、ラック間およびクロスルームのリンク帯域幅と伝送距離のバランスが重要な設計課題となっています。 GPU ファブリックと高性能ストレージ ネットワークが 800G に向けて進むにつれて、ネットワーク設計者は信号の完全性、電力バジェット、ケーブル配線の複雑さに同時に対処する必要があります。のメラノックス (NVIDIA メラノックス) MMA4Z00-NSデータセンターの光モジュールは、大規模な AI トレーニング施設での最近の導入で実証されているように、この課題に対する実用的なソリューションを提供します。

この施設では、隣接する 2 つの机房の建物にまたがって複数のコンピューティング ポッドを運用しており、その距離は 15 メートル (ラック内隣接) から 120 メートル (建物間) の範囲です。同社のレガシー 400G インフラストラクチャは並列シングルモード ソリューションに依存していましたが、短距離のラック間リンクでは高価で電力を大量に消費することが判明しました。新しい 800G 対応クラスターの場合、2 つの個別のインベントリ プールを展開することなく、ラック間接続 (通常はマルチモード ファイバーで 20 ～ 50 メートル) とクロスルーム アグリゲーション (最大 100 メートル) の両方を処理できる単一のトランシーバー タイプが必要でした。

従来の 800G SR8 モジュールは、OM4 で最大 50 メートルのみをサポートしており、部屋をまたいでの長時間の実行には不十分です。並列 FR4 または DR8 ソリューションは長距離でも動作しますが、短距離リンクではコストと消費電力が大幅に増加します。チームは柔軟な対応を必要としていましたMMA4Z00-NS 800G OSFP SR8 トランシーバー ソリューションこれにより、ポート密度と熱パフォーマンスを維持しながら、さまざまな到達要件に適応できます。

建築家たちが選んだのは、NVIDIA Mellanox MMA4Z00-NSデュアルモード機能に基づいています。標準の 800G OSFP SR8 モードでは、モジュールは並列マルチモード ファイバー上で 8 つの 100G PAM4 レーンを駆動し、合計 800Gb/s を実現します。 50 メートルを超える部屋間のリンクについては、MMA4Z00-NS 2x400G InfiniBand/イーサネットブレークアウト モード: 単一モジュールが 2 ペアのファイバーを介して 2 つの個別の 400G ポートに電力を供給し、同じ OSFP フットプリントを利用しながら、到達距離を OM4 で 100 メートル以上 (OM5 で 120 メートル) に効果的に 2 倍にします。

導入は、次のような単純なゾーニング戦略に従いました。

• ラック内 (≤10m):銅直接DAC – 光モジュールは必要ありません。
• 隣接するラック (15 ～ 30m): MMA4Z00-NS 800G OSFP SR8 トランシーバー24 ファイバー MPO-12 トランク上のネイティブ モード。
• 通路を横切る / 列の最後尾 (35 ～ 50 メートル):同じネイティブ SR8 モードで、曲げに影響されない OM4 ファイバーを使用します。
• クロスルーム / 隣接する建物 (60-100m): MMA4Z00-NS 2x400G InfiniBand/イーサネットブレークアウト モードでは、各 400G レーンが個別のファイバー ペア上にあり、既存の 8 ファイバー MPO インフラストラクチャを活用します。

によると、MMA4Z00-NS データシートそしてMMA4Z00-NSの仕様の場合、モジュールはスイッチ ポートとのリンク ネゴシエーションに基づいて動作モードを自動的にネゴシエートします。ネイティブ展開とブレークアウト展開を切り替える際に手動構成や再ケーブル接続が不要となり、運用上の大きな利点となります。

3 か月の生産運用後、施設は次の結果を報告しました。

エンジニアは、トラブルシューティングの簡素化にも言及しました。すべての光リンクが、同じ診断インターフェイスと監視しきい値を共有するようになりました。MMA4Z00-NSの仕様。このモジュールの CMIS 5.0 テレメトリのネイティブ サポートにより、レーンごとのリアルタイムの光パワーと温度データが提供され、リンク異常の平均解決時間 (MTTR) が短縮されました。

調達に関してチームは次のことを確認しました。MMA4Z00-NS 価格総所有コスト (在庫、トレーニング、予備品) を考慮すると、ポイントは個別の SR8 および FR4 トランシーバーと比較して競争力があります。ユニットは現在広く普及していますMMA4Z00-NS 販売中NVIDIA 流通チャネルを通じて販売され、大量注文の場合は通常 2 ～ 3 週間のリードタイムがかかります。互換性テストにより、モジュールが完全に正常であることが確認されましたMMA4Z00-NS互換NVIDIA Quantum-2 および Spectrum-4 スイッチ、および検証済みファームウェアを実行するいくつかのサードパーティ OSFP プラットフォームを使用します。

導入により、メラノックス (NVIDIA メラノックス) MMA4Z00-NS混合リーチのデータセンター ファブリックにおける帯域幅と距離のジレンマを効果的に解決します。このモジュールは、ネイティブ 800G SR8 と 2x400G ブレークアウト モードの両方を単一の OSFP フォーム ファクターで提供することにより、短距離と中距離のインベントリを個別に用意する必要がなくなります。複数のラックまたは隣接する机房ゾーンにわたる 800G アップグレードを計画しているネットワーク アーキテクトの場合、MMA4Z00-NS柔軟でコスト効率が高く、運用がシンプルな基盤を提供します。

AI クラスターの規模が拡大し続けるにつれて、到達距離を 100 メートルに延長しながらマルチモード ファイバー インフラストラクチャを再利用できる機能の価値がますます高まっています。のMMA4Z00-NS 800G OSFP SR8 トランシーバー ソリューションこれは、将来の保証がオーバープロビジョニングを意味する必要はないことを示しています。場合によっては、適切なモジュールが距離に適応するものであり、その逆ではないこともあります。