NVIDIA メラノックス MMA4Z00-NS データセンター オプティカルトランシーバー 技術ソリューション

NVIDIA Mellanox MMA4Z00-NS データセンター光トランシーバー テクニカル ソリューション |ラック間および施設間のリンクにわたる帯域幅と距離のバランスをとる

1. プロジェクトの背景と要件の分析

人工知能 (AI) とハイ パフォーマンス コンピューティング (HPC) のワークロードが拡大し続けるにつれて、基盤となるネットワーク インフラストラクチャは、800G イーサネットと 400G InfiniBand のアクセス速度をサポートするように進化する必要があります。データセンターの設計者は現在、物理層の設計という重要な課題に直面しています。それは、トランシーバの種類の増加、在庫コストの高騰、信号の完全性の低下を招くことなく、ラック内接続 (2 ～ 5 メートル) から通路間リンク (30 ～ 60 メートル)、さらには列間または建物間接続 (最大 100 メートル) まで、さまざまな距離にわたって 800G 帯域幅を提供する方法です。距離階層ごとに個別の光モジュールを選択する従来のアプローチ（たとえば、短距離の場合は SR8、拡張距離の場合は DR8/FR8）では、運用が複雑になり、誤ったプロビジョニングのリスクが増大します。この場合、短距離のモジュールが誤って長いリンクに配置され、予測不可能なビット誤り率（BER）が発生します。

この課題は、同時に発生する 3 つの業界トレンドによってさらに悪化します。まず、イーサネット スイッチと InfiniBand スイッチの両方で OSFP (Octal Small Form Factor Pluggable) フォーム ファクタが広く採用されたことで、共通のインターフェイスが作成されましたが、すべての OSFP トランシーバが 800G PAM4 速度のマルチモード ファイバ上で一貫したパフォーマンスを提供できるわけではありません。第 2 に、トランシーバーが最適化されていない場合、32 または 64 個の OSFP ポートを備えた高密度スイッチは大量の電力を消費する可能性があるため、持続可能性の義務によりポートごとの消費電力の削減が推進されています。 3 番目に、運用チームは、監視を簡素化し、平均修復時間 (MTTR) を短縮するために、すべての光リンクにわたって均一な診断機能を必要とします。構造化された技術ソリューションが必要です。これは、イーサネットと InfiniBand ファブリックの両方にわたる距離計画、リンク バジェットの検証、プロアクティブな健全性管理のための明確なガイドラインを提供しながら、十分に特性評価された単一の 800G SR8 トランシーバーを標準化するものです。

2.全体的なネットワーク/システムアーキテクチャの設計

提案されたアーキテクチャは、GPU コンピューティング ノードとストレージ システムのプライマリ アクセス インターフェイスとして機能する 800G OSFP ポートを備えた 2 層スパイン/リーフ トポロジを採用しています。通常、各リーフ スイッチには 32 個または 64 個の OSFP ポートが装備されており、800G または 1.6T アップリンクを介してアップストリーム スパイン スイッチに接続され、ダウンストリーム ポートは複数のラックおよび通路に分散されたコンピューティング ノードおよびストレージ コントローラに割り当てられます。ポート使用率を最大化し、スイッチの設置面積を削減するために、このアーキテクチャでは 2×400G ブレークアウト構成が活用されています。単一の 800G OSFP ポートが 2 つの独立した 400G 接続に分割され、それぞれが別の GPU サーバーまたはストレージ エンドポイントで終端されます。この設計により、リーフ層の実効ポート密度が効果的に 2 倍になり、ラック スペースが貴重な GPU が豊富な環境では特に価値があります。

スイッチとエンドポイント間の物理ケーブル配線は、NVIDIA Mellanox MMA4Z00-NS最大 65 メートルのすべてのマルチモード ファイバー リンク用の標準化された 800G 光トランシーバーとして機能します。これMMA4Z00-NS 800G OSFP SR8 トランシーバーは、レーンあたり 100G PAM4 で 8 つのパラレル レーンを使用して、OM4 (50 メートル) および OM5 (70 メートル) マルチモード ファイバー上で動作し、800GBASE-SR8 および 400G-SR4 イーサネット仕様、ならびに InfiniBand HDR および NDR データ レートに準拠します。このモジュールのデュアル プロトコル機能は、ファームウェアを再構成することなくイーサネットと InfiniBand の両方をサポートするため、異種ファブリック間で統合された光戦略を可能にし、混合プロトコル環境で必要なトランシーバ SKU の数を削減します。

このアーキテクチャには、すべての新規設置に MPO-12 コネクタと OM5 広帯域マルチモード ファイバを使用する標準化されたファイバ プラント設計も組み込まれており、リンク マージンが許す限り短いリンクに対して既存の OM4 インフラストラクチャを再利用するための備えも備えています。この設計により、任意の OSFP ポートが 65 メートルの到達距離制限内の任意のエンドポイントに相互接続できるようになり、容量のリバランスとハードウェアのリフレッシュ サイクルに最大限の柔軟性が提供されます。設計ガイドでは、MMA4Z00-NSの仕様曲げ半径（動的最小 30 mm）、コネクタの清浄度（IEC 61300-3-35 による）、挿入損失バジェット（コネクタとスプライスを含むリンク全体で合計最大 3.0 dB）。

3. ソリューションにおける NVIDIA Mellanox MMA4Z00-NS の役割と主な機能

このアーキテクチャ内では、MMA4Z00-NS 800G OSFP SR8 トランシーバースイッチ/アダプターの電気ドメインと光ファイバーインフラストラクチャーを橋渡しする標準化された光インターフェースとして機能します。その主要な技術的特徴は、単一 SKU 戦略の成功に不可欠です。

• デュアルプロトコル動作:自動検出機能を備えた 800G イーサネット (800GBASE-SR8) と 400G InfiniBand (NDR) の両方をサポートし、異種ファブリック間で統合されたトランシーバー インベントリを実現します。
• ネイティブ 2×400G ブレークアウト機能:のMMA4Z00-NS 2x400G InfiniBand/イーサネットこのモードでは、ブレークアウト MPO-12 から 2×MPO-8 ケーブル アセンブリを使用して、単一の OSFP ポートで 2 つの独立した 400G エンドポイントに電力を供給できるため、外部ファンアウト モジュールが不要になります。
• 8レーンの850nm VCSELアレイ:相対強度ノイズ (RIN) が低く、信頼性の高い光出力パワー (レーンあたり通常 -2.0 ～ +4.0 dBm) を提供し、100G PAM4 のマルチモード ファイバー上でクリーンなアイ ダイアグラムをサポートします。
• 高感度PINレシーバーアレイ:レーンあたりの標準感度は -5.5 dBm、コネクタの損失と経年劣化を考慮して、70 メートルの OM5 で少なくとも 3.0 dB のリンク マージンを実現します。
• 電力効率:標準消費電力は 800G モードで 10.5W 未満、2×400G ブレークアウト モードで約 8.2W であり、サーマル バジェットを超過することなく高密度のポート構成が可能です。
• 統合デジタル診断モニタリング (DDM):標準 I²C 管理インターフェイスを介した各レーンの Tx 電力、Rx 電力、温度、電圧、バイアス電流のリアルタイム レポートにより、プロアクティブな障害検出とレーン レベルのトラブルシューティングが可能になります。
• 広い動作温度範囲:ケース温度は 0°C ～ 70°C で、周囲熱が上昇する高密度ラック環境でも信頼性の高い動作を保証します。

これらの機能は、次のドキュメントに包括的に記載されています。MMA4Z00-NS データシートこれには、アイ ダイアグラム マスク、ジッター許容曲線、およびキャビネット レイアウト ツールに統合するための機械図面が含まれています。データシートには、各リンクの総挿入損失がモジュールの光バジェット内に収まっていることを検証するために、アーキテクチャ計画段階で参照される詳細なリンク バジェット テーブルも提供されています。

4. 導入とスケーリングの推奨事項 (一般的なトポロジの説明付き)

初期導入では、距離階層を標準化されたケーブル配線タイプにマッピングし、すべての接続にわたって一貫したリンク マージンを確保する、構造化されたゾーニング アプローチをお勧めします。次の一般的なトポロジは、8 つのキャビネット (キャビネットごとに 8 ノード) にわたる 64 GPU ノードにサービスを提供する 32 ポート リーフ スイッチに使用され、キャビネット間の距離は 5 ～ 50 メートルの範囲です。

• ゾーン A (ラック内、2 ～ 5 メートル):MPO-12 パッチ コードをリーフ スイッチ (同じキャビネット内) から GPU ノードに直接接続します。リンク マージンは 6 dB を超え、コネクタが中程度に劣化しても堅牢な動作を保証します。
• ゾーン B (隣接するキャビネット、8 ～ 20 メートル):中間パッチパネルを備えたオーバーヘッドファイバートレイを介した構造化されたOM5ケーブル配線。コネクタの合計数: リンクごとに 2 つの嵌合ペア。リンク マージン: 4.0 ～ 4.5 dB、モジュールの最小値 3.0 dB 内に十分収まります。
• ゾーン C (通路間 / 列間、25 ～ 50 メートル):工場で研磨されたコネクタを備えた終端処理済みの OM5 トランクは、上げ床の下に配線されています。リンク マージン: 3.0 ～ 3.5 dB、5 年間の経年変化が最大 0.5 dB あったとしても依然として快適です。
• ゾーン D (キャンパス間の建物間、50 ～ 65 メートル):OM5 インフラストラクチャが存在する短キャンパス接続にのみ使用されます。 65 メートルでのリンク マージンは約 3.0 dB であるため、試運転中にコネクタの入念なクリーニング、曲げ半径の順守、および電力マージンの検証が必要です。

単一ポッドを超えたスケーリングは、同じゾーニング原則に従い、複数のポッドからの 800G アクセス リンクを終端する中間集約スイッチが追加されます。なぜなら、MMA4Z00-NS 800G OSFP SR8 トランシーバー ソリューションデュアル プロトコル機能を備えた単一の SKU を使用するため、拡張の際にプロトコルまたは距離ごとにトランシーバー タイプを予測する必要がなく、すべてのリンクが同一にプロビジョニングされます。これにより、物流が簡素化され、運用チームはメンテナンス イベント中に迅速に交換できるよう、予備のトランシーバー (通常は配備されたユニットの 5%) の少量のバッファ在庫を維持できるようになります。

距離計画については、次の表に、ファイバーの種類とリンク バジェットに基づく最大到達距離のガイドラインを示します。

最大到達距離に近い距離で導入する場合は、試運転中に光源とパワー メーターを使用して光パワー測定を実行し、測定された損失と、測定された損失を比較することをお勧めします。MMA4Z00-NS データシート。この検証ステップにより、リンクが運用環境に導入される前に、ケーブル配線の欠陥や汚染が確実に検出されます。

5. 運用とメンテナンス: 監視、トラブルシューティング、最適化

MMA4Z00-NS ベースの光インフラストラクチャの運用ライフサイクルには、モジュールのレーンレベルの DDM 機能を活用した、監視と障害管理に対する体系的なアプローチが必要です。 OSFP モジュールの標準 CMIS (共通管理インターフェイス仕様) を使用して、I²C 管理インターフェイスを中央ネットワーク管理システム (NMS) に統合することをお勧めします。プロアクティブ アラート用に構成する主なしきい値は次のとおりです。

• 送信電力の低下:いずれかのレーンの出力電力が公称値から 2.0 dB を超えて低下した場合にアラートを発します。これは、VCSEL の経年劣化または送信側のコネクタの汚れの可能性を示しています。
• Rx 電力マージン:いずれかのレーンの受信電力が -5.0 dBm (感度は -5.5 dBm) に近づくと警告し、過度のリンク損失、ケーブルの損傷、または MPO コネクタの位置合わせ不良を示します。
• 温度の変動:ケース温度が 65°C を超えた場合は、エアフローの障害、ファンの故障、または周囲温度の上昇が示唆される場合に警告します。
• バイアス電流ドリフト:時間の経過に伴うレーザーバイアス電流の変化を監視します。どのレーンでも公称値の 30% を超える継続的な増加は、VCSEL の劣化を示している可能性があります。

リンクの劣化または障害が発生した場合は、構造化されたトラブルシューティング プロトコルに従う必要があります。

1. レーンレベルの DDM 読み取り値を確認して、8 つのレーンのうちどのレーンで劣化が発生しているかを特定します。 Tx 値と Rx 値を、MMA4Z00-NSの仕様。
2. 端面顕微鏡を使用して両端の MPO コネクタを検査します。 IEC 61300-3-35 規格に従って汚染が検出された場合は、影響を受けた 1 つのレーンに特に注意を払って清掃します。
3. 正常なMMA4Z00-NSトランシーバを使用してリンクをテストし、障害がモジュールにあるのかファイバ・プラントにあるのかを確認します。
4. 特定のレーンで問題が解決しない場合は、OTDR テストを実行するか、ループバック診断を使用して、ファイバー パスまたはトランシーバーの内部光パスのいずれかに障害が発生していることを特定します。

最適化の機会には、最小曲げ半径の遵守を確保し、MPO コネクタの張力緩和が損なわれていないことを確認するための定期的なケーブル管理監査が含まれます。さらに、MMA4Z00-NS 価格は他の認定 800G SR8 モジュールとの競争力があるため、迅速な交換を可能にして MTTR を最小限に抑えるために、予備のトランシーバを少量在庫しておく（展開されているユニット全体の約 5%）ことをお勧めします。大規模な導入の場合は、すべてのリンクにわたるレーンレベルの DDM データを集約する自動化された光ヘルス ダッシュボードの実装を検討して、予知保全と容量計画を可能にします。

6. 概要と価値の評価

のNVIDIA Mellanox MMA4Z00-NSベースの技術ソリューションは、800G データセンター アクセス ネットワーク全体で帯域幅と距離のバランスを取るための実用的でフィールドで検証された方法論を提供します。単一の IEEE 準拠 OSFP SR8 トランシーバーを標準化することで、MMA4Z00-NS 800G OSFP SR8 トランシーバー- このアーキテクチャにより、さまざまな距離階層およびプロトコルに対応する複数の SKU を管理する複雑さが解消され、スペアパーツの在庫が削減され、導入計画が簡素化されます。このモジュールの 850nm VCSEL テクノロジーは、高感度 PIN レシーバー アレイと組み合わされて、最長 70 メートルの OM4 および OM5 マルチモード ファイバー上で信頼性の高いパフォーマンスを実現し、イーサネットと InfiniBand ファブリックの両方をサポートしながらデータセンター内リンクの大部分をカバーします。

同等の導入環境から得られる主な価値指標には次のものがあります。

• 在庫削減:単一のトランシーバー SKU が 4 つの距離/プロトコル固有の部品番号 (SR8、SR4、DR8、FR8 など) を置き換え、物流オーバーヘッドを 60 ～ 70% 削減します。
• 電力効率:800G モードで 10.5W 未満、2×400G ブレークアウト モードで 8.2W 未満の MMA4Z00-NS は、冷却コストの削減と PUE の向上に貢献します。
• 動作の信頼性:レーンレベルの DDM 対応プロアクティブ監視により、光層障害の MTTR が最大 60% 削減されます。
• コストの最適化:のMMA4Z00-NS 価格は、他の認定済み 800G SR8 モジュールと競合する一方、デュアル プロトコル機能とネイティブ ブレークアウト サポートにより、追加の認定コストと外部ハードウェアが不要になります。

MMA4Z00-NS は、ネットワーク アーキテクトやエンジニアリング リーダー向けに、温度変化や機械的ストレスに対して一貫したパフォーマンスを維持する「設定して忘れる」光インターフェイスを提供します。このソリューションは、標準化された 800G アクセス ネットワークを計画しているグリーンフィールド AI データセンターや、既存のマルチモード ファイバー インフラストラクチャを再利用しながら 400G から 800G にアップグレードするブラウンフィールド環境に特に推奨されます。 800G イーサネットと 400G InfiniBand が AI、HPC、およびエンタープライズ ストレージ環境で注目を集め続ける中、MMA4Z00-NS ベースの光アーキテクチャは、現在の運用上の制約と長期的な容量ロードマップの両方に適合する堅牢でスケーラブルな基盤を提供します。

詳細な統合ガイドライン、熱シミュレーション データ、およびコンプライアンス認証パッケージについては、公式の製品ドキュメントを参照してください。