NVIDIA Mellanox MMA4Z00-NS データセンター光トランシーバーの実用化

NVIDIA Mellanox MMA4Z00-NS データセンター オプティカルトランシーバー 実用化♪ ラック対ラック インターファシリティリンクの帯域幅と距離をバランスする

背景と課題:AI駆動データセンターにおける800G帯域幅距離ジレンマ

AIトレーニングクラスタは数百から数千の GPUからスケールされるため,基盤となるネットワーク構造は,データホール内で受け入れられるリンク距離を維持しながらテラビット規模の帯域幅を提供する必要があります.800G イーサネットと 400G インフィニバンドの展開物理層の課題は特に深刻です.伝統的な850nmVCSELベースのマルチモードトランシーバーは,短距離リンク (30m未満) のための優れたコスト効率を提供します.しかし800G PAM4速度では通常 50~70メートルまで下降します. 距離は,クロス korridor接続や列間トポロジーには不十分かもしれません.逆に,DR8やFR8トランシーバーのようなシングルモードソリューションは数百メートルまで範囲を広げますが,大幅に高いコストと消費電力があります.高密度のアクセス層の展開に経済的に不可能なものにする.

この課題は最近 大規模なクラウドプロバイダーが 12つのデータセンターホールに 8,000GPUのAIトレーニングクラスタを展開したことで 直面しましたクラスタは隣接するラックと隣接しないラックに分布したリーフスイッチとGPUコンピューティングノード間の800G接続を必要とした距離は5メートル (ラック内) から65メートル (横道)エンジニアリングチームは,信号の完整性を犠牲にすることなく,これらのリンクのほとんどをカバーできる単一のトランシーバーSKUを必要としていましたストレージのためのイーサネットとGPU対GPU通信のためのInfiniBandの両方を含まれていたため.NVIDIA メラノックス MMA4Z00-NSこのプロトコルは,両プロトコルで2×400Gのブレークアウト能力を持つ800G OSFP SR8性能を提供する最適な候補として登場した.

ソリューションと展開:統一された800G光学戦略

バンド幅と距離のバランスを取るために,プロバイダは標準化NVIDIA メラノックス MMA4Z00-NS半径60mまでのすべてのマルチモードファイバーリンクのための唯一の800G光接送機としてMMA4Z00-NS 800G OSFP SR8トランシーバーOM5 ブロードバンドマルチモードファイバーで動作する800Gで70メートルの範囲をサポートする 経路接続に十分な範囲を提供し,より短いリンクのための既存のOM4インフラストラクチャとの互換性を維持する60mを超えるリンクでは,少数のホール間接続をカバーするために,チームでは単モードトランシーバー (DR8/FR8) の小さな在庫を予約しました.

導入は3つの区画で実施され,各区画に特有のケーブルと接続性要件があります.

• イントララック (2-5m):OSFPスイッチポートからGPUコンピューティングノードへの直接MPO-12パッチコード,両端にMMA4Z00-NSトランシーバーを使用.リンクマージンは5dBを超えた.接続器の軽度の劣化でも安定した動作を保証する.
• 隣接するラック (8~20m):中間パッチパネルを備えたオーバーヘッドトレイを介して構造化されたOM5ケーブル. 接続器の総数: 1 リンクあたり 2 組のペア. リンクマージン: 4 〜 4.5 dB,モジュールの光学予算内には,MMA4Z00-NS データシート.
• 横道/列間 (25~55m)3dBの最小幅を維持するために,チームは,設置前にすべてのコネクタの端面清掃を行い,運用中に光学電源計を使用して挿入損失を検証しました..

グラフ像素サーバーを量子-2スイッチに接続するMMA4Z00-NS 2x400G インフィニバンド/イーサネットこの構成では,スイッチ側にある単一のMMA4Z00-NSトランシーバーが,break-out MPO-12 から 2×MPO-8 ケーブル組件経由で2つの 400G エンドポイントを供給する.このネイティブ・ブレイクアウト機能は,外部ファン・アウト・モジュールの必要性を排除しました.400Gベースのアーキテクチャと比較して約20%削減します.NVIDIA メラノックス MMA4Z00-NSはMMA4Z00-NS対応イーサネットとインフィニバンドの両方のプロトコルで,チームは全組織にわたって単一のトランシーバーSKUを維持し,調達とスペアパーツ管理を簡素化しました.

結果 と 益: 費用,密度,および 運用 の 単純化 に 関する 測定 できる 益

2,400の光学リンクを分析した結果,数値化可能な利点がいくつか明らかになった.MMA4Z00-NS 800G OSFP SR8トランシーバーソリューション通信機の在庫を60%削減し,注文プロセスを簡素化しました.MMA4Z00-NS 価格比較可能な拡張範囲の単調モジュールと比較すると,距離60m未満のリンクごとに45%のコスト削減が得られました.必要な機能にはプレミアムが支払われなかったからです.

2つ目は,最初の6ヶ月間における運用障害率は例外的に低く,2400台のうち,2台しかトランシーバーを交換する必要がなかったこと08% 業界平均0よりかなり低い初期世代の800Gトランシーバーでは0.5 ‰ 1%.この信頼性は,MMA4Z00-NSの工場最適化された光学アライナメントと厳格な品質管理に起因する.清掃手順に準拠していることMMA4Z00-NS 仕様.

3つ目は,電力の効率がNVIDIA メラノックス MMA4Z00-NS800Gで1モジュールあたり10.5W未満,および2×400Gブレイクモードで約8.2Wを消費し,測定可能な冷却節約に貢献しました.400トランシーバー 約24台2×400Gモードでは合計0.6 kW,800Gモードでは25.2 kWで,より高い消費電力 (典型的には12~14W) を有する代替シングルモードモジュールが選択された場合,推定35 kWと比べて,この28~30%の電力削減により,発電所の電力使用効率 (PUE) は,0.03ポイント

エンジニアリングの観点から,モジュールのデジタル診断モニタリング (DDM) インターフェースは,トラブルシューティングの際に非常に価値があります.前向きなモニタリングによって受信された光学電力の徐々に減少することが検出されました維持窓の間に接続器の清掃を予定し,予期せぬリンクダウンに反応するのではなく,操作チームに許可します.この予防的アプローチは,光層事故の修復までの平均時間 (MTTR) を推定55%削減しましたサービス中断を起こす前に 壊れたリンクを特定できたからです

概要と展望:スケーラブルな800G光学アーキテクチャのための青写真

導入経験は,NVIDIA メラノックス MMA4Z00-NS複数の距離帯を横断する際には well-chosen 800G OSFP SR8 transceiver can effectively address the bandwidth-distance trade-off in modern AI data centers — provided its specifications are carefully matched to the installed fiber plant and distance requirements70メートルの範囲を活用してMMA4Z00-NS 800G OSFP SR8トランシーバーOM5ファイバーの上で,建築家は複数の光学SKUのコストと複雑さを回避し,信号の完整性と操作のシンプルさを維持することができます.横通路のリンク.

800Gイーサネットと400Gインフィニバンドが AIトレーニング,HPC,エンタープライズストレージ環境で トラクションを獲得し続けると,費用対効果の高い 800G オプティカルトランシーバーはMMA4Z00-NSは この軌道に適しています双プロトコル機能とネイティブ 2×400G ブレイクアウトサポートにより,現在の400Gインフラストラクチャと将来の800Gネイティブエンドポイントの両方との互換性を確保するため,類似の800G移行を計画している組織にとって,この展開で検証された段階的なアプローチは,実践的なロードマップを提供します.,長いホール間接続のための単モードトランシーバーの準備そして,EthernetとInfiniBandの両方のファブリックで光学状態を積極的に管理するために,DDMデータを活用する統一監視フレームワークを維持します..

詳細なリンク予算テンプレート,インストールチェックリスト,清掃プロトコルについては,MMA4Z00-NS データシートNVIDIA Mellanox オプティカルアプリケーションのノートです