NVIDIA メラノックス MMAIB00-B150D データセンター オプティカルトランシーバー

NVIDIA Mellanox MMAIB00-B150D データセンター オプティカルトランシーバー 実用化♪ ラック・トゥ・ラック・インター・ファシリティ・リンクの帯域幅と距離をバランスする

背景と課題: 混合プロトコル環境における25G帯域幅距離トレードオフ

データセンターのオペレーターは同時に 10G から 25G にサーバー アクセス ネットワークをアップグレードしながら AI 訓練,ストレージ,一般的な計算です25G SFP28 トランシーバーでは,主要トレードオフは,範囲とプロトコル柔軟性との間でした.いくつかのモジュールは,OM4で100mの範囲を持つEthernet 25GBASE-SRに最適化されています.異なる信号完整性要件を持つ 25G InfiniBand HDR 環境に特化したものです.ネットワークアーキテクトは,通常,各ファブリックタイプに対して別のトランシーバーSKUを維持することを余儀なくされています.配列の複雑さと,特定のスイッチポートに間違ったモジュールを配備するリスクが増加します.

この課題は最近 グローバル金融サービス企業が 隣接する3つのデータセンターのホールに 新しいAI研究クラスターを展開して 解決しましたクラスタは,Ethernet ストレージトラフィックとGPU-GPU通信のための25G InfiniBandの両方に 25G接続を必要とした., 接続距離は5メートル (ラック内) から90メートル (横道と列間) まで.エンジニアリングチームは,プロトコルと距離範囲の両方で信頼性の高いパフォーマンスを提供できる単一の25G SFP28トランシーバーを必要としていました予備品の在庫を削減する.NVIDIA メラノックス MMAIB00-B150D25G オプティカルトランシーバーを提供し,OM4ファイバーで100メートルの範囲でサポートしています.

ソリューションと展開:イーサネットとインフィニバンドを通じて統一された25G光学戦略

帯域幅距離とプロトコルの柔軟性に関する課題に対処するために,同社はNVIDIA メラノックス MMAIB00-B150DAI研究クラスターのすべてのマルチモードファイバーリンクのための唯一の25G光受信機として.MMAIB00-B150D オプティカルトランシーバー850nmVCSEL技術を用いた標準デュプレックスマルチモードファイバーで動作し,ファームウェア再構成なしで25GBASE-SRイーサネットと25GInfiniBand HDRプロトコルの両方をサポートする.OM4ファイバーで100メートル,OM3ファイバーで70メートルの範囲で,ホール内のすべてのリンクに十分なカバーを提供しました双プロトコルの機能により,Ethernet ストレージファブリックとInfiniBand コンピューティングファブリック全体で統一されたトランシーバー在庫が可能になりました.

配線は4つの区画で実施され,各区画に特定のケーブルと接続要件があります.

• ゾーンA (トラック内,2°5m)SFP28スイッチポートからサーバーNICへの直接デュプレックスLCパッチコード.リンクマージンは6dBを超え,中程度のコネクタ劣化でも堅牢な動作を保証します.
• ゾーンB (隣接するラック,8×25m):構造化されたOM4ケーブルは,中間パッチパネルを備えたオーバーヘッドファイバートレイを介して作られる.コネクタの総数:リンク1対2対.リンクマージン:4.5~5.0 dB,モジュールの光学予算内には,MMAIB00-B150D データシート.
• ゾーンC (横道/列間,30~70m)3dBの最小幅を維持するために,チームは,設置前にすべてのコネクタの端面清掃を行い,運用中に光学電源計を使用して挿入損失を検証しました..
• ゾーンD (ホール間接続,80~90m)3つの隣接するデータセンターのホール間の接続に使用されます. OM4の90メートルのリンクマージンは約3.0dBで,稼働中に電力の限界の検証.

なぜならNVIDIA メラノックス MMAIB00-B150DはMMAIB00-B150Dに対応するNVIDIA Spectrum Ethernet スイッチとNVIDIA Quantum InfiniBand スイッチ,およびConnectXシリーズアダプターおよびBlueField DPUの両方で,プロトコル特有の構成や資格なしで,同じトランシーバーSKUを全組織に展開することができましたこれはMMAIB00-B150D メラノックス 光学データセンターネットワークこのソリューションにより,EthernetとInfiniBandのトランシーバーの個別の在庫の必要性がなくなり,調達の複雑性と誤ったプロビジョニングのリスクが大幅に減少しました.

結果と利益: 費用,簡素性,プロトコル柔軟性において測定可能な利益

1,800の光学リンクを分析した結果,数値化可能な利点がいくつか明らかになった.MMAIB00-B150D オプティカルトランシーバーソリューション組織は,EthernetとInfiniBandのトランシーバーSKUを分離する必要性をなくし,トランシーバーの在庫を50%削減し,注文プロセスを簡素化しました.MMAIB00-B150D 価格単一のEthernetと単一のInfiniBandのモジュールの合計コストと比較すると,接続ごとに30%のコスト削減をもたらしました. 双プロトコル機能により,関連オーバーヘッドコストを伴う2つの別々の在庫の必要性がなくなりました..

第2に,最初の9ヶ月間における運用障害率は例外的に低かった. 1800台のうち,トランシーバーの交換が4台のみ必要であった.業界平均の0よりかなり低い.混合プロトコル環境における25G SFP28トランシーバーでは0.8%です.この信頼性は,工場最適化された光学アライナメントとMMAIB00-B150Dの厳格な品質管理に起因します.清掃手順に準拠していることMMAIB00-B150D 仕様.

3つ目は,電力の効率がNVIDIA メラノックス MMAIB00-B150D1つのモジュールあたり1.5W未満の消費が測定可能な冷却節約に貢献しました. 配備された全車隊全体で1,800台のトランシーバーは合計約2.6kWを消費しました.推定3.6 kWは,EthernetとInfiniBandのモジュールが別々に維持されていた場合 (それぞれに少し異なる電源プロファイルがある).この28%の電力削減は,発電所の電力使用効率 (PUE) を推定0%向上させた.0.02ポイント

運用的観点から,デュアルプロトコルの機能は,メンテナンスのイベント中に重要な利点をもたらしました.既存のMMAIB00-B150Dトランシーバーを古いスイッチから新しいスイッチに 移動させることができました同様に,InfiniBandファブリックが拡張されたとき,同じトランシーバーSKUが使用され,プロトコル特有のトランシーバー需要を別々に予測する必要がなくなりました.モジュールのデジタル診断モニタリング (DDM) インターフェースは,両方の繊維の光学状態をリアルタイムで可視化しました生産作業負荷に影響を与える前にリンクの劣化を特定し対処できるようにします.

概要と展望:汎用的な25G光学アーキテクチャのための青写真

導入経験は,NVIDIA メラノックス MMAIB00-B150D複数の距離ゾーンとイーサネットとインフィニバンドの両方のファブリックでよく特徴付けられた 25G SFP28 トランシーバーは,現代のAIデータセンターの帯域幅距離トレードオフとプロトコル柔軟性要件を効果的に解決することができます.100mの範囲を活用してMMAIB00-B150DOM4ファイバーとダブルプロトコルの能力により,建築家は複数の光学SKUのコストと複雑さを回避し,信号の整合性と操作のシンプルさを維持できます.ラック間廊下とホール間のリンクです

25Gイーサネットと25Gインフィニバンドが AIトレーニング,HPC,エンタープライズストレージ環境の アクセス層基盤として機能し続けると,2つのプロトコルの光接受信機は 成長するだけですMMAIB00-B150Dは この軌道に適していますNVIDIA Mellanox プラットフォームと標準 SFP28 フォームファクターとの幅広い互換性により,現在のインフラストラクチャと将来のアップグレードの両方にシームレスな統合が保証されます.10Gから25Gへの類似した移行を計画している組織または混合プロトコルAIファブリックを展開している組織にとって,この展開で検証された階層的アプローチは,実践的なロードマップを提供します.MMAIB00-B150Dを標準化する 100mまでのすべての 25Gマルチモードファイバーリンク100mを超えるリンクの長距離ソリューションを予約するそして,EthernetとInfiniBandの両方のファブリックで光学状態を積極的に管理するために,DDMデータを活用する統一監視フレームワークを維持します..

詳細なリンク予算テンプレート,インストールチェックリスト,清掃プロトコルについては,MMAIB00-B150D データシートNVIDIA Mellanox オプティカルアプリケーションのノートです