Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC アクティブ光ケーブル アプリケーションの実践

Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC アクティブ光ケーブル アプリケーション事例｜短距離・高速ラック間相互接続と配線の簡素化

背景と課題：ラック間接続における配線のボトルネック

ある国立スーパーコンピューティングセンターは、InfiniBand HDR 200Gネットワークのアップグレード後、予期せぬボトルネックに直面しました。それはラック間の物理的な相互接続でした。この施設には48台のコンピューティングラックがあり、各ラックには16台のGPUサーバーが搭載されています。各サーバーは、トップ・オブ・ラック（ToR）リーフスイッチへの200Gアップリンクを2系統必要とします。従来の方式では、ラック間接続は光ファイバーパッチコードと個別の光モジュールに依存していました。各ラックの上部にはQSFP56 SR4トランシーバーが配置され、隣接ラックのリーフスイッチにMPOファイバージャンパーで接続されていました。このソリューションは、初期展開中に複数の問題を引き起こしました。第一に、ケーブルの急増が深刻でした。48ラック間に300本以上の光ファイバー接続が必要となり、ケーブルトレイは2週間以内に満杯になり、新たな追加は既存のケーブルの撤去に依存するようになりました。第二に、光モジュールの故障率が著しく高く、運用チームは展開後最初の3ヶ月間で週に平均3～4回のモジュール交換を記録し、多くの場合リンクの再資格認定が必要となり、連鎖的なジョブスケジューリングの遅延を引き起こしました。第三に、各MPOジャンパーは、初期導入時にリンクあたり15～20分を追加する、細心の注意を払った極性管理とクリーニングが必要でした。運用責任者は課題を次のように要約しました。「同じ200Gパフォーマンスを提供できるが、コンポーネントが少なく、取り扱いが簡単で、フィールドでの故障率が劇的に低減されたソリューションが必要でした。」

ソリューションと展開：MFS1S00-H005Vアクティブ光ケーブルの導入

これらの課題に対処するため、センターはいくつかの代替案を評価し、最終的にMellanox（NVIDIA Mellanox）の「MFS1S00-H005V」を選択しました。これは、光トランシーバーとファイバーを単一の事前終端アセンブリに統合した「MFS1S00-H005V 200G QSFP56 AOCケーブル」です。「MFS1S00-H005V InfiniBand HDR 200Gb/sアクティブ光ケーブル」として、個別のモジュールとジャンパーの必要性をなくし、最大50メートルまで対応するプラグアンドプレイの相互接続を提供します。これは、この施設で一般的なラック間の5～15メートルの距離に最適です。

展開戦略は3つの週末にわたって段階的に実施されました。フェーズ1では、チームはコアスパイン層のすべてのリーフ間相互接続を「NVIDIA Mellanox MFS1S00-H005V」に置き換え、MFS1S00-H005V互換性リストが既存のQuantumスイッチをカバーしていることを確認しました。フェーズ2では、AOC展開をトップ・オブ・ラックのアップリンクに拡大し、各コンピューティングノードをリーフスイッチに接続しました。フェーズ3はGPUからストレージファブリックに焦点を当て、そこで「MFS1S00-H005V 200G QSFP56 AOCケーブルソリューション」は並列ファイルシステムトラフィックに決定論的なレイテンシを提供しました。チームは「MFS1S00-H005Vデータシート」を参照してリンクバジェットを確認し、50メートルの到達距離が最長の配線（サービスループを含めて37メートルと測定）に十分であることを確認しました。

AOCアプローチの主な利点は、個別のトランシーバークリーニングステップの排除でした。各「MFS1S00-H005V」は工場でテストされ密封された状態で納品され、取り付け前にコネクタ端面の目視検査のみが必要でした。チームは、リーフ・トゥ・スパイン接続とリーフ・トゥ・コンピューティング接続を区別するために色分けされたケーブルブーツを使用し、ドキュメント作成をさらに簡素化しました。

結果とメリット：信頼性と運用効率における具体的な改善

展開後のメトリクスは、複数の側面で大幅な改善を示しました。「MFS1S00-H005V仕様」（エンドあたり1.5W未満の標準的な消費電力と1e-15未満のBERを含む）は、本番環境で完全に実現され、センターはカットオーバー後の2ヶ月間でリンク関連のジョブ失敗がゼロであったと報告しました。以下の表は、主な改善点をまとめたものです。

運用チームはまた、「MFS1S00-H005V」ケーブルの柔軟なジャケットと30mmの最小曲げ半径により、ケーブルトレイ内の配線がはるかに整然となり、ケーブルタイの必要性が減り、エアフローが改善されたと指摘しました。総コストを評価したところ、センターは「MFS1S00-H005V価格」がリンクあたりでは個別のモジュールとジャンパーの組み合わせよりもわずかに高かったものの、スペア在庫の排除、トラブルシューティング作業の削減、ほぼゼロの故障率により、総所有コスト（TCO）はより有利になったと判断しました。「MFS1S00-H005V販売」はNVIDIAのチャネルを通じて入手可能であり、不良品の迅速な交換も保証されていました（ただし、最初の3ヶ月間は発生しませんでした）。

概要と展望：HDRファブリック簡素化の青写真

スーパーコンピューティングセンターによる「MFS1S00-H005V」の成功裏な導入は、アクティブ光ケーブルがHDR 200G環境におけるラック間接続を劇的に簡素化できることを示しています。トランシーバーとファイバーを単一の事前認定済みアセンブリに統合することにより、AOCアプローチはコンポーネント数を削減し、モジュール関連のフィールド障害を排除し、導入時間を80%以上短縮します。同様の配線密度課題に直面しているネットワークアーキテクトやITマネージャーにとって、「NVIDIA Mellanox MFS1S00-H005V」は、信頼性の向上と運用オーバーヘッドの削減に向けた実績のあるパスを提供します。「MFS1S00-H005Vデータシート」や検証済みの互換性マトリックスを含む完全な技術詳細は、公式チャネルを通じて入手可能です。センターは現在、AOC戦略を新しいGPU拡張ウィングにも拡大する計画であり、さらに大規模な環境で同様のメリットを再現できると期待しています。