メラノックス (NVIDIA メラノックス) MCX631102AN-ADAT サーバアダプタ 動作: RDMA/RoCE 低遅延トランスポートとサーバー

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT サーバーアダプターの実働：RDMA/RoCE 低遅延トランスポートとサーバースループット最適化

背景と課題：分散ストレージとAIトレーニングにおけるネットワークボトルネック

中規模クラウドサービスプロバイダーの実稼働環境では、コアビジネスポートフォリオに分散ブロックストレージ（Ceph）とGPUベースのAIモデルトレーニングプラットフォームが含まれています。顧客データ量が年間200%以上で増加するにつれて、従来の10GbE TCP/IPネットワークアーキテクチャは、徐々に2つの重要なペインポイントを露呈しました。第一に、ストレージノード間のデータ同期遅延が最大2.5msに達し、NVMeストレージプールがそのパフォーマンスポテンシャルを最大限に発揮できない状態でした。第二に、GPUトレーニングクラスターでの勾配同期中、ネットワークスループットは理論帯域幅の60%しか達成できず、CPUリソースの大部分がネットワークプロトコルスタックによって消費され、トレーニングイテレーションの効率を著しく低下させていました。アーキテクチャチームは、伝送遅延を削減し、実効サーバースループットを大幅に向上させる能力を持つネットワークインターフェイスソリューションを緊急に必要としていました。

ソリューションと導入：MCX631102AN-ADAT ConnectX-6 Lx による RoCE オーバーホール

複数の代替案を評価した後、チームはネットワーク近代化イニシアチブの基盤としてMCX631102AN-ADAT Ethernetアダプターカードを選択しました。今後、プロバイダーはは、120のストレージノードと64のGPUコンピューティングノードに展開され、既存の10GbEアダプターを置き換えました。各サーバーにはデュアルポート25GbE SFP28構成が装備され、1つのポートは本番RoCEファブリックに接続され、2番目のポートは管理およびバックアップトラフィック用に予約されました。この導入では、追加のゲートウェイデバイスやプロトコル変換レイヤーの必要性を排除する、MCX631102AN-ADATデータシートアダプターのネイティブRoCE v2サポートを活用しました。

実装は段階的なアプローチで行われました。フェーズ1では、チームはストレージノードにMCX631102AN-ADAT Ethernetアダプターカードソリューションを導入し、RoCEトランスポートによるNVMe over Fabrics（NVMe-oF）を有効にしました。これにより、ストレージI/Oパス上のTCP/IPスタックオーバーヘッドが即座に排除されました。フェーズ2では、GPUコンピューティングノードがアップグレードされ、アダプターのGPUDirect Storage機能により、CPUの関与を完全にバイパスして、GPUメモリがRoCEネットワークを介してリモートNVMeストレージと直接通信できるようになりました。25GbEスイッチインフラストラクチャは既存のものが維持され、MCX631102AN-ADAT互換性が標準データセンターネットワーキング機器と両立することを示しました。この導入全体は2週間以内に完了しました。

測定結果とパフォーマンス向上

NVIDIA Mellanox MCX631102AN-ADAT導入後のパフォーマンス向上は、複数の次元で大幅かつ即座に測定可能でした。以下の表は、本稼働環境で観測された主要な導入前後のメトリクスをまとめたものです。メトリクス

MCX631102AN-ADATのハードウェアベースの輻輳制御メカニズムは、バーストトラフィックイベント中に以前観測されていた周期的なスループット低下を排除し、遅延に敏感なトレーニングジョブに対して予測可能なパフォーマンスを提供しました。MCX631102AN-ADAT仕様によると、アダプターの高度なステアリングエンジンとRDMA機能により、ポートあたり128の同時NVMe-oF接続があっても、ラインレートパフォーマンスが一貫して維持されました。総コストの観点から、アーキテクチャチームは、

MCX631102AN-ADAT価格あたりの実効スループットが、40GbEまたは100GbEの代替品にアップグレードするよりも大幅に低いと計算しました。既存のSFP28ケーブリングとスイッチインフラストラクチャを再利用できる能力は、資本支出をさらに削減し、MCX631102AN-ADAT販売の評価をプロバイダーのリーダーシップにとって説得力のあるビジネスケースにしました。概要と展望：将来を見据えたネットワーク基盤の構築

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT

の本稼働環境への導入は、分散インフラストラクチャの可能性を最大限に引き出したい組織にとって、明確な前進の道を示しています。RDMA/RoCE低遅延トランスポートとハードウェアアクセラレーションオフロードを組み合わせることで、このアダプターは、AIトレーニング、ソフトウェア定義ストレージ、または高頻度トランザクション処理のいずれであっても、ネットワークをパフォーマンスボトルネックとして効果的に排除します。チームの経験は、MCX631102AN-ADAT Ethernetアダプターカードがベンチマークの改善だけでなく、具体的な生産性向上をもたらすことを確認しています。GPUトレーニングジョブの完了時間は平均34%減少し、ストレージクラスターの応答時間SLAはピーク負荷時でも一貫して満たされました。今後、プロバイダーはMCX631102AN-ADAT ConnectX-6 Lx デュアルポート25GbE SFP28

の導入を他のアベイラビリティゾーンに拡大する予定であり、NVIDIAのBlueField DPUとのアダプター統合によるさらなるネットワークプログラマビリティの実現に向けた初期評価がすでに進行中です。同様のアップグレードを評価しているエンジニアリングチームにとって、詳細なMCX631102AN-ADATデータシートは、互換性マトリックス、パフォーマンスチューニングパラメータ、およびリファレンスアーキテクチャに関する包括的なガイダンスを提供します。この事例は、MCX631102AN-ADATのようなインテリジェントでハードウェアオフロードされた25GbEアダプターが、パフォーマンスに敏感なデータセンター設計の新しい基準に急速になりつつあるという明確な業界トレンドを強化しています。