NVIDIA メラノックス MCX631102AN-ADAT RDMA/RoCE ローレイテンシー・トランスポート&サーバー・スループット強化

分散ストレージ、HPC、AIトレーニングクラスターにおいて、ネットワーク遅延とCPUオーバーヘッドがサーバーパフォーマンスを制限する主なボトルネックとなっています。クラウドサービスプロバイダーは最近、NVIDIA Mellanox MCX631102AN-ADATサーバーアダプターを選択してNVMe-oFストレージバックエンドをアップグレードしました。RDMA over Converged Ethernet (RoCEv2) を展開することで、エンドツーエンドの低遅延トランスポートと大幅なサーバースループットの向上を実現しました。このケーススタディでは、アダプターが本番環境でどのように機能するかを検証します。プロバイダーの既存の25GbEインフラストラクチャは、従来のTCP/IPソフトウェアスタックを使用してストレージトラフィックを処理していました。NVMe/TCPシナリオでは、パケットカプセル化および非カプセル化のためのCPU使用率が40%を超え、ストレージ遅延が200μsを超え、アプリケーションサーバーのコンピューティング容量が大幅に低下しました。アーキテクトは、カーネルネットワークスタックをバイパスし、CPU干渉を削減し、デュアル25GbEリンクでラインレートスループットを維持できるソリューションを緊急に必要としていました。複数のオプションを評価した後、ストレージファブリックの刷新の中核ハードウェアとしてMCX631102AN-ADAT ConnectX-6 Lxデュアルポート25GbE SFP28を選択しました。

ソリューションと展開：ハードウェアオフロードによるRDMA/RoCEv2

展開では、RoCEv2ロスレスモード（ECNとPFCを使用）で動作するMCX631102AN-ADATイーサネットアダプターカードですべてのストレージ向けサーバーを置き換えました。主な展開ステップは次のとおりです。RDMAトランスポートでNVMe over Fabrics（NVMe-oF）を構成し、TCPオーバーヘッドを完全に排除する

リーフ-スパイントポロジー全体でロスレス25GbE RoCEトラフィックのためにスイッチバッファしきい値を調整する

MCX631102AN-ADATの仕様（ハードウェアタイムスタンプ、ダイナミックコネクショントランスポート（DCT）、ベクトル化受信エンジンを含む）は、50Gbpsの集約負荷でも予測可能なサブマイクロ秒遅延を保証するために完全に活用されました。測定されたパフォーマンス向上と運用上のメリットMCX631102AN-ADATベースのファブリックに移行した後、次のメトリックがキャプチャされました。

• メトリック
• 変更前（TCP/IP 25GbE）
• 変更後（RoCEv2とMCX631102AN-ADAT）

NVMe-oF読み取り遅延（P99）215μs18μs

CPU使用率（ストレージI/Oパス）

41%（シングルコア飽和）集約サーバースループット（RX+TX）