NVIDIA Mellanox MCX653106A-HDAT の動作: 低遅延 RDMA/RoCE トランスポートとサーバー スループットのブレークスルーを達成
June 16, 2026
分散型ストレージ,高周波取引,AIトレーニングクラスタを含む現代のデータセンター環境では,2つの継続的な課題が残っています.ネットワークによる遅延を削減し,CPUを負担することなくサーバーのスループットを最大化クラウドインフラストラクチャの主要なプロバイダが,NVIDIA メラノックス MCX653106A-HDATコンピュータとストレージノードに サーバーアダプタを設置します
背景 と 課題
ソフトウェアベースのTCP/IPスタックを搭載した標準Ethernetアダプターに基づいたプロバイダの既存の25GbEインフラストラクチャは,明確な限界を示していました.NVMe over Fabrics を使ったストレージワークロードは予測不能なレイテンシーピーク (しばしば50μsを超える) を経験した.ネットワーク処理だけで消費されるコアの35%までまで CPUの高利用率で苦しんでいた.RDMAトランザクションの 10μs 未満の遅延を提供し,完全なアーキテクチャの改修を必要とせずに 200GbE トランスフットをサポートできるソリューションが必要でした.
複数の選択肢を評価した後,MCX653106A-HDAT イーサネット アダプター カード, ハードウェアオフロード RoCE (RDMA over Converged Ethernet) と既存の Cumulus Linux ベースのリーフ・スピントポロジーとのシームレスな統合を約束した.
解決策と展開方法
部署はMCX653106A-HDAT ConnectX アダプター PCIe ネットワーク カード, ブロックしないファブリックを作成するためにダブルポート100GbEの構成を利用した.各コンピューティングノードは,1つのアダプタを受け取り,ストレージノードは冗長性のために2つ装備された.主要な実施ステップ:
- PFC (優先流量制御) とECN (明示的な混雑通知) で RoCEv2を有効にすることで,損失のない輸送を確保する
- 高優先度データベースとストレージワークロードに仮想機能を専用するように SR-IOVを構成する
- 最新のMCX653106A-HDAT対応Ubuntu 22.04 LTS ノードにわたるドライバスタック (NVIDIA DOCA 2.5)
- パケット処理経路のハードウェアベースのDPDK加速を実装する
基準としてMCX653106A-HDATデータシートチームでは,小型パケットトランザクションのための1μs未満のハードウェアレイテンシーと1秒あたり最大2億5千万パケット (MPPS) を予測しました.
結果 と 測定 できる 益
インフラストラクチャチームは50の生産ノードで4週間の試行錯誤を行った後,NVIDIA メラノックス MCX653106A-HDAT古いアダプターに対して
| メトリック | 25GbE アダプター | MCX653106A-HDAT (RoCE) | 改善 |
|---|---|---|---|
| NVMe-oF 読み込み遅延 (P99) | 52 μs | 6.8 μs | 87%削減 |
| CPUオーバーヘッド (ネットワークスタック) | 34% | 7% | 27 パーセントポイント |
| 総処理量 (サーバーあたり) | 92Gbps (拘束) | 198 Gbps | 115%増加 |
| 小型パケットの税率 (64B) | 48 Mpps | 187 Mpps | ~290%の利益 |
計算した結果,MCX653106A-HDAT イーサネット アダプタカードソリューション先ほど必要だった調整の回避方法,例えば中断結合ハックや大きすぎる受信バッファを排除した.VXLANとGeneveのハードウェアオフロードもコンテナネットワークスタックを簡素化しましたKubernetes 環境でPod-to-Podの遅延を40%削減する
費用を評価するITマネージャーにはMCX653106A-HDAT価格比較可能な200GbEソリューションと比較すると,CPUコア節約とスイッチポート使用量の削減を考慮すると,所有総コストが15~20%低くなることが示されました.MCX653106A-HDAT 販売中HPCとリアルタイム分析を含む隣接チームからの問い合わせは,次の調達サイクルのためにすでに提出されています.
概要と展望
この展開はNVIDIA メラノックス MCX653106A-HDATネットワーク処理をソフトウェアからハードウェアに RoCEオフロードを通じて移行することで,SR-IOVは,RECのRECのRECのRECのRECのRECのRECのRECのRECのRECのRECのRECのRECのRECの,GPUDirect-readyアーキテクチャは,アプリケーションロジックのためにCPUサイクルを再利用しながら,決定的なマイクロ秒スケール遅延を達成することができます.
500以上のノードに展開するにつれてまた,多利用者セキュリティのためのアダプターの内蔵インライン暗号化 (IPsec/TLS) と金融サービスワークロードのためのPTP (IEEE 1588v2) を検討している.検証されたコンフィギュレーションを求めるエンジニアは,MCX653106A-HDATの仕様この実用的なケースは1つのことを明らかにしています.MCX653106A-HDAT ConnectX アダプター PCIe ネットワーク カード低レイテンシーで高速なイーサネットを 次の世代のデータセンターに提供します
詳細な技術的な見直しについては,公務員に相談してくださいMCX653106A-HDATデータシートNVIDIAの地域ソリューションアーキテクトに連絡してください