技術ソリューション: NVIDIA Mellanox MCX631102AN-ADAT サーバーアダプター – RDMA/RoCE 低遅延トランスポート

ネットワークアーキテクター,プレセールスエンジニア,およびNVIDIA メラノックス MCX631102AN-ADAT高性能データセンター環境におけるサーバーアダプター.このソリューションは,低レイテンシーRDMA/RoCEv2輸送を可能にするTCP/IPスタックオーバーヘッドを排除することに焦点を当てています.ストレージのサーバーのスループットを最大化しますデータベースや人工知能の ワークロードです

1プロジェクト背景と要件分析

現代のデータセンターアーキテクチャは,東西トラフィック爆発的な増加,分散型ストレージ (NVMe-oF,vSAN) への移行,ネットワーク処理ではなくアプリケーションロジックのためにCPUサイクルを保存する必要性伝統的なTCP/IPを使用するレガシー25GbEデプロイメントは,高いテールレイテンシー (ストレージ操作のための200500μs),パケット毎の過剰なカーネル処理,低効率の小パケットスループットに苦しんでいます.低レイテンシーでCPUの介入なしにサーバー間の直接メモリアクセスを可能にし,既存のイーサネットインフラストラクチャとの互換性を維持する.

2ネットワーク・システム・アーキテクチャの設計

提案されたソリューションは,損失のないRoCEv2構成の2階層の葉骨トポロジーを採用している.主要な建築決定には以下が含まれます:

• 物理層:各コンピューティング/ストレージサーバーからリーフスイッチへの25GbE SFP28接続,リーフからスピンへの100GbEまたは400GbEアップリンク
• 収束布:標準 TCP トラフィックと RoCEv2 無損失フローの両方を運ぶ共有 Ethernet 構造,DSCP ベースの優先順位設定を使用
• 流量制御:損失なしの優先順位に関する優先流量管理 (PFC),混雑通知のためのECNマーク,DCBX交渉
• ホスト側:PCIe 4.0 x16 スロットMCX631102AN-ADAT イーサネット アダプター カード, SR-IOV が仮想化された環境で有効になっている

NVMe-oFの展開では,各ストレージサーバーは2つのホストを配置します.MCX631102AN-ADAT ConnectX-6 Lx デュアルポート 25GbE SFP28アダプター front-end アプリケーショントラフィックに 1 つ,back-end リプリケーションと再構築トラフィックに 1 つ,故障隔離と QoS の分離を保証します.

3MCX631102AN-ADATの役割と主要な特徴

についてMCX631102AN-ADAT主機側RDMA加速を可能にする重要なエンドポイントデバイスとして機能する.その主要な技術貢献は:

参照するMCX631102AN-ADAT データシート,アダプターはまた,ハードウェアタイムスタンプ (解像度1nsのフリーランニングタイムスタンプカウンター) を提供し,金融取引またはテルコエッジアプリケーションのための正確なPTP/SyncEを可能にします.

4展開とスケーリングの推奨事項 (典型的なトポロジー)

ブラウンフィールドでの展開では,段階的なアプローチが推奨されます.

• ステージ1 貯蔵機のアップグレード展開するMCX631102AN-ADATNVMe-oF ターゲットソフトウェア (例えば,SPDK,TargeR) を実行するすべてのストレージサーバーで.DCBX オート交渉を使用して,PFC 優先度 3 の RoCE と 1 の CNP のスイッチポートを構成する.
• ステップ2 計算平面の有効化データベースまたはAIフレームワーク (TensorFlow,NCCL付きのPyTorch) を実行するコンピューティングサーバーにアダプタをインストールする. RDMA対応動詞ライブラリを有効にし,RoCEv2のGIDインデックスを設定する.
• 第3段階 ネットワーク統合高感度 TCP ワークロード (リアルタイム アナリティクス,マイクロサービス サイドカー) を UC または RC サービス タイプで RoCE に移行する.

トポロジー検証チェックリスト:

• すべてのリーフスイッチは,十分なバッファヘッドルームで損失のない RoCE (PFC + ECN) をサポートする必要があります.
• 端から端までのMTUは少なくとも2000バイト (ジャンボフレームでは9000バイトが好ましい)
• RoCEv2 トラフィック (UDP ポート 4791) のユニキャストルーティングアクセシビリティ
• 検証済みMCX631102AN-ADATに対応するリスト:NVIDIAスペクトラム (好ましい),Cisco Nexus 9300-EX/FX,Arista 7050X/7050X3 DCBXプロファイル

5操作と保守 監視,トラブルシューティングと最適化

生産展開の成功は,適切なテレメトリと積極的な例外処理に依存する.推奨される運用慣行には以下が含まれます:

• 交通渋滞検出:スイッチとアダプターECNでマークされたパケットのポート毎のPFC休止フレームカウンタをethtool -Sまたはmlxlinkを使用して監視する.
• 遅延 SLO 保証:ucxtraceやmlx5cmdのようなツールでハードウェアタイムスタンプ付きのレイテンシーモニタリングを展開する.ラック内の典型的な健康なRTTは10μs未満で,脊柱の間で30μs未満です.
• ファームウェアとドライバのアライナメント:NVIDIAの検証されたファームウェアパックを使用 (参照)MCX631102AN-ADATの仕様正確な部品番号) とドライバーバージョン (mlx5_core ≥ 5.9)
• RMAとライフサイクル管理:分析する際MCX631102AN-ADAT価格TCO と比べると,ノード更新サイクルが3~5年になる.複数のグローバルディストリビューターのリストMCX631102AN-ADAT 販売中多年保証付きのサポート

トラブルシューティングでは,最も一般的な落とし穴は,スイッチバッファのスローホールが正しく設定されていないこと (フレームストームを一時停止させる),GIDタイプが一致していないこと (IPv6 RoCEv2ではGIDタイプ2が好ましい),また,アプリケーションの動詞にハードウェアのオフロードの有効化がないこと (ローカル書き込みアクセスで ibv_reg_mr を確保).

6概要 価値評価

についてNVIDIA メラノックス MCX631102AN-ADAT生産性のあるMCX631102AN-ADAT イーサネット アダプタカードソリューション成熟した25GbEインフラストラクチャで真の低レイテンシーラインレートパフォーマンスを実現したい組織向けです. RDMA/RoCEv2ハードウェアオフロードを有効にすることで,溶液は20マイクロ秒未満の NVMe-oF レイテンスを達成する,アプリケーションワークロードのためのCPUコアの> 30%を回復し,以前は100GbEアダプターでのみ達成可能な小さなパケット効率で50Gbpsの総スループットを維持します.グリーンフィールドのハイパーコンバージェッドまたはAIストレージクラスタを計画する建築家のためにについてMCX631102AN-ADATイーサネットの操作のシンプルさで InfiniBand のレイテンシープロフィールを提供する戦略的有効要素を代表する.