NVIDIA メラノックス MCX4121A-ACAT サーバーアダプタ 技術ソリューション

この技術ソリューションはネットワークアーキテクター,プレセールスエンジニア,およびオペレーションマネージャー向けに設計されています.高出力データセンターのネットワークインフラストラクチャをRoCE (RDMA over Converged Ethernet) 技術をベースにNVIDIA メラノックス MCX4121A-ACATこの文書は,アーキテクチャ設計,主要技術,展開戦略,および運用上のベストプラクティスをカバーしています.

1プロジェクト背景と要件分析

伝統的なTCP/IPスタックのCPUオーバーヘッド 分散アプリケーションの予測不可能なレイテンシージッター東西の帯域幅のコストが上昇しています作業負荷がAIトレーニング,分散型データベース,NVMe-oFストレージファブリックに移行するにつれて,RDMAオフロードのない従来の10GbEまたは25GbEアダプターは重要なボトルネックになります.対象環境は,中~大型クラウドやエンタープライズデータセンターに特有のもので,3μs未満のレイテンシーが必要です.ネットワーク処理のCPU利用率は10%未満で,サーバー1台あたりラインレート50Gb/sの総スループットです.MCX4121A-ACAT イーサネット アダプター カードこれらの要求に直接対応しています

2ネットワーク・システム・アーキテクチャの設計

提案されたアーキテクチャは,損失のないイーサネット通信の2階層葉骨トポロジーに従っている.主要な設計原則は以下のとおりである:

• 葉の層:DCB (データセンターブリジング) サポートのToRスイッチは,PFC,ETS,DCBXが有効になっています.
• 脊髄層:ブロックしないスイッチで 葉っぱを完全に接続できます
• サーバー層:コンピュータ・ストレージ・ノードがMCX4121A-ACAT ConnectX-4 Lx デュアルポート 25GbE SFP28アダプター
• 輸送プロトコル:RoCE v2はIPルーティングをサポートし,レイヤ3の境界を越えてRDMAを可能にします.

このアーキテクチャは48ノードから1,000ノード以上までスケールし,一貫した微秒未満の遅延を維持します.各アダプタのダブルポートは,帯域幅アグリゲーションのためのアクティブ・アクティブ・ボンドまたは高可用性のためのアクティブ・パシブで構成できます..

3. NVIDIA Mellanox MCX4121A-ACAT の役割と主要機能

この解決策の中で,NVIDIA メラノックス MCX4121A-ACATハードウェアの卸荷エンジンとして機能します.MCX4121A-ACATデータシート重要な機能は以下の通りです.

• ハードウェアベースの輸送卸荷:アダプターハードウェアで RDMA/RoCE プロトコル処理を完了し,データ移動に CPU の関与を排除する.
• 双ポート 25GbE SFP28:SR,LR,DACケーブルのための柔軟なメディアサポート,10GbEと1GbEと後方互換性.
• PCIe 3.0 x8 ホストインターフェース:64Gb/s のバイダイレクトバンド幅まで提供し,ワイヤの速度を遮断しない.
• NVMe-oF 加速:NVMe/TCPおよびNVMe/RoCEコマンド処理のためのネイティブオフロード
• オーバーレイオフロード:VXLAN,GENEVE,NVGREトンネルのハードウェア加速

についてMCX4121A-ACATの仕様メモリ付き転送の遅延が0.8μs未満でポートあたり最大100万IOPSのサポートを確認し,高周波取引,リアルタイム分析,分散型ストレージに最適化.

4展開とスケーリングの推奨事項 (トポロジーを含む)

典型的な展開はラックレベルの漸進的な展開に従っている.以下は参照の2ラックトポロジーである:

2つのラックを超えたスケーリングのために,脊髄スイッチは,すべての葉スイッチを相互接続します.MCX4121A-ACAT対応PFCとリンクトレーニングの安定性を確保するために,NVIDIAの互換性リストからベンダーテストされたSFP28モジュールを選択します.MCX4121A-ACAT 販売中認可されたディストリビューターを通じてMCX4121A-ACAT価格通常は"アダプターあたり400~600ドルで 容量によって異なります

5運用監視,トラブルシューティング,最適化

効果的な RoCE の導入には,積極的な監視が必要です.推奨される実践には以下が含まれます.

• テレメトリNVIDIAのMLNX_OFEDドライバスーツを内蔵 RoCEカウンター (port_xmit_wait, port_rcv_remote_physical_errors) で使用する.
• 交通渋滞検出:PFCの停止フレームを監視する.持続的なゼロ以外の値はバッファ圧を示します.
• バッファ調節:損失のないバッファプールのために,BDP (帯域幅遅延製品) の2-3倍を設定する.
• ECN/RED 制限値:予備的に混雑を避けるため,1%の列の深さでマークする確率を設定する.

RoCE 性能が低下した場合,すべてのスイッチとアダプタファームウェアで DCB コンフィギュレーションが同一であることを確認します.MCX4121A-ACAT イーサネット アダプタカードソリューションケーブルの完整性とリンクの健康性を検証するための診断ツール (ibdiagnet,mlxlink) を含みます.これらのメトリックを,停止フレームが落ちたり,過剰な再送信が起きると警告するプロメテウス/グラファナのダッシュボードに統合する.

6概要 価値評価

についてNVIDIA メラノックス MCX4121A-ACAT3次元で測定可能な値が得られる:性能(サブ-2μsの遅延,49Gb/sの効果的スループット)効率性(ネットワーク I/O においてのCPU利用率は 5%未満),およびTCO(ターゲットIOPSに必要なサーバーが少なく,独自の相互接続ライセンスの廃止).次世代データセンターを構築する組織のために,このアダプターは生産実証された,高度に拡張性があるMCX4121A-ACAT イーサネット アダプタカードソリューション標準的なイーサネット経済と高性能コンピューティングの要件との間のギャップを埋める. ネットワークアーキテクトは,MCX4121A-ACATデータシート詳細なレジスタレベル仕様と統合ガイドについて