NVIDIA Mellanox MCX4121A-ACAT サーバーアダプター技術ソリューション：RDMA/RoCE 低遅延の構築

NVIDIA Mellanox MCX4121A-ACAT サーバーアダプター 技術ソリューション:低遅延,高スループットデータセンターアクセス層の RDMA/RoCE 構築

解決策の核MCX4121A-ACATブランド:NVIDIA Mellanox テクノロジーの焦点:RDMA/RoCE 低遅延輸送とサーバーのスループット最適化

1プロジェクト背景と要件分析

大規模なAIモデル訓練や 分散型ストレージシステムへと 進化を続けていますサーバーアクセス層は,アプリケーションの全体的なパフォーマンスに影響を与える重要なボトルネックになりました.伝統的な10GbEアダプタとTCP/IPプロトコルのスタックは,現代のワークロードに要求される決定的な低レイテンシーと高スループットを提供するために苦労しています.3つの痛みを発症しました: ネットワークプロトコル処理による過剰なCPUオーバーヘッド,分散型ストレージアクセスにおける予測不可能なテイルレイテンシー,仮想化およびコンテナ環境のスケーラビリティが限られている.

についてNVIDIA メラノックス MCX4121A-ACATこの技術ソリューションで扱われる主な要件は以下のとおりです.ストレージとAIワークロードのためのRDMA遅延は5μs未満TCP/RDMAプロトコルのハードウェアオフロードでCPU利用量を最大40%削減し,既存の10GbE/25GbEスイッチングインフラストラクチャとのシームレスな互換性SR-IOV と VirtIO を含む現代的な仮想化技術へのサポート.

2ネットワーク・システム・アーキテクチャの設計

提案されたアーキテクチャは,専用 RoCEv2 輸送層を持つ標準的な葉-脊柱トポロジーを活用しています.サーバーがファブリックに接続するアクセス層は,このソリューションの焦点です.とMCX4121A-ACAT イーサネット アダプター カードすべてのコンピューティングとストレージノードの基礎となるものです

このアーキテクチャは以下の主要な構成要素で構成されています.

• サーバー アクセス 層:各コンピューティングおよびストレージサーバーには1つまたは2つのMCX4121A-ACATアダプタが装備されており,リーフスイッチにデュアルポート25GbE接続を提供します.リンクアグリゲーション (LACP) とアクティブ/スタンバイ・ファールオーバーは冗長性のために設定されている..
• 葉の脊椎の織物:RoCEv2対応のスイッチ (例えば,NVIDIA Spectrum) のセットが葉の骨組みを形成し,PFCとECNが有効にされ,ネットワーク全体に損失のないRoCE輸送を保証する.
• 収納用布:NVMe-oF ターゲットは専用ストレージサーバーに展開され,RDMA を活用して直接メモリにアクセスし,カーネル TCP/IP オーバーヘッドを回避する.
• マネジメント&オーケストレーションNVIDIA NetQ または第三者のテレメトリツールによる統一管理は,繊維の健康とRDMAパフォーマンスのリアルタイム可視性を提供します.

についてMCX4121A-ACAT ConnectX-4 Lx デュアルポート 25GbE SFP28設計により,サーバーは2つの独立したリーフスイッチに二重接続でき,単一の障害点を排除し,RDMAと通常のイーサネットトラフィックの両方に負荷バランスを提供できます.

3. NVIDIA Mellanox MCX4121A-ACATの役割と主要な特徴

についてNVIDIA メラノックス MCX4121A-ACATハードウェア加速型 RDMA と先進的なオフロード機能を提供するこのソリューションの礎石です.MCX4121A-ACATデータシートそしてMCX4121A-ACATの仕様,アダプタには次のキー技術が組み込まれています:

についてMCX4121A-ACAT対応エコシステムは主要なサーバープラットフォーム (Dell,HPE,Lenovo,Supermicroなど),オペレーティングシステム (Linux,Windows,VMware ESXi) およびスイッチベンダーを網羅し,ベンダーロックインなしでシームレスな統合を保証します.この広範な互換性により,MCX4121A-ACAT イーサネット アダプタカードソリューション様々な企業環境で採用される.

4展開とスケーラビリティの推奨事項 (典型的なトポロジーを含む)

評価する組織はMCX4121A-ACAT 販売中作業量の増加に合わせて段階的なアプローチを推奨します.

• 第1段階 (パイロット・AI推論クラスター)AI inference サーバ (異なるリーフスイッチにダブルホーム) ごとに2つの MCX4121A-ACAT アダプタを展開する.RoCEv2 を PFC/ECN で設定し,NVIDIA の MLNX_OFED または in-box ドライバー スタックを使用してパフォーマンスを検証する.
• ステージ2 (ポッド拡張 貯蔵とコンピューティング)デプロイメントを48-96のコンピューティングノードと8-16のストレージサーバーに拡張する.指定されたストレージノードにNVMe-oFターゲット/イニシアターオフロードを有効にする.帯域幅スケーリングのためにリンクアグリゲーション (結合) を使用する.
• ステージ3 (マルチラック/マルチデータセンター):同じRoCEv2ファブリックを使用してラック間でのRDMA接続を拡張する.サイト間では,RDMA輸送を維持しながらMACsec暗号化されたDCIリンクを検討する.

中型AI/HPCポッドの典型的なトポロジーは以下のとおりである: 16台のコンピューティングサーバー (それぞれ2つのMCX4121A-ACATアダプターで 2×25GbEの総帯域幅 = 50GbEの有効)4つのストレージサーバー (NVMe-oFターゲット)RoCEv2対応の 2-4 つの葉スイッチ.脊椎層は 2-4 つの高容量スイッチで構成されています.アダプターは,コンテナ化されたAIワークロードに専用の仮想機能を割り当てるためにSR-IOVで構成されています.予測可能な性能と隔離を保証します

5運用監視,トラブルシューティング,最適化

についてNVIDIA メラノックス MCX4121A-ACAT日々の管理を合理化するための包括的な運用ツールを含みます.主要監視およびトラブルシューティングには以下の方法が含まれます.

• リアルタイムテレメトリNVIDIA NetQ,PerfSONAR,またはgNMIベースのストリーミングテレメトリを使用してポート利用,CRCエラー,PFCパウズ,ECNマークイベントを監視します.これらのメトリックは,RDMA性能に影響を与える混雑ホットスポットを特定するために重要です.
• ドライバとファームウェア管理:ドライバ (MLNX_OFED または Linux のインボックス ドライバ) を定期的に更新し,最新の安定バージョンにアダプター ファーームウェアを調整します.MCX4121A-ACATデータシート推奨されたファームウェアバージョンと 既知の問題修正について
• パフォーマンスのチューニング:作業負荷プロファイルに基づいて PFC 限界値と ECN マークレベルを調整する. ストレージ 作業負荷では,より高い優先順位クラス (例えば,CoS 3) の RDMA トラフィックを優先する.トランスプットを最適化するために中断コアレスシングとバッファサイズを調整する.
• 断片隔離:アダプターの内蔵診断 (例えば,ethtool,mlxlink) を使用してリンク層の問題を識別します.混雑源を特定するために,PFC停止フレームとECNカウンタをチェックする..

また,初期展開後にperftest (ib_write_bw, ib_read_bw) などのツールを使用して,RDMA遅延とスループットのベースラインを確立することが推奨される.このベースラインは,将来のパフォーマンス比較と容量計画のための基準として機能します.

6概要 価値評価

についてNVIDIA メラノックス MCX4121A-ACAT低レイテンシーで高速なデータセンターアクセスネットワークを構築するための包括的で費用対効果の高いソリューションを提供します.MCX4121A-ACAT価格総所有コストに対して,利点は明らかです: CPU の利用量が減る (アプリケーションのワークロードのためのリソースを解放する),アプリケーションの性能向上 (ストレージとAIワークロードのスループット最大2倍)効率的なモニタリングと積極的な故障検出)

この技術的解決策から得られる重要な教訓は以下の通りです.

• についてMCX4121A-ACAT ConnectX-4 Lx デュアルポート 25GbE SFP2810GbE/1GbEへの完全下向き互換性のある将来性のある 25GbE アクセス パスを提供します.
• RDMA/RoCEv2オフロードは,PFC/ECN対応のネットワークと組み合わせて,5μs未満のレイテンシーとストレージとAIトラフィックに対するほぼゼロのCPU介入を提供します.
• 広いMCX4121A-ACAT対応エコシステムは異質なサーバー,ストレージ,スイッチ環境のシームレスな統合を保証します.
• このソリューションは小型パイロットクラスターから大規模マルチラック展開までスケール可能で,企業データセンターとクラウドサービスプロバイダーの両方に適しています.

サーバーへのアクセスインフラストラクチャを近代化する準備ができている組織にとって,NVIDIA メラノックス MCX4121A-ACAT性能,効率性,および操作のシンプルさに対する戦略的投資です.MCX4121A-ACATデータシート総合的なMCX4121A-ACATの仕様そしてMCX4121A-ACAT 販売中評価と導入プロセスを開始するために必要なリソースを提供します.MCX4121A-ACAT イーサネット アダプタカードソリューション現代のデータセンターネットワークの 潜在能力を発揮するための 証明された設計図として機能します