NVIDIA メラノックス MCX4121A-ACAT サーバーアダプタ 技術ソリューション

この技術ソリューションは,ネットワークアーキテクト,プレセールエンジニア,およびオペレーション・リーダー向けに設計されています.NVIDIA メラノックス MCX4121A-ACATサーバーアダプタは,RDMA/RoCEベースの低遅延輸送を可能にし,現代のデータセンター環境でサーバーのスループットを劇的に改善します.

1プロジェクト背景と要件分析

従来のTCP/IPネットワークは,分散型データベース,NVMe-oFストレージ,リアルタイム分析などのパフォーマンスに敏感なワークロードに基本的な制限を課しています.主な痛みは,ネットワークスタック処理による高CPUオーバーヘッドである.パケット再送信による予測不可能な遅延,そしてカーネルとアプリケーション空間間の非効率なメモリコピー.

これらの課題に対処するために,現代のデータセンターは,次のものを提供するネットワークソリューションを必要とします.

• ストレージとHPCトラフィックにおける10マイクロ秒未満の端から端までの遅延
• カーネルバイパスとCPU負荷を減らす直接メモリアクセス
• ポートあたり25GbEをサポートする損失のないイーサネット布
• 既存のEthernetインフラストラクチャとのシームレスな統合

についてMCX4121A-ACAT標準のスイッチングエコシステムとの互換性を維持しながら,これらの要件を直接満たしています.

2ネットワーク・システム・アーキテクチャの設計

提案されたアーキテクチャは,25GbEアクセスレイヤで損失のないイーサネットを備えた葉の脊柱トポロジーを採用する.各コンピューティングまたはストレージサーバーには1つまたは2つ装備されています.MCX4121A-ACAT イーサネット アダプター カード, SFP28 DACケーブルまたは光接送機経由で葉スイッチに接続するリーフスイッチは,優先流量制御 (PFC) と強化送信選択 (ETS) を含むデータセンターブリッジ (DCB) プロトコルをサポートします.RoCE通信にとって不可欠です.

高可用性設計では,デュアルポートアダプタがアクティブ・アクティブ・ボンドまたはフェイルオーバー構成を可能にします.東西の交通パターンのブロックしない帯域幅を確保するこの設計の鍵は,VLANとQoSクラスを利用して通常のTCP/IP管理トラフィックからRoCEストレージトラフィックを分離することです.

3. NVIDIA Mellanox MCX4121A-ACAT の役割と主要機能

についてNVIDIA メラノックス MCX4121A-ACAT接続X-4 Lx ASIC に構築され,コンバーゲッドイーサネット上で RDMA を可能にする重要なエンドポイントコンポーネントとして機能します.このダブルポート 25GbE SFP28 アダプタは,以下のハードウェア加速機能を備えています.:

• RoCE ハードウェアオフロード:シリコンで RDMA トランスポート処理を完了し,ソフトウェアのオーバーヘッドをなくす
• タグマッチングとドアベル回復:ハードウェア支援による信頼性の高い接続管理
• SR-IOV 仮想化コンテナとVM密度のポートごとに最大256つの仮想機能
• GPUDirect RDMA:AI/ML 訓練クラスタのGPUメモリへの直接アクセス
• オーバーレイネットワークオフロード:VXLAN,NVGRE,Geneve のハードウェアエンカプスレーション/デカプスレーション

についてMCX4121A-ACAT ConnectX-4 Lx デュアルポート 25GbE SFP28アダプタは,アダプティブルーティング,混雑制御,バーストバッファオフロードを含む高度な機能もサポートしています.MCX4121A-ACATデータシート電気,熱,機械の詳細な仕様を提供します.

4展開とスケーリングの推奨事項 (トポロジー例)

典型的なトポロジー 25GbE RoCEファブリック 100+ノード:

• アクセス層:DCB対応の48ポートの25GbEリーフスイッチ
• 脊髄層:32ポートの100GbE回線スイッチ
• サーバーアダプター: MCX4121A-ACAT(ダブルポート) PCIe 3.0 x8 スロット
• ケーブル:SFP28パッシブDAC (ラック内 (≤5m),アクティブオプティカル (クロスラック)

配備のステップ:

• サーバーの BIOS 設定を確認する (PCIe バイフォーク, SR-IOV 有効, 4G 解読以上)
• インストールNVIDIA メラノックス MCX4121A-ACATmlxup または MST ツールによるファームウェア
• スイッチポートを設定する:PFC優先度3-5 ETS帯域幅割り当て,信頼DSCP
• ホストで RoCE を有効にする: RoCE モードを v2 (ルーティング・フレンドリー) に設定し,GID 前項を設定する
• ibdiagnet と cqounter 監視を使用して損失なしの行動を検証する

生産の東西通信からストレージトラフィックを隔離するために,別のRoCEストレージファブリックを展開することを検討します.MCX4121A-ACAT対応エコシステムには 主要なサーバーOEMとスイッチベンダーがすべて含まれます

5運用,監視,トラブルシューティング,最適化

主要なモニタリング指標:

• RoCE パケットドロップ (PFC コンフィギュレーションの問題を示す)
• RDMA送信/受信完了キュー深さ
• ポートエラー,CRC,リンク再列車
• 1コアあたりのCPU利用率 (カーネルバイパス効率を測定)

必須ツール:

• mellanox_perf アダプターレベルの帯域幅/遅延測定
• ibdiagnet RoCE 繊維の検証とケーブル診断
• エスツール -S ⇒ 列の統計と卸荷カウンター
• syslog/dmesg ドライバとファームウェアイベント追跡

最適化ガイドライン:

• 複数のストリームの公平性を設定するNRPE (ネットワーク受信ペース設定有効)
• 作業負荷の種類に基づいて中断合流を調整する
• ストレージワークロードでは, RDMA 完了を専用 CPU コアに結合する
• 使用MCX4121A-ACATの仕様持続的な線量負荷下で熱限界値を検証する

予算と調達が 考慮の対象になるとMCX4121A-ACAT価格傾向とMCX4121A-ACAT 販売中量販は通常,ユニットコストを下げながら,真のファームウェアサポートを保証します.

6概要 価値評価

についてMCX4121A-ACAT イーサネット アダプタカードソリューション複数の次元で測定可能な利益をもたらす:

このソリューションは,ストレージとデータネットワークを単一の損失のないイーサネットファブリックに統合することで,原始性能を超えてTCOを削減します.MCX4121A-ACAT既存のスイッチ投資を保ち,以前はInfiniBandに限定されていた RDMA機能を解凍できるようにします.このアダプタは証明された低レイテンシーで高速なサーバーネットワークへのスケーラブルな経路です