NVIDIA Mellanox MCX4121A-ACAT サーバーアダプター テクニカルホワイトペーパー

NVIDIA Mellanox MCX4121A-ACAT サーバーアダプター 技術ホワイトペーパー | RDMA/RoCE 低遅延トランスポート & サーバースループット最適化

1. プロジェクト背景と要件分析

現代のデータセンターは、AI/MLトレーニングや高頻度取引から分散データベース、NVMe-over-Fabricsストレージに至るまで、ますます要求の厳しいワークロードをサポートするという絶え間ないプレッシャーにさらされています。25GbEイーサネットがメインストリームのアクセスレイヤー標準となっていますが、多くの組織は、生の帯域幅だけではアプリケーションパフォーマンスに直結しないことに気づいています。根本的なボトルネックは、従来のTCP/IPスタックにあります。高いCPU割り込みオーバーヘッド、予測不可能な遅延、およびサーバーCPUコアの20〜30％を消費する可能性のある非効率的なパケット処理です。遅延に敏感でスループットを求めるアプリケーションにとって、ネットワーキングサブシステムはしばしば最も弱いリンクになります。

このホワイトペーパーでは、NVIDIA Mellanox MCX4121A-ACATサーバーアダプターを中心とした包括的なソリューションを通じて、これらの課題に対処します。25GbEインフラストラクチャの可能性を最大限に引き出したい企業向けに設計されたMCX4121A-ACATイーサネットアダプターカードは、デュアルポート25GbE接続とハードウェアアクセラレーションRDMA over Converged Ethernet (RoCE) を組み合わせています。このソリューションは、次の3つの主要な目標を対象としています。(1) アプリケーションレベルの遅延を10マイクロ秒未満に削減する、(2) CPUネットワーク処理オーバーヘッドを80％以上削減する、(3) アーキテクチャの再構築なしに、数ノードから数百ノードまでシームレスにスケーリングできるようにする。

2. ネットワークおよびシステムアーキテクチャ全体の設計

推奨されるアーキテクチャは、25GbEをサーバーアクセスレイヤー、100GbEアップリンクをスパインとするリーフスパイントポロジを採用しています。設計の中心となるのは、MCX4121A-ACAT ConnectX-4 Lx デュアルポート 25GbE SFP28アダプターであり、すべてのコンピューティングおよびストレージノードに展開されます。アーキテクチャは、次の3つのコア原則に基づいて構築されています。

• ロスレスイーサネットファブリック: PFC (Priority Flow Control) と ECN (Explicit Congestion Notification) を使用した RoCE v2 を活用して、パケットドロップを排除し、決定論的な遅延を保証します。
• あらゆる場所でのハードウェアオフロード: チェックサム、セグメンテーション、RDMAを含むトランスポートレイヤー処理をアダプターにオフロードし、ビジネスアプリケーションのためにCPUサイクルを解放します。
• アクティブ/アクティブ冗長性: リンクアグリゲーション (LACP) モードで両方のSFP28ポートを使用して、50Gb/sの集約帯域幅と自動フェイルオーバーを実現します。

このソリューションは、NVIDIA SpectrumおよびAristaのスイッチ、ならびにDell PowerEdge、HPE ProLiant、Supermicroなどの主要なサーバープラットフォームと完全にMCX4121A-ACAT互換です。ストレージに関しては、このアーキテクチャはRoCE上のNVMe-oFをサポートし、ローカルNVMeドライブに近い遅延で共有された分散ストレージを可能にします。

3. NVIDIA Mellanox MCX4121A-ACAT の役割と主な機能

このソリューションの基盤となるコンポーネントとして、NVIDIA Mellanox MCX4121A-ACATは3つの重要な機能を提供します。

抽出された主な仕様はMCX4121A-ACATデータシートから取得されており、PCIe 3.0 x8ホストインターフェイス、包括的なオフロード（チェックサム、LSO/LRO、VLANストリッピング/挿入）、およびポートごとの高度なテレメトリが含まれます。アダプターの電力効率（< 10W 標準）と幅広いオペレーティングシステムサポート（Linux、Windows、VMware ESXi）は、異種環境向けの汎用性の高いビルディングブロックとなっています。

4. 展開とスケーリングの推奨事項

新規展開の場合、25GbEアクセスと100GbE/400GbEスパインアップリンクを備えた2層リーフスパイントポロジを推奨します。各サーバーは1つのMCX4121A-ACATイーサネットアダプターカードをホストし、両方のポートが冗長性のために別々のリーフスイッチに接続されます。RoCEファブリックには、すべてのスイッチで一貫したQoS構成が必要です。特に、優先度3でのPFCと、同じトラフィッククラスでのECNマーキングが必要です。監視とトラブルシューティングを容易にするために、RoCEトラフィック専用のVLANを割り当てることをお勧めします。

既存環境の場合、MCX4121A-ACATイーサネットアダプターカードソリューションは、円滑な移行パスを提供します。このアダプターは10GbE SFP+オプティクスと下位互換性があるため、25GbEへの段階的なアップグレード中に既存のケーブリングを再利用できます。また、アダプターはRoCEの有効化を必須としない標準イーサネットスイッチングをサポートしており、ファブリックが成熟するにつれて段階的にRDMA機能を有効にすることができます。

ソリューションのスケーリングは簡単です。追加のノードには同じMCX4121A-ACAT 販売用SKUをプロビジョニングするだけで、ファブリックはLLDPおよびDCBxネゴシエーションを通じて新しいエンドポイントを自動的に収容します。100ノードを超えるクラスターの場合、大規模でもロスレス動作を維持するために、専用のRoCE輻輳管理コントローラー（例：NVIDIA Spectrumスイッチの組み込みテレメトリ機能）を展開することを推奨します。

5. 運用、監視、トラブルシューティング、最適化

RoCEファブリックの効果的な運用には、多層的な監視戦略が必要です。

• アダプターレベルのテレメトリ: MCX4121A-ACAT仕様には、PFCフレーム、ECNマーキングパケット、ドロップフレームのポートごとのカウンターが含まれています。mlx5cmdまたはNVIDIAファームウェアツールを使用して、これらをPrometheus/Grafanaにエクスポートします。
• スイッチレベルの監視: スパインおよびリーフスイッチのバッファ占有率、ポーズフレーム数、キューの深さを監視します。ポーズフレームの突然の増加は、ECNしきい値の調整が必要になる可能性のあるマイクロ輻輳を示します。
• アプリケーションレベルのメトリクス: RDMAアプリケーションの場合、ベンダー提供のライブラリを使用して、WR（Work Request）完了遅延とCQ（Completion Queue）オーバーフローイベントを追跡します。

一般的なトラブルシューティングシナリオには、次のものが含まれます。

• RoCEパフォーマンスの低下: すべてのスイッチポートでPFCが有効になっていること、およびDSCPマーキングがスイッチ構成と一致していることを確認します。MCX4121A-ACATデータシートを使用して、バッファ割り当て設定を検証します。
• リンクのフラッピングまたはCRCエラー: SFP28ケーブルの品質を確認し、アダプターファームウェアが最新リリースに更新されていることを確認します。
• オフロードにもかかわらずCPU使用率が高い: ドライバーカウンターとアプリケーションログを調べることで、RDMAが実際に使用されていること（TCPにフォールバックしていないこと）を確認します。

最適化については、次のチューニングパラメータを推奨します（広範なラボ検証から導出）。- 混合ワークロードに対して割り込み集約（モデレーション）を4マイクロ秒に設定する- 正確な遅延測定のためにハードウェアタイムスタンプを有効にする- 非RDMAトラフィックのために複数のCPUコアにRSS（Receive Side Scaling）を構成する- ストレージワークロードの場合、プロトコルオーバーヘッドを削減するために最大RDMA MTUを4096バイトに増やす

6. まとめと価値評価

NVIDIA Mellanox MCX4121A-ACATソリューションは、現代のデータセンターに革新的な価値をもたらします。TCP/IPをRDMA/RoCEに置き換えることで、組織はアプリケーションレベルの遅延を5〜10倍削減し、CPUネットワークオーバーヘッドを80％以上削減し、サーバーコンテナ密度を30〜50％向上させることができます。MCX4121A-ACATイーサネットアダプターカードは、下位互換性と将来性のあるオフロード機能による投資保護を備えた、25GbE導入への費用対効果の高いパスを提供します。

総所有コストを評価する際、MCX4121A-ACAT価格は、大幅な運用コスト削減によって相殺されます。サーバー数の削減（使用率の向上による）、冷却コストの削減（<10W power draw), and elimination of separate InfiniBand or proprietary fabrics. The solution is fully MCX4121A-ACAT互換 Kubernetes、Apache Spark、TensorFlowなどの主要なオープンソースエコシステムとの互換性により、エンタープライズおよびクラウドネイティブ展開全体で幅広い適用性が保証されます。