NVIDIA Mellanox MCX4121A-ACAT サーバーアダプター技術ソリューション：低遅延と最大化のための RDMA/RoCE のアーキテクチャ設計

1. プロジェクトの背景と要件分析

現代のデータセンターは、リアルタイム分析、分散機械学習トレーニング、高性能ソフトウェア定義ストレージなど、ますます要求の厳しいワークロードをサポートするために絶えずプレッシャーにさらされています。TCP/IPスタックに大きく依存する従来のネットワークアーキテクチャは、かなりのレイテンシとCPUオーバーヘッドを導入します。リンク速度が10GbEから25GbE以上に移行するにつれて、「カーネルバイパス」アプローチは単なる利点ではなく、必要不可欠なものになります。ネットワークアーキテクトとストレージエンジニアは、インフラストラクチャ全体のオーバーホールを必要とせずに、NVMe-oFおよびマイクロサービスアーキテクチャの可能性を最大限に引き出すソリューションを求めています。典型的な大規模展開で特定された主な要件には、ストレージトラフィックの10マイクロ秒未満のレイテンシ、ネットワークI/OのCPUオーバーヘッドの40%削減、標準TCP/IPトラフィックと超低レイテンシRDMAトラフィックの両方を伝送できる統合ファブリックが含まれます。

2. 全体的なネットワークおよびシステムアーキテクチャ設計

提案されたアーキテクチャは、同じ物理インフラストラクチャ上で標準LANトラフィックとストレージトラフィックの両方をサポートするように設計された、ロスレスで統合されたイーサネットファブリックを中心に展開しています。この設計は、RoCE（RDMA over Converged Ethernet）対応スイッチを備えたリーフ-スパイントポロジを活用しています。主な設計原則は次のとおりです。

• 統合ファブリック: 単一の25GbEネットワークがすべてのトラフィックタイプを伝送し、個別のストレージおよびデータネットワーク（LAN/SAN統合）の必要性を排除します。
• ロスレスイーサネット基盤: RDMAトラフィック用のロスレスサービスクラスを作成するために、Priority Flow Control（PFC、IEEE 802.1Qbb）とEnhanced Transmission Selection（ETS、IEEE 802.1Qaz）を実装し、そうでなければ壊滅的なレイテンシスパイクを引き起こすパケットドロップを防ぎます。
• エンドツーエンドRDMA: ネットワークレイヤーで動作するRoCEv2を展開し、RDMAがL3境界を通過し、RoCEv1とは異なり単一のブロードキャストドメインを超えてスケーリングできるようにします。

このアーキテクチャ内では、サーバーエンドポイントが最も重要なコンポーネントです。ここで、NVIDIA Mellanox MCX4121A-ACATサーバーアダプターが、RoCEプロトコルを実行し、ホストCPUから複雑なネットワーク機能をオフロードするインテリジェントインターフェイスとして機能する、その中心的な役割を果たします。

3. ソリューションにおけるNVIDIA Mellanox MCX4121A-ACATの役割

NVIDIA Mellanoxの MCX4121A-ACATイーサネットアダプターカードは、サーバーサイド展開の基盤です。ConnectX-4 Lxコントローラーをベースにしたこの MCX4121A-ACAT ConnectX-4 Lxデュアルポート25GbE SFP28アダプターは、プロジェクトの目標を達成するために必要なハードウェアアクセラレーションを提供します。アーキテクチャへの具体的な貢献は以下のとおりです。

• ハードウェアRoCEエンジン: アダプターは、RoCEv2プロトコル全体をシリコンで実装しています。これは、メモリの読み書きや送受信動詞を含むRDMA操作が、NIC上で完全に処理され、カーネルをバイパスし、コンテキストスイッチを排除することを意味します。これは、10マイクロ秒未満のアプリケーション間レイテンシを実現する主要なメカニズムです。
• NVMe-oFオフロード: ストレージトラフィックの場合、 MCX4121A-ACATはRDMAによるNVMe over Fabrics（NVMe-oF）をサポートしています。NVMeキューペア処理をオフロードし、ストレージターゲットまたはイニシエーターが最小限のCPU介入で数百万のIOPSを処理できるようにします。
• 動的割り込みモデレーション: アダプターは割り込みをインテリジェントにモデレーションし、トラフィック負荷に基づいてそれらを統合します。これにより、高スループットシナリオでのホストCPUオーバーヘッドが削減され、特定のキューの割り込みがモデレーションをバイパスできるようにすることで、機密性の高いトラフィックの低レイテンシが維持されます。
• サービス品質（QoS）強制: ハードウェアベースのQoSをサポートし、アーキテクトが異なるトラフィッククラス（例：ストレージ、管理、コンピューティング）を異なる優先度キューに割り当てることができます。これにより、ネットワーク輻輳時でもRDMAトラフィックが保証された帯域幅と低レイテンシを受け取ることが保証されます。

4. 展開とスケーリングの推奨事項

リスクを最小限に抑えるために、段階的な展開アプローチが推奨されます。次のトポロジと手順は、典型的な実装の概要を示しています。

• パイロットフェーズ: MCX4121A-ACATを装備したストレージサーバーとコンピューティングノードの小規模クラスターを、専用のRoCE対応リーフスイッチに接続して展開します。PFC/ETS構成を検証して、RoCEトラフィックのロスレスファブリックを確保します。
• 統合とテスト: MCX4121A-ACATイーサネットアダプターカードソリューションをストレージターゲット（例：Ceph、Lustre、または独自のNVMe-oFアレイ）とクライアントアプリケーションの両方に構成します。NVIDIAの推奨ドライバーと perftestのようなツールを使用して、ベースラインレイテンシ（ib_send_lat）と帯域幅（ib_send_bw）を測定します。
• ファブリックのスケーリング: パイロットが安定したら、完全なリーフ-スパイントポロジにスケールアップします。スパインスイッチもRoCE対応であることを確認し、ネットワーク全体でロスレスQoSマーキングを維持します。 NVIDIA Mellanox MCX4121A-ACATのデュアルポート機能により、冗長性とスループット向上のためにアクティブ/スタンバイまたは802.3adリンクアグリゲーションが可能になります。
• 互換性チェック: 常に MCX4121A-ACAT互換のハードウェアとファームウェアのバージョンを確認してください。 MCX4121A-ACAT仕様と MCX4121A-ACATデータシートを確認して、サーバーマザーボード、BIOS設定、およびスイッチファームウェアとの互換性を確保する必要があります。調達計画の場合、 MCX4121A-ACAT価格と入手可能性は、特に大規模な MCX4121A-ACAT販売購入を計画している場合、正規販売代理店を通じて入手できます。

5. 運用監視、トラブルシューティング、および最適化

ピークパフォーマンスを維持するには、プロアクティブな監視とRoCEファブリックの動作に関する確かな理解が必要です。運用チーム向けの主な推奨事項は次のとおりです。

• RDMAトラフィックの監視: ethtool、 mlxstat、およびNVIDIAの UFM（Unified Fabric Manager）などのツールを使用して、アダプターの温度、リンクエラー、およびRDMAキューペアの状態を監視します。重要なメトリックには、RoCEパケットドロップ、PFCポーズフレームカウント、およびPCIe帯域幅使用率が含まれます。
• 障害の分離: RDMAトラフィックの高レイテンシは、輻輳によるパケットドロップによってほぼ常に引き起こされます。PFCポーズフレームを調査します。特定のキューが過度にポーズされている場合、それは下流（例：スイッチのイーグレスポート）のボトルネックを示します。 MCX4121A-ACATの高度なカウンターは、輻輳の正確なソースを特定するのに役立ちます。
• パフォーマンスチューニング:
  • MTUサイズ: パケットあたりのオーバーヘッドを削減し、大きなI/Oパフォーマンスを向上させるために、アダプターとスイッチの両方で9000バイト（ジャンボフレーム）に増やします。
  • 受信側スケーリング（RSS）: RSSがトラフィックを複数のCPUコアに分散するように構成されていることを確認し、アダプターが高パケット/秒（PPS）レートを処理できるようにします。
  • バッファチューニング:ワークロードの特性（例：ストレージの場合はより大きなバッファ、HPCの場合はより小さなバッファ）に基づいて、アダプターの送受信バッファを調整します。

6. 結論と価値評価

NVIDIA Mellanoxの MCX4121A-ACATは、次世代データセンターを構築するための成熟した高性能な基盤を提供します。このアダプターを適切に設計されたRoCEv2ファブリックに統合することにより、組織は変革的な結果を達成できます。CPUがネットワーキングオーバーヘッドから解放されるため、サーバーのスループットを最大化できます。レイテンシは数マイクロ秒に劇的に削減され、リアルタイムアプリケーションが可能になります。インフラストラクチャ統合を通じて、総所有コストが削減されます。25GbEロードマップを計画しているアーキテクトにとって、 MCX4121A-ACATは、堅牢なNVIDIA Mellanoxエコシステムに裏打ちされた、パフォーマンスと効率への戦略的投資を表します。