NVIDIA Mellanox MCX653105A-HDAT サーバーアダプター 技術ソリューション: 最大化サーバーのためのRDMA/RoCE低遅延輸送

現代のデータセンターは、膨大なデータセットからより迅速な洞察を提供するという前例のないプレッシャーにさらされています。AIトレーニングクラスター、リアルタイム金融分析、または高頻度取引プラットフォームのいずれをサポートする場合でも、基盤となるネットワークインフラストラクチャがパフォーマンスの主なボトルネックとなることがよくあります。従来のTCP/IPベースのネットワーキングは、カーネル処理とデータコピーによるかなりのCPUオーバーヘッドを課し、レイテンシの増加と実効スループットの低下につながります。CPUコア数が増加し、NVMeストレージが普及するにつれて、ホストプロセッサに負担をかけずに、直接的で高速なデータ移動をサポートするようにネットワークを進化させる必要があります。

要件は明確です。アーキテクトは、OSカーネルをバイパスして、サーバーメモリとストレージまたは他のサーバー間の直接データ転送を可能にするリモートダイレクトメモリアクセス（RDMA）をサポートするネットワークソリューションを必要としています。Converged Ethernet（RoCE）上のRDMAは、標準的なイーサネットインフラストラクチャ上でInfiniBandクラスのレイテンシを提供する主要な標準として浮上しています。サーバーアダプター「迈络思(NVIDIA Mellanox) MCX653105A-HDAT」は、これらの要求に対応するために特別に構築されており、サーバーのスループットを最大化し、アプリケーションのレイテンシを最小限に抑える、高性能でロスレスなRoCEファブリックのハードウェア基盤を提供します。

提案されたアーキテクチャは、RoCEv2トラフィックをサポートするように設計されたノンブロッキングのスパインリーフイーサネットファブリックを中心に展開しています。このトポロジは、予測可能な低レイテンシと高帯域幅によるあらゆる接続を保証します。主な設計上の考慮事項は次のとおりです。

• ロスレスファブリック構成: RoCEを有効にするには、ネットワークはロスレスである必要があります。これは、IEEE 802.1Qbbで定義されている優先度フロー制御（PFC）によって実現されます。PFCは、輻輳が発生した場合に低優先度のフローを一時停止することにより、高優先度のRDMAトラフィックのパケットドロップを防ぎます。
• 輻輳管理: 明示的輻輳通知（ECN）は、輻輳をエンドポイントに通知するためにパケットにマークを付け、バッファオーバーフローが発生する前に送信レートを低下させることをMCX653105A-HDATアダプターに許可します。
• リーフおよびスパイン設計: 各サーバーは100GbEでリーフスイッチに接続されます。リーフスイッチは複数のスパインスイッチに接続され、完全な二等分帯域幅を提供します。このアーキテクチャは、より多くのラックが追加されるにつれて線形にスケーリングします。
• ストレージおよびコンピューティングセグメント: ファブリックは、NVMe-oFストレージトラフィックと分散アプリケーションのサーバー間通信の両方をサポートし、すべて同じRoCE対応インフラストラクチャを利用します。

このアーキテクチャ内では、NVIDIA Mellanox MCX653105A-HDATが重要なエンドポイントとして機能し、サーバーがRDMAファブリックに完全に参加できるようにすると同時に、CPUからネットワークタスクをオフロードします。

「MCX653105A-HDAT」は、NVIDIA Mellanox ConnectX-6アーキテクチャに基づいたデュアルポート100Gb/sアダプターです。これは、提案されたRDMA/RoCEソリューションの基盤であり、いくつかの主要な機能を提供します。

• ハードウェアベースのRoCEオフロード: アダプターは、パケットカプセル化、信頼性、輻輳制御を含むすべてのRDMAトランスポート機能をハードウェアで処理します。これにより、CPUコアはアプリケーション処理のために解放され、サーバーのスループット向上に直接貢献します。
• PCIe Gen3/Gen4サポート: 最大PCIe 4.0 x16をサポートするMCX653105A-HDAT Ethernet adapter cardは、両方のポートで同時にラインレート100Gb/sを達成するために十分なホスト帯域幅を提供し、要求の厳しいNVMe-oFおよびHPCワークロードに不可欠です。
• 高度な仮想化: SR-IOVおよびVirtIOアクセラレーションにより、アダプターは仮想化ワークロードにネイティブに近いパフォーマンスを提供でき、クラウドおよびNFV環境に適しています。
• プログラム可能なパイプライン: 柔軟なパーサーにより、ハードウェアアップグレードなしでカスタムパケット処理と新しいプロトコルオフロードが可能になり、投資が将来性のあるものになります。

公式のMCX653105A-HDAT specificationsによると、アダプターはハードウェアベースのインライン暗号化と鍵管理もサポートしており、パフォーマンスの低下なしに安全なRDMAを提供します。これは、データの分離と暗号化が必須である金融サービスおよびマルチテナントクラウドデプロイメントで特に重要です。

リスクを最小限に抑え、最適なパフォーマンスを確保するために、段階的な展開アプローチが推奨されます。

• フェーズ1 – パイロットクラスター: データベースおよびストレージサーバーの小規模クラスターにMCX653105A-HDAT ConnectX adapter PCIe network cardユニットを展開します。これらのサーバーに接続されたポートでPFCおよびECNを有効にするようにリーフスイッチを構成します。perftestなどのベンチマークツールを使用してRDMA機能を検証します。
• フェーズ2 – ストレージネットワーク統合: すべてのストレージノードに展開を拡大します。NVMe-oFトラフィックをRoCEファブリックに移行します。MCX653105A-HDAT compatible性は主要なストレージソフトウェアとの互換性により、スムーズな移行を保証します。
• フェーズ3 – 本番環境への完全展開: すべてのコンピューティングノードにMCX653105A-HDAT Ethernet adapter card solutionを展開します。Spark、TensorFlow、インメモリデータベースなどの分散アプリケーションでRDMAを有効にします。

スケーリングについては、スパインリーフファブリックがピークトラフィックを処理するために過剰にプロビジョニングされていることを確認してください。デプロイメント内のMCX653105A-HDAT for saleの数が増加するにつれて、NVIDIAのUnified Fabric Manager（UFM）を活用して、ファブリックの自動最適化とヘルスモニタリングを行います。

高性能なRoCEファブリックを維持するには、プロアクティブな監視とチューニングが必要です。

• 監視ツール: Mellanox NEOおよびUFMを使用して、ファブリックのヘルスを監視し、PFC一時停止フレームを追跡し、輻輳ホットスポットを検出します。MCX653105A-HDAT datasheetは、ethtoolなどの標準ツールを介して利用可能な詳細なカウンター情報を提供します。
• パフォーマンスチューニング: ワークロードの特性に基づいて、割り込み集約、リングバッファサイズ、およびPCIeパラメータを微調整します。アダプターの高度な機能である動的割り込みモデレーション（DIM）は、トラフィックパターンに基づいて自動調整できます。
• トラブルシューティング: 一般的な問題には、QoSの誤設定またはバッファ枯渇によるPFCストームが含まれます。すべてのスイッチとエンドポイントで一貫したQoS構成を確保します。定期的な検証テストによってMCX653105A-HDAT priceに見合うパフォーマンスが正当化されていることを確認します。
• ファームウェアとドライバーの更新:最新の最適化とバグ修正の恩恵を受けるために、アダプターのファームウェアとNVIDIAドライバーのスタックを最新の状態に保ちます。MCX653105A-HDAT Ethernet adapter cardは、シームレスな更新のためにフィールドアップグレード可能なファームウェアをサポートしています。

「NVIDIA Mellanox MCX653105A-HDAT」サーバーアダプターは、低レイテンシと高スループットを必要とする最新のデータセンターアーキテクチャに、堅牢で高性能な基盤を提供します。ハードウェアベースのRDMA/RoCEを有効にすることにより、CPUオーバーヘッドのボトルネックに直接対処し、収益を生み出すアプリケーションのためにコンピューティングリソースを解放します。ここで詳述されているソリューションは、AIトレーニングからリアルタイム金融分析まで、最も要求の厳しいワークロードをサポートできる、スケーラブルでロスレスなイーサネットファブリックへの明確な道を提供します。将来性のあるネットワークインフラストラクチャを求めるアーキテクトにとって、MCX653105A-HDATは、即時のパフォーマンス向上と長期的な価値の両方を提供する重要なビルディングブロックを表しています。