NVIDIA Mellanox MCX653106A-HDAT サーバーアダプター 技術ホワイトペーパー RDMA/RoCE 低遅延トランスポート & サーバー スループット

NVIDIA Mellanox MCX653106A-HDAT サーバーアダプター技術ホワイトペーパー | RDMA/RoCE 低遅延トランスポート & サーバースループット最適化

1. プロジェクト背景と要件分析

人工知能、高性能コンピューティング（HPC）、分散データベース、エンタープライズストレージにまたがる最新のデータセンターワークロードは、ネットワーキング要件を根本的に変革しました。従来のTCP/IPベースのネットワークスタックは、普及していますが、レイテンシとCPUオーバーヘッドを導入し、スケールすると許容できないものになります。NVMe over Fabrics (NVMe-oF)、分散機械学習トレーニング、リアルタイム分析などのアプリケーションは、最適なパフォーマンスを達成するために、決定論的な5マイクロ秒未満のレイテンシとハードウェアアクセラレーテッドデータ移動を要求します。

ネットワークアーキテクトおよびインフラストラクチャリードは、これらのパフォーマンスクリティカルなワークロードのトランスポートとして、RDMA over Converged Ethernet (RoCE) をますます採用しています。しかし、RoCEの展開の成功は、トランスポート処理のオフロード、輻輳の効果的な管理、およびフォークリフトアップグレードを必要とせずに既存のイーサネットファブリックとのシームレスな統合を行うアダプターの能力に依存します。エンタープライズ、クラウド、HPC環境全体で特定された主要な要件は次のとおりです。

• 高頻度取引やインメモリデータベースなどのレイテンシに敏感なアプリケーション向けの、エンドツーエンドRDMAレイテンシ3マイクロ秒未満
• 高密度ストレージノードおよびGPUアクセラレーテッドコンピューティングクラスターをサポートするための、サーバーあたり100 Gb/sを超える集約スループット
• AIおよびHPCワークロードにおけるホスト側メモリコピーを排除するための、GPUDirectのハードウェアオフロード
• 決定論的でジッターフリーなパフォーマンスのためのPFCおよびECNを備えたロスレスイーサネットトランスポート
• プロアクティブな運用可視性とトラブルシューティングのための包括的なテレメトリとプログラム可能なデータパス

「NVIDIA Mellanox MCX653106A-HDAT」は、その高度なConnectXアーキテクチャを通じてこれらの要件に直接対応し、ハードウェアアクセラレーテッドRoCEv2、高度な輻輳管理、および最も要求の厳しいエンタープライズおよびクラウド環境に適した包括的なプログラマビリティフレームワークを提供します。

2. ネットワークおよびシステムアーキテクチャ全体の設計

提案されたソリューションアーキテクチャは、サーバーアクセス層で25/50/100GbE接続を備えたリーフ・スパイン・トポロジーを採用しています。各コンピューティング、ストレージ、またはGPUアクセラレーテッドノードには、MCX653106A-HDAT ConnectXアダプターPCIeネットワークカードが装備されており、トップオブラック（ToR）スイッチへの冗長接続を提供します。アーキテクチャは、4つの異なる層で構成されます。

• コンピューティング/ストレージエッジ:「MCX653106A-HDATイーサネットアダプターカード」はPCIe Gen 4.0 x16を介してホストに接続され、最大256 GB/sの双方向ホスト帯域幅を提供します。これは、デュアル100GbEポートを完全に飽和させ、バーストトラフィックと将来の速度アップグレードのためのヘッドルームを維持するのに十分です。
• ネットワークファブリック:デュアルポートは、アクティブ・アクティブロードバランシングとハードウェアLAGオフロードを備えた柔軟なメディア（25GbE用のSFP28、50/100GbE用のQSFP）をサポートします。アダプターは、ハードウェアベースのフェイルオーバーで最大200 Gb/sの集約スループットをサポートします。
• RDMAトランスポート層:セグメンテーション、再アセンブリ、輻輳制御、完了処理の完全なオフロードを備えたハードウェアアクセラレーテッドRoCEv2。アダプターは、サブマイクロ秒のレイテンシで毎秒最大2億メッセージ（Mpps）をサポートします。
• 管理とテレメトリ:完全なRedfishおよびSNMPサポートを備えた帯域外管理。リアルタイムファブリック監視とパフォーマンス最適化のための帯域内テレメトリによって補完されます。

この設計は、NVIDIA Mellanox MCX653106A-HDATがRDMAエンドポイントとして機能し、ホストCPUの介入なしに直接メモリ間転送を可能にする、収束したロスレスイーサネットファブリックを強調しています。アーキテクチャは、既存のイーサネットスイッチングインフラストラクチャと完全にMCX653106A-HDAT互換であり、PFCおよびECNサポートのみを必要とします。これらは、主要ベンダーの最新のデータセンタースイッチで一般的に利用可能な機能です。

3. NVIDIA Mellanox MCX653106A-HDATの役割と主な機能

「MCX653106A-HDAT」はアーキテクチャの中心的な役割を果たし、低遅延、高スループットネットワーキングを可能にする4つの異なる価値層を提供します。

A. ハードウェアアクセラレーテッドRDMAエンジン
アダプターは、RoCEv2トランスポート操作（セグメンテーション、再アセンブリ、輻輳制御、完了処理を含む）をホストCPUから完全にオフロードする、完全にプログラム可能なパケット処理パイプラインを統合しています。 「MCX653106A-HDATデータシート」によると、ハードウェアはすべてのパケットサイズでワイヤーレートパフォーマンスをサポートし、最大メッセージレートは200 Mpps、エンドツーエンドレイテンシはサブマイクロ秒です。

B. GPUDirect & NVMe-oFオフロード
「MCX653106A-HDAT」の重要な差別化要因は、GPUDirectの統合サポートであり、GPUメモリとネットワークインターフェイス間の直接データ移動をホスト側コピーなしで可能にします。これにより、分散AIトレーニングにおける重要なボトルネックが解消されます。ストレージワークロードの場合、アダプターはNVMe-oF操作をオフロードし、標準イーサネットを、以前は専用InfiniBandでのみ達成可能だったレイテンシ特性を持つ高性能ストレージファブリックに変革します。

C. 高度なQoSと輻輳管理
アダプターは、厳密な優先度、加重公平キューイング、およびレート制限のサポートを備えた、トラフィッククラスごとの優先度を提供します。輻輳管理機能には、ハードウェアベースのECNマーキング、PFC生成、および適応ルーティング機能が含まれます。これらはすべて、 「MCX653106A-HDAT仕様」を介して構成可能です。

D. セキュリティとプログラマビリティ
アダプターには、ハードウェアルートオブトラスト、セキュアブート、暗号化されたファームウェアアップデート、およびセキュア管理インターフェイスが含まれています。プログラム可能なデータパスは、柔軟なマッチアクション処理をサポートし、カスタムオフロードと帯域内ネットワークテレメトリ（INT）収集を可能にし、高度な運用可視性を提供します。

4. 展開とスケーラビリティに関する推奨事項

一般的な展開トポロジー

推奨される展開は、「スパイン・リーフ」トポロジーに従い、次の構成で実行されます。

• リーフスイッチ:RoCEv2サポートを備えた25/50/100GbE ToRスイッチ。PFCは専用の優先度キュー（通常1つまたは2つの優先度）で構成され、輻輳シグナリングにはECNが使用されます。最適なRoCEパフォーマンスのために、ジャンボフレーム（MTU 9000）が推奨されます。
• サーバーノード:各ノードには、MCX653106A-HDATが装備されており、冗長性のためにプライマリおよびセカンダリリーフスイッチにデュアルホーミングで接続されます。アダプターのPCIe Gen 4.0 x16インターフェイスは、ホスト側のボトルネックがないことを保証します。
• スパイン層:複数のラックにわたるマイクロバーストを吸収するのに十分なバッファ容量を備えた、ノンブロッキングラック間接続を提供する100/400GbEスパインスイッチ。
• ストレージ/コンピューティング統合:NVMe-oF展開の場合、ターゲットノードは一貫したRDMA機能のために同じアダプタータイプを使用します。AIクラスターの場合、アダプターのGPUDirectサポートは、GPU間の勾配同期に活用されます。

スケーラビリティに関する考慮事項

• 輻輳ドメイン:PFCの伝播を制限するために、ファブリックを複数の輻輳管理ゾーン（例：ラックごとまたはクラスターごと）にパーティション化します。アダプターのポートごとのレート制限は、ノイズの多い隣接ノードを分離し、公平な帯域幅割り当てを維持するのに役立ちます。
• オーケストレーション統合:アダプターは、Kubernetes（NVIDIAネットワークオペレーター経由）およびOpenStackによって完全にサポートされており、クラウドスケール環境での自動プロビジョニングとライフサイクル管理を可能にします。
• 将来性:「MCX653106A-HDAT」は100GbE以上の速度をサポートし、アダプター交換なしで将来のネットワークアップグレードのためのヘッドルームを提供します。そのPCIe Gen 4.0インターフェイスは、次世代サーバープラットフォームとの互換性も保証します。

「MCX653106A-HDAT価格」を評価している組織の場合、総所有コストには、専用ストレージネットワークの排除による節約、CPUコア割り当ての削減（通常、サーバーあたり4〜6コアを回復）、および統合ファブリック管理による運用効率が含まれるべきです。

5. 運用、監視、トラブルシューティング、最適化

監視フレームワーク

このソリューションは、マルチティアのオブザーバビリティアプローチを採用しています。

• アダプターレベルのテレメトリ:「MCX653106A-HDAT」は、ethtool、sysfs、およびNVIDIAの管理ツールを介して数百のハードウェアカウンターを公開します。主要なメトリックには、ポートごとのスループット、PFCポーズフレーム、ECNマーキングパケット、RoCEv2輻輳イベント、RDMA完了キュー統計、およびフローごとのレイテンシヒストグラムが含まれます。
• ファブリックレベルの可視性:NVIDIAの統合管理プラットフォームとの統合は、トポロジーの視覚化、フローパス分析、およびファブリック全体の異常検出を提供します。
• アプリケーションの相関:アダプターは、キューごとおよびRDMA完了キューごとの統計情報を提供し、ネットワークパフォーマンスとアプリケーションレベルのトランザクションレイテンシの正確な相関を可能にします。

一般的なトラブルシューティングシナリオ

「NVIDIA Mellanox MCX653106A-HDAT」の運用経験に基づき、以下の診断パターンが特定されています。

• PFCストーム検出:優先度ごとのPFCポーズフレームカウンターを監視します。線速の5%を超える持続的なポーズは、輻輳または設定ミスを示します。アダプターのキューごとのバッファ使用率カウンターを使用してソースを調査します。
• RoCEv2パケットドロップ:アダプターのドロップカウンター（rx_discard、tx_discard）を確認し、ECNマーキングパケットと相関させて、アダプターレベルのドロップとファブリックレベルのスロットリングを区別します。
• パフォーマンスチューニング:レイテンシとCPU使用率のバランスをとるために、割り込み合算パラメータを調整します。通常、ストレージワークロードには中程度の合算、取引アプリケーションには最小限の合算を設定します。 「MCX653106A-HDATデータシート」は、すべての調整可能なパラメータに関する詳細なガイダンスを提供します。

最適化ガイドライン

「MCX653106A-HDATイーサネットアダプターカードソリューション」で最大のパフォーマンスと最小のレイテンシを実現するために、以下の最適化が推奨されます。

• ハードウェアCRC、ヘッダー/データ分割オフロード、および受信側スケーリング（RSS）を有効にして、トラフィックを複数のCPUコアに効率的に分散させます
• 観測されたワークロードプロファイルに基づいて、アダプターのベンダー固有のバッファ構成ツールを使用して、優先度ごとのPFCしきい値を動的に構成します
• アダプターの高度なQoS機能（トラフィッククラスごとのレート制限、厳密な優先度または加重公平キューイングを含む）を有効にします
• 大規模展開の場合、アダプターの802.1Qaz DCBXサポートを活用して、スイッチとのPFCおよびECNネゴシエーションを自動化します
• アダプターのプログラム可能なデータパスを使用して、特定のアプリケーション要件に合わせたカスタムテレメトリ収集または特殊なパケット処理オフロードを実装します

6. 要約と価値評価

NVIDIA Mellanoxの「MCX653106A-HDAT」を中心とした技術ソリューションは、3マイクロ秒未満のRDMAレイテンシとサーバーあたり100 Gb/sを超える集約スループットを実現するための明確なパスを提供します。 「MCX653106A-HDATイーサネットアダプターカード」は、AIトレーニング、HPC、エンタープライズストレージ、リアルタイム分析ワークロードを同時にサポートする最新の統合データセンターファブリックの基本的なビルディングブロックとして機能します。

主な価値提案は次のとおりです。

• インフラストラクチャの統合:すべてのトラフィックタイプに対してロスレスイーサネットを可能にすることで、別個のストレージネットワークとコンピューティングネットワークの必要性を排除し、資本支出と運用支出の両方を削減します
• パフォーマンスリーダーシップ:GPUDirectを備えたハードウェアオフロードRoCEv2は、90%以上の線速使用率でも決定論的なサブマイクロ秒レイテンシを保証します。これは、AIトレーニング、リアルタイム分析、高頻度取引に不可欠です
• 運用効率:包括的なテレメトリ、自己修復輻輳管理、および自動化されたオーケストレーション統合により、平均解決時間（MTTR）と運用オーバーヘッドが削減されます
• 投資保護:アダプターのPCIe Gen 4.0インターフェイス、プログラマビリティ、およびマルチスピードポートサポートは、将来のCPU世代およびより高速なネットワークファブリックとの互換性を保証します

「MCX653106A-HDAT販売」オプションを積極的に評価している組織にとって、このソリューションは、金融サービス、クラウドプロバイダー、ヘルスケア、および研究機関のプロダクション環境で検証された実績のあるリファレンスアーキテクチャを提供します。パフォーマンス、スケーラビリティ、および運用成熟度の組み合わせにより、 「NVIDIA Mellanox MCX653106A-HDAT」は、高性能で将来を見据えたデータセンターインフラストラクチャの構築に取り組むあらゆる組織にとって戦略的な投資となります。