NVIDIA Mellanox MCX556A-ECAT サーバーアダプター 技術ホワイトペーパー | RDMA/RoCE 低遅延トランスポート & サーバー スループット

NVIDIA Mellanox MCX556A-ECAT サーバーアダプター技術ホワイトペーパー | RDMA/RoCE 低遅延トランスポート & サーバースループット最適化

1. プロジェクトの背景と要件分析

現代のデータセンターは、人工知能、高性能コンピューティング（HPC）、リアルタイム分析によって根本的な変革を遂げています。これらのワークロードは、前例のないネットワークパフォーマンスを要求します。単なる帯域幅だけでなく、決定論的な低遅延、CPU効率の高いデータ移動、そしてシームレスなスケーラビリティが必要です。従来のイーサネットアダプターは、ソフトウェアベースのTCP/IPスタックに依存しており、CPUコアの20〜30％を消費し、アプリケーションパフォーマンスを低下させる予測不可能な遅延変動を引き起こす、重大なボトルネックとなっています。大規模に運用する組織にとって、この非効率性は、インフラストラクチャコストの増加と洞察を得るまでの時間の遅延に直接つながります。

このホワイトペーパーでは、NVIDIA Mellanox MCX556A-ECATサーバーアダプターを中心とした包括的な技術ソリューションを紹介します。100GbEへの投資を最大化したい企業向けに設計されたMCX556A-ECATイーサネットアダプターカードは、ハードウェアアクセラレーションされたRDMA over Converged Ethernet（RoCE）を提供し、ロスレスで低遅延のトランスポートを可能にし、ネットワークI/Oを負債から戦略的資産へと変革します。このソリューションは、特に3つの主要な目標を満たすようにアーキテクトされています。（1）エンドツーエンドのアプリケーション遅延を10μs未満で達成すること、（2）CPUネットワーク処理オーバーヘッドを5％未満に削減すること、そして（3）100GbE以降の将来性のあるスケーラブルな基盤を提供することです。

2. ネットワークおよびシステムアーキテクチャ全体の設計

推奨されるアーキテクチャは、サーバーアクセス層として100GbE、スパインへのアップリンクとして400GbEを備えた高性能リーフ・スパイン・トポロジーを採用しています。この設計の中核となるのは、ファブリック全体にわたるすべてのコンピューティングおよびストレージノードに展開されるMCX556A-ECAT ConnectXアダプターPCIeネットワークカードです。アーキテクチャは、5つの主要原則に基づいて構築されています。

• ロスレスイーサネットファブリック:すべてのスイッチでRoCE v2とPFC（Priority Flow Control）およびECN（Explicit Congestion Notification）を活用し、パケットドロップを排除し、RDMAトラフィックの決定論的な遅延を保証します。
• あらゆる場所でのハードウェアオフロード:チェックサムオフロード、セグメンテーション（LSO/LRO）、VLANタギング、RDMAを含むトランスポート層処理をアダプターにオフロードし、CPUサイクルをアプリケーションロジックのために解放します。
• アクティブ・アクティブ冗長性:リンクアグリゲーション（LACP）モードで両方のQSFP28ポートを使用して、200Gb/sの集約帯域幅とサブ秒リカバリによる自動フェイルオーバーを実現します。
• トラフィックセグメンテーション:ストレージ（NVMe-oF）、コンピューティング（MPI/RDMA）、および管理トラフィック専用のトラフィッククラスを設け、すべてのワークロードで予測可能なQoSを保証します。
• スケーラブルなコントロールプレーン:REST APIおよびAnsibleプレイブックによる組み込みテレメトリと自動化を備えたNVIDIA Spectrumスイッチによる集中管理。

このソリューションは、主要なサーバープラットフォーム（Dell PowerEdge、HPE ProLiant、Supermicro、Lenovo）と完全にMCX556A-ECAT互換であり、主要なオペレーティングシステム（Linux、Windows Server、VMware ESXi）とシームレスに統合されます。ストレージに関しては、このアーキテクチャはRoCE上のNVMe-oFをサポートし、ローカルNVMeドライブに近い遅延で共有された分散ストレージを可能にします。

3. NVIDIA Mellanox MCX556A-ECATの役割と主な機能

このソリューションの基盤となるコンポーネントとして、NVIDIA Mellanox MCX556A-ECATは、アーキテクチャ内で3つの重要な役割を果たします。

から抽出された主な技術仕様MCX556A-ECATデータシートには、PCIe 3.0/4.0 x16ホストインターフェイス、包括的なオフロード機能（チェックサム、LSO/LRO、VLANストリッピング/挿入、RSS）、およびポートごとの高度なテレメトリが含まれます。アダプターの電力効率（通常15W未満）と幅広いオペレーティングシステムサポートは、異種環境向けの多用途なビルディングブロックとなります。MCX556A-ECAT仕様は、25GbEおよび40GbEの互換性も強調しており、混在速度環境での展開の柔軟性を提供します。

4. 展開とスケーリングの推奨事項

グリーンフィールド展開の場合、100GbEアクセスと400GbEスパインアップリンクを備えた2層リーフ・スパイン・トポロジーを推奨します。各サーバーは1台のMCX556A-ECATイーサネットアダプターカードをホストし、両方のQSFP28ポートを冗長性のために別々のリーフスイッチに接続します。RoCEファブリックには、すべてのスイッチで一貫したQoS設定が必要です。特に、PFCは優先度3（RDMAトラフィック用）および優先度4（ストレージ用）で、同じトラフィッククラスでECNマーキングを行います。監視とトラブルシューティングを容易にするために、RoCE、管理、およびストレージトラフィック専用のVLANを割り当てることを推奨します。

既存の40GbEインフラストラクチャを持つブラウンフィールド環境の場合、MCX556A-ECATイーサネットアダプターカードソリューションは、円滑な移行パスを提供します。このアダプターは40GbE QSFP+オプティクスとの後方互換性があるため、100GbEへの段階的なアップグレード中に既存のケーブリングを再利用できます。また、アダプターはRoCEの有効化を必須としない標準イーサネットスイッチングをサポートしており、ファブリックが成熟し、ワークロードが移行を正当化するにつれて、チームは最初にハードウェアを展開し、段階的にRDMA機能を有効にすることができます。

50ノードを超えるソリューションのスケーリングには、追加の考慮事項があります。NVIDIA Spectrumスイッチの組み込みテレメトリと動的なECNしきい値調整を使用して、専用のRoCE輻輳管理戦略を実装することを推奨します。200ノードを超えるクラスターの場合、エンドツーエンドの可視性と自動化された構成の一貫性を維持するために、集中型ファブリック管理コントローラー（例：NVIDIA Cumulus NetQ）の展開を検討してください。MCX556A-ECAT販売用は、NVIDIAのグローバルチャネルパートナーを通じて提供されており、包括的な保証とファームウェアアップデートサポートが含まれており、大規模環境での長期的な信頼性を保証します。

5. 運用、監視、トラブルシューティング、最適化

RoCEファブリックの効果的な運用には、多層的な監視およびトラブルシューティング戦略が必要です。

• アダプターレベルのテレメトリ:からMCX556A-ECAT仕様には、PFCフレーム、ECNマーキングパケット、ドロップフレーム、リンクエラーのポートごとのカウンターが含まれます。これらのメトリクスをPrometheus/Grafanaダッシュボードにエクスポートするために、mlx5cmd、ethtool、またはNVIDIAファームウェアツールを使用します。
• スイッチレベルの監視:スパインおよびリーフスイッチのバッファ占有率、ポーズフレーム数、キューの深さ、ECNマーキングレートを監視します。ポーズフレームの急増は、ECNしきい値の調整が必要になる可能性のあるマイクロ輻輳を示します。
• アプリケーションレベルのメトリクス:RDMAアプリケーションの場合、NVIDIA libibverbsおよびrdma-coreライブラリを使用して、WR（Work Request）完了遅延、CQ（Completion Queue）オーバーフローイベント、およびQP（Queue Pair）エラーカウントを追跡します。

一般的なトラブルシューティングシナリオとその推奨アクション:

• RoCEパフォーマンスの低下:すべてのスイッチポートでPFCが有効になっていること、およびDSCPマーキングがスイッチ構成と一致していることを確認します。ワークロードプロファイルに対する推奨値に対してバッファ割り当て設定を検証するために、MCX556A-ECATデータシートを使用します。
• リンクのフラッピングまたはCRCエラー:QSFP28ケーブルの品質を確認し、アダプターファームウェアが最新リリースに更新されていることを確認します。ケーブルが100GBASE-SR4またはLR4のIEEE 802.3bj仕様を満たしていることを確認します。
• オフロードにもかかわらずCPUが高い:ドライバーカウンター、アプリケーションログ、および接続状態を検査して、RDMAが実際に使用されていること（TCPにフォールバックしていないこと）を確認します。
• PFCデッドロックまたはポーズストーム:誤って構成された優先度を確認し、PFCがRoCEトラフィッククラス（管理またはストレージトラフィックではない）でのみ有効になっていることを確認します。

最適化のために、広範なラボ検証に基づいた以下のチューニングパラメータを推奨します。

• 割り込み合算（モデレーション）:遅延とCPU効率のバランスをとるために、混合ワークロード（取引+ストレージ）に対して4〜8μsに設定します。
• RDMA MTU:プロトコルオーバーヘッドを削減し、スループットを向上させるために、ストレージワークロードに対して4096バイトに増やします。
• RSS（Receive Side Scaling）:単一コアの飽和を回避するために、処理を分散させるために、非RDMAトラフィックに対して複数のCPUコアにわたって構成します。
• ECNしきい値:優先度3トラフィックに対して、バッファの50％に最小しきい値、80％に最大しきい値を設定し、観測された輻輳パターンに基づいて調整します。

6. まとめと価値評価

は、NVIDIA Mellanox MCX556A-ECATソリューションは、現代のデータセンターに革新的な価値をもたらします。ソフトウェアベースのTCP/IPをハードウェアアクセラレーションされたRDMA/RoCEに置き換えることで、組織はアプリケーションレベルの遅延を5〜10倍削減し、CPUネットワークオーバーヘッドを80％以上削減し、サーバーコンテナ密度を30〜50％増加させることができます。MCX556A-ECATイーサネットアダプターカードは、40GbEへの後方互換性と、新しいワークロード向けの将来性のあるオフロード機能による投資保護を備えた、100GbE導入への費用対効果の高いパスを提供します。

総所有コストを評価する際、MCX556A-ECAT価格は、大幅な運用コスト削減によって相殺されます。サーバー数の削減（利用率の向上による）、冷却コストの削減（<15W power draw), and elimination of separate InfiniBand or proprietary RDMA fabrics. The solution is fully MCX556A-ECAT互換Kubernetes、Apache Spark、TensorFlow、VMware vSphereを含む主要なオープンソースおよびエンタープライズエコシステムとの互換性により、エンタープライズ、HPC、およびクラウドネイティブ展開全体で幅広い適用性を保証します。