NVIDIA メラノックス MCX653105A-HDAT サーバー アダプタ 技術ソリューション

NVIDIA Mellanox MCX653105A-HDAT サーバーアダプター技術ソリューション：RDMA/RoCE低遅延トランスポートとサーバースループット向上アーキテクチャ

1. プロジェクト背景と要件分析

大規模言語モデル（LLM）のトレーニング、高性能コンピューティングシミュレーション、リアルタイムデータ分析ワークロードが拡大し続けるにつれて、データセンターネットワークは前例のない要求の収束に直面しています。最新のGPUアクセラレーテッドクラスターは、膨大な帯域幅だけでなく、マイクロ秒単位の遅延、決定論的なパフォーマンス、インテリジェントなトラフィック管理も必要としています。TCP/IPと標準イーサネット上に構築された従来のネットワークアーキテクチャは、これらの要件を満たすことができず、予測不可能な遅延ジッターを導入し、プロトコル処理に過剰なCPUリソースを消費し、ワークロード固有の最適化に必要なプログラマビリティを欠いています。

高度なサーバーアダプターの採用を推進する主要なエンタープライズ要件には、以下が含まれます。

• 大規模な超低遅延:分散トレーニングジョブでは、GPU使用率を90%以上に維持するために、数百ノードにわたるコレクティブ通信遅延を500マイクロ秒未満にする必要があります。
• 基本的なネットワーキングを超えたCPUオフロード:ネットワーク処理は、データ前処理とモデルチェックポインティングのための容量を確保するために、ノードあたりCPUリソースの8%未満を消費する必要があります。
• ラインレートセキュリティ:転送中のデータ暗号化（IPsec/MACsec）は、スループットを損なうことなく、または大幅な遅延を追加することなく、ワイヤスピードで実行する必要があります。
• プログラム可能なデータパス:アダプターは、進化するワークロードパターンとプロトコルイノベーションに対応するために、カスタムトラフィックステアリングとパケット処理をサポートする必要があります。
• シームレスなスケーラビリティ:インフラストラクチャは、運用上の複雑さを爆発させることなく、数十から数百ノードまで線形的なパフォーマンス成長でスケーリングする必要があります。

提案されたアーキテクチャは、RoCEv2トランスポートに最適化された高性能リーフ-スパイントポロジーを採用しています。この設計の中心となるのは、MCX653105A-HDATイーサネットアダプターカードソリューションであり、すべてのサーバーノードに展開され、高度なオフロード機能を持つ超高帯域幅接続を提供します。

アーキテクチャレイヤー:

コンピューティング/ストレージノード:リーフレイヤー:

NVIDIA Spectrum-4スイッチは、高度なRoCE対応輻輳制御（PFC、ECN、DCQCN）を備えた低遅延、ロスレスイーサネット転送を提供します。これらのスイッチは、400GbEアップリンクをサポートし、ファブリックの可視性のための包括的なテレメトリを提供します。

• スパイレイヤー:大容量スパインスイッチは、400GbEアップリンクを介してすべてのリーフノードを相互接続し、決定論的な遅延でファブリック全体でのノンブロッキング、あらゆる対あらゆる通信を保証します。NVIDIA OFEDドライバースタックとアダプターファームウェアの定期的な更新は、パフォーマンス、セキュリティ、および機能強化に不可欠です。NVIDIA DOCAを使用して、大規模展開全体で自動化されたゼロタッチライフサイクル管理を行います。NVIDIA DOCAとMLNX-OSは、スタック全体にわたる統一管理、テレメトリ収集、構成オーケストレーション、ゼロタッチプロビジョニングを提供します。
• アーキテクチャは、SR-IOVとeSwitchオフロードによるハードウェアベースのネットワーク仮想化を組み込んでおり、パフォーマンスを損なうことなく効率的なマルチテナント分離のためにアダプターあたり最大1,000の仮想関数をサポートします。3. ソリューションにおけるNVIDIA Mellanox MCX653105A-HDATの役割と主要機能
• NVIDIA Mellanox MCX653105A-HDATは、コンピューティング/ストレージリソースとネットワークファブリック間の重要なインターフェイスとして機能します。その高度な機能セットは、全体的なアーキテクチャのパフォーマンスと効率目標を可能にします。機能
• 技術的能力ビジネス上のメリット

デュアルポート100GbE

200 Gb/s集約、QSFP28/QSFP56、10/25/40/50/100GbE自動ネゴシエーション

ゼロコピーデータ転送、0.6マイクロ秒未満の遅延、ハードウェア輻輳制御

スパインスイッチがリーフノードを相互接続する複数のラックに展開します。適応ルーティングと輻輳制御ポリシーを実装します。オーケストレーション、自動プロビジョニング、およびファブリック全体の監視のためにNVIDIA Unified Fabric Managerを活用します。標準的なラック構成は20台のコンピューティング/ストレージサーバーで構成され、各サーバーには1台のMCX653105A-HDATが装備されています。ポート1はリーフスイッチAに接続され、ポート2はリーフスイッチBに接続され、冗長なアクティブ-アクティブパスと自動フェイルオーバーを提供します。リーフスイッチは400GbE経由でスパインスイッチにアップリンクし、1:1のオーバーサブスクリプション比率のCLOSファブリックを形成します。この設計により、単一のリンクまたはスイッチの障害がアプリケーションの可用性に影響を与えず、サブ秒の回復メカニズムが提供されます。総所有コスト（TCO）を評価している組織の場合、MCX653105A-HDATの価格は、CPUの節約（通常サーバーあたり4〜6コアを解放）、3〜5倍のアプリケーションスループット向上、および複数の25GbEリンクを統合できる能力と合わせて考慮する必要があります。NVIDIA SpectrumスイッチおよびDOCAソフトウェアサブスクリプションとのバンドルで販売されるMCX653105A-HDATには、ボリュームディスカウントが利用可能な場合があります。5. 運用、監視、トラブルシューティング、最適化

高性能RoCEファブリックの効果的な運用には、特別な監視とトラブルシューティングの実践が必要です。MCX653105A-HDATは、これらのアクティビティをサポートするための包括的なインストルメンテーションを提供します。

テレメトリ収集と可視化:輻輳検出と管理:

PFCポーズフレーム、ECNマークパケット、およびバッファ占有率を監視して、マイクロバーストとトラフィックホットスポットを特定およびローカライズします。MCX653105A-HDATデータシートは、これらのカウンターの解釈と意味のあるアラートしきい値の設定に関する詳細なガイダンスを提供します。ライフサイクル管理:NVIDIA OFEDドライバースタックとアダプターファームウェアの定期的な更新は、パフォーマンス、セキュリティ、および機能強化に不可欠です。NVIDIA DOCAを使用して、大規模展開全体で自動化されたゼロタッチライフサイクル管理を行います。パフォーマンスチューニングガイドライン:

主要なチューニングパラメータには、PFCバッファしきい値（通常ポートあたり2〜4 MB）、ECNマーキング制限（キュー深度の80〜90%）、アダプター割り込みモデレーション設定（遅延対スループットのバランス）、およびPCIeリンク構成が含まれます。適切な設定は、特定のワークロードプロファイルとクラスターサイズによって異なります。体系的なトラブルシューティングフレームワーク:ほとんどのパフォーマンス問題は、DCBの誤構成、MTUの不一致、ドライバーバージョンの非互換性、またはケーブリングの問題に起因する可能性があります。アダプターの診断ツールセット（mstflint、ethtool、mlxconfig、mlxlink、およびmlxband）は、運用ステータス、リンクヘルス、エラー統計、および帯域幅使用率に関する包括的な可視性を提供します。6. まとめと価値評価

NVIDIA Mellanox MCX653105A-HDATは、複数の次元にわたって変革的なビジネス価値を提供する戦略的なインフラストラクチャ投資を表します。次元

提供される価値パフォーマンス効率

最大80%のCPUオフロード、25Wの消費電力、サーバーあたり4〜6コアの解放TCOサーバーアップグレードを18〜24ヶ月延期、クラスターサイズを30〜40%削減、冷却コストを削減プログラマビリティDOCAによる将来性、カスタムデータパスアプリケーションとワークロード固有の最適化を可能にする

エンドツーエンドのMCX653105A-HDATイーサネットアダプターカードソリューションとして、最新のAI、HPC、およびクラウドネイティブワークロードの可能性を最大限に引き出すロスレス、高性能ネットワークの構築を可能にします。エンタープライズデータセンター、クラウドサービスプロバイダー環境、または専用の研究施設に展開されるかどうかにかかわらず、NVIDIA Mellanox MCX653105A-HDATは、ネットワークアーキテクトが次世代インフラストラクチャに求めるパフォーマンス、効率、およびインテリジェンスを一貫して提供します。