NVIDIA メラノックス MCX653106A-HDAT サーバー アダプタ 技術ソリューション

NVIDIA Mellanox MCX653106A-HDAT サーバーアダプター 技術ソリューション: RDMA/RoCE 低遅延輸送とサーバースループット強化アーキテクチャ

1プロジェクト背景と要件分析

人工知能,高性能コンピューティング,リアルタイム分析をサポートする現代データセンターは 要求の激しい要求の融合に直面しています 膨大な帯域幅,マイクロ秒スケール遅延,決定的性能TCP/IPと標準Ethernetに構築された伝統的なネットワークアーキテクチャは,この要求を満たすのに一貫して失敗し,予測不能なレイテンシージッターを導入します.プロトコル処理のために過剰なCPUリソースを消費するクラスタが10から数百のノードにスケールするにつれて,これらの制限は複合される.性能が低下し,資源が不効率に利用される.

先進的なサーバーアダプターの採用を推進する主要な企業要件は以下のとおりである.

• 超低レイテンシースケール:分散型トレーニングの仕事は,GPU利用率を90%以上維持するために,数百のノードで500マイクロ秒未満の集団通信遅延を必要とします.
• 基本ネットワークを超えたCPUのオフロード:ネットワーク処理は,アプリケーションワークロードの容量を保持するために,ノードあたりCPUリソースの8%未満を消費する必要があります.
• ラインレートの保証:転送中のデータの暗号化は,スループットを損なうことなく,重要な遅延を加えることなく,ワイヤルの速度で実行されなければならない.
• プログラム可能なデータ経路:アダプターは,変化するワークロードパターンとプロトコル革新に対応するために,カスタムトラフィック・ステアリングとパケット処理をサポートする必要があります.
• シームレスなスケーラビリティ:インフラストラクチャは 数十から数百のノードから 線形的なパフォーマンス成長と 操作的複雑性の爆発なしに 拡大する必要があります

についてNVIDIA メラノックス MCX653106A-HDATこの要求に応えるように設計され 次世代のデータセンターネットワークの基礎となるものです

2ネットワーク/システムアーキテクチャの設計

提案されたアーキテクチャは,RoCEv2輸送に最適化された高性能の葉骨トポロジーを採用しています.この設計の中心は,MCX653106A-HDAT イーサネット アダプタカードソリューション超高帯域幅接続を 提供するために 各サーバーノードに展開されています

建築層:

• 計算/保存ノード:各サーバーにはMCX653106A-HDAT ConnectX アダプター PCIe ネットワーク カード, 双ポート100GbE接続で構成されている.両ポートはアクティブ・アクティブモードで動作し,ハードウェアベースのロードバランスとファールオーバーで200Gb/sの総スループットを提供します.アダプターはPCIe4です.0 x16 インターフェイスは 32 GT/s の帯域幅を提供し,ホスト側でのボトルネックを排除する.
• 葉の層:NVIDIA Spectrum-4 スイッチは,低レイテンシーで損失のないイーサネット転送を,高度なRoCE認識の混雑制御 (PFC,ECN,DCQCN) で提供する.これらのスイッチは400GbEアップリンクをサポートし,繊維の可視性のための包括的なテレメトリを提供します.
• 脊髄層:高容量スピンスイッチは 400GbE アップリンクを通じてすべての葉ノードを相互接続し,決定的遅延でブロックしない,あらゆるものからあらゆるものへの通信を保証します.
• 管理とオーケストレーションNVIDIA DOCA と MLNX-OS は,統合管理,テレメトリ収集,構成オーケストレーション,および全スタックでゼロタッチプロビジョニングを提供します.

このアーキテクチャは,SR-IOVとeSwitchオフロードを通じてハードウェアベースのネットワーク仮想化を組み込む.性能を損なうことなく,効率的なマルチレンタ隔離のために,1つのアダプターあたり000個の仮想機能.

3NVIDIA Mellanox MCX653106A-HDATの役割と主要な特徴

についてNVIDIA メラノックス MCX653106A-HDATコンピューティング/ストレージリソースとネットワーク構造の間の重要なインターフェースとして機能する.その高度な機能セットは,全体的なアーキテクチャのパフォーマンスと効率の目標を可能にする:

報告書によると,MCX653106A-HDATデータシートアダプタはフルロードでわずか25Wしか消費せず,業界トップのパフォーマンス/ワットを提供します.MCX653106A-HDATの仕様詳細な高度テレメトリサポート,流量毎のパフォーマンスカウンター,レイテンシーヒストグラム,リアルタイム混雑検出を含む.積極的なネットワーク運用と容量計画に不可欠なすべてのもの.

4展開とスケーリングの推奨事項 (典型的なトポロジー)

生産を計画している組織では,NVIDIA メラノックス MCX653106A-HDAT次の段階的なアプローチが推奨されます.

試験検証の第1段階 (48ノード):RoCE 構成を検証し,DCB パラメータを微調整し,アプリケーションのパフォーマンスをベンチマークするために小さなクラスタから開始します.MCX653106A-HDAT ConnectX アダプター PCIe ネットワーク カード最新のNVIDIA OFEDドライバとDOCAソフトウェアスタックで PFC,ECN,DCQCNの設定をアダプターによって暴露されたテレメトリデータを使用して徹底的に検証します.

ステージ2 ポッド拡張 (2050ノード):完全なラックまたはポッドの構成にスケールする. 損失のないイーサネット構成のNVIDIA Spectrum-4葉スイッチを2つ展開する.ハードウェアベースの混雑管理を有効にし,ワークロード特有のQoSポリシーを構成する.MCX653106A-HDAT対応ソリューションの性質は,既存のサーバープラットフォームと Linux ディストリビューションとのシームレスな統合を保証します.

ステージ3 組織全体での展開 (100+ノード):リーフノードを相互接続するスイッチを搭載した複数のラックに展開する. 適応型ルーティングと混雑制御ポリシーを実装する. オーケストレーションのためにNVIDIA Unified Fabric Managerを活用する.自動プロビジョニング組織全体で監視する.

典型的なトポロジー説明:標準的なラック構成は20のコンピューティング/ストレージサーバーで構成され,それぞれに1つのMCX653106A-HDATポート1はリーフスイッチAと接続され,ポート2はリーフスイッチBと接続され,自動エラーオーバーで冗長なアクティブ・アクティブ・パスを提供します.リーフスイッチは400GbE経由でバックスイッチにアップリンクします.1 の CLOS 面料 を 形成 するこの設計により,単一のリンクまたはスイッチの故障がアプリケーションの可用性に影響を与えない.

総所有コストを評価する組織では,MCX653106A-HDAT価格CPUの節約 (通常はサーバ1台あたり4〜6コアリクレーム),アプリケーションの3×5×スループット増加,複数の25GbEリンクを統合する能力とともに考慮されるべきである.販売価格の割引は通常MCX653106A-HDAT 販売中NVIDIAスペクトルスイッチとDOCAソフトウェアのサブスクリプションを搭載するパッケージ.

5操作,監視,トラブルシューティング,最適化

高性能 RoCE 繊維の効率的な運用には,特殊な監視とトラブルシューティングの慣行が必要です.MCX653106A-HDATこれらの活動を支援するための包括的な機器を提供します.

• テレメトリ収集と可視化アダプタのハードウェアカウンタを使用して,各フローのスループット,キューの深さ,パケットドロップ,およびセカンド未満の粒度で遅延分布を監視する.標準的な監視プラットフォーム (プロメテウス) に輸出指標リアルタイムダッシュボードとアラート
• 交通渋滞の検出と管理PFCの停止フレーム,ECNマークされたパケット,およびバッファの占有を監視し,マイクロバーストとトラフィックホットスポットを特定し,ローカル化します.MCX653106A-HDATデータシートこれらのカウンタを解釈し,有意義な警戒値を設定するための詳細なガイドラインを提供します.
• ライフサイクル管理NVIDIA OFED ドライバスタックとアダプターファームウェアの定期的な更新は,パフォーマンス,セキュリティ,機能の向上のために不可欠です.大規模な展開におけるゼロタッチライフサイクル管理.
• 性能調整ガイドライン:主要なチューニングパラメータには,PFCバッファの限界値 (通常,1ポートあたり 2-4 MB),ECNマーク制限値 (キュー深さの80-90%),アダプター中断調節設定 (バランスレイテンシー対スループット),PCIe リンクの構成適切な設定は,特定のワークロードプロファイルとクラスタサイズに依存します.
• システム的なトラブルシューティング・フレームワーク:ほとんどのパフォーマンス問題は,DCBの誤った構成,MTUの不一致,ドライババージョンの互換性,またはケーブルの問題に起因する.アダプタの診断ツールセット (mstflint,ethtool,mlxconfig,mlxlink について,mlxband) は,運用状況,リンク状態,エラー統計,帯域幅利用に関する包括的な可視性を提供します.

6概要と価値評価

についてNVIDIA メラノックス MCX653106A-HDAT戦略的インフラ投資であり,複数の次元で変革的なビジネス価値をもたらします.

端から端までMCX653106A-HDAT イーサネット アダプタカードソリューション企業データセンターに展開されている場合でも,この技術が活用されるのは,クラウド サービス プロバイダーの環境特別研究施設やNVIDIA メラノックス MCX653106A-HDATネットワークアーキテクチャが次世代インフラストラクチャに要求するパフォーマンス,効率,インテリジェンスを一貫して提供します