Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT サーバーアダプター 技術ソリューション

メラノックス (NVIDIA メラノックス) MCX631102AN-ADAT サーバーアダプター 技術ソリューション:RDMA/RoCE 低遅延輸送とサーバーのスループット強化 設計ホワイトペーパー

1プロジェクト背景と要件分析

現代のデータセンターは"コンピューティング中心"から"データ中心"のアーキテクチャへの根本的な変化を遂げています.リアルタイム分析プラットフォームこの文脈では,ネットワークアダプタはもはや受動的な接続性構成要素ではなく,アプリケーションの全体的なパフォーマンスの決定的要素です.カーネルバイパス制限とプロトコルスタックオーバーヘッドCPU サイクルの30%まで消費し,次世代ワークロードに必要なマイクロ秒レベルのレイテンシーとラインレートループットを提供できていない.

具体的には3つの相互に関連した課題が 建築の対応を必要としていますNVMe over Fabrics (NVMe-oF) を活用したストレージシステムでは,現代のフラッシュメディアを完全に利用するために,<100マイクロ秒>のアクセスレイテンシーが必要です.ネットワークによる遅延はストレージ性能を直接損なう.PyTorch や TensorFlow などの分散されたAIトレーニングフレームワークは,GPUクラスターの間で頻繁な全減算操作に依存しています3つ目は,仮想化とコンテナ化により,追加的なエンカプスレーションオーバーヘッドが導入される.スケールでのパフォーマンスを維持するためにスマートハードウェアのオフロードを必要とする.メラノックス (NVIDIA メラノックス) MCX631102AN-ADATサーバーアダプタはこれらの要件を直接に対応し 高性能で低レイテンシーなデータセンターネットワークの 特別な基盤を提供します

2ネットワークおよびシステムアーキテクチャの設計

提案されたソリューションは,ネットワークの能力を最大限に高めるために設計された2階層の骨組みネットワークアーキテクチャを採用しています.MCX631102AN-ADAT イーサネット アダプター カード葉層では,25GbE SFP28スイッチはToR (Top-of-Rack) 接続性を提供し,各葉スイッチは最大48ポートをサポートする.脊層は高容量100GbEスイッチで構成されています.ブロックしない接続性を提供するこのアーキテクチャは,RoCE v2 (RDMA over Converged Ethernet version 2) 輸送に最適化されています.アダプターのネイティブ・コングネクション・コントロール・メカニズムとPFC (プライオリティ・フロー・コントロール) 機能を活用して,損失のないネットワーク状態を維持する..

コンピュータとストレージのノードがMCX631102AN-ADAT ConnectX-6 Lx デュアルポート 25GbE SFP28アダプター,ポートをアクティブ・アクティブモードで設定して,高可用性と総50GbE帯域幅の両方を提供する.ホストサーバはPCIe 4.0 x8経由でアダプターとインターフェースを,バス帯域幅を十分に確保し,全線速運行を維持するソフトウェアの観点から,このアーキテクチャはNVIDIAのOFED (OpenFabrics Enterprise Distribution) ドライバースタックを組み込み,主流のオペレーティングシステムに最適化された RoCE サポートを提供します.ストレージノード,このアーキテクチャは,RoCE経由で直接アクセス可能なNVMe-oFターゲットを統合し,TCP/IP層をデータパスから完全に排除する.

3MCX631102AN-ADATの役割と主要な特徴

についてNVIDIA メラノックス MCX631102AN-ADATコンピューティングとストレージの両方の基礎的なネットワークインターフェースとして機能し,全体的なアーキテクチャ内で4つの重要な役割を果たします.ハードウェア加速ステアリングエンジンを活用して,すべてのパケットサイズでポート1口あたり 25GbEのラインレート処理量を提供します.MCX631102AN-ADATの仕様RoCE対応のスイッチと組み合わせると,1マイクロ秒未満のアプリケーション対アプリケーション遅延を示します.

第2に,アダプタはRDMAトランスポートエンドポイントとして機能し,メモリ登録,アドレス翻訳,完了処理を含むRDMAプロトコルスタック全体をホストCPUからオフロードする.このオフロードは,特にストレージワークロードに影響しています.ソフトウェアのみの実装と比較して,NVMe-oFイニシアターにおけるCPU利用量を約18%から3%未満に削減した.MCX631102AN-ADATは,VXLANとNVGREのためのハードウェアベースのオーバーレイオフロードを提供します.仮想化されたネットワークエンカプスレーションがパフォーマンスを低下させないことを確保する.これはクラウドネイティブの展開にとって重要な利点です.アダプタが SR-IOV (シングルルート I/O 仮想化) をサポートするポートごとに最大256つの仮想機能を可能にし,処理量を損なうことなく,効率的なマルチレンタ隔離を可能にします.MCX631102AN-ADAT イーサネット アダプタカードソリューションNVIDIAのGPUDirect Storage技術とシームレスに統合され,GPUメモリとネットワーク上のリモートNVMeストレージデバイスの間の直接データ移動が可能です.

次の表は,ソリューションアーキテクチャに関連する主要な技術仕様を要約しています.

4典型的なトポロジーによる展開とスケーリングの推奨事項

グリーンフィールドの展開では,三階層のスケーリングアプローチを推奨します. ベースレベル (16~32ノード) では,単一のリーフスイッチクラスタがすべてのコンピューティングとストレージノードをホストできます.各ノードにMCX631102AN-ADATが搭載され,両方のポートが同じリーフスイッチに接続され,リンクアグリゲーションを行う.中等レベル (64~128ノード) では,アーキテクチャは2階層の脊葉設計を採用する必要があります.各ノードのダブルポートが異なるリーフスイッチに接続され,パフォーマンスと回復力を兼ね備えています企業規模 (256+ノード) で,このソリューションは,専用のRoCEファブリックセグメンテーションを備えた3階層のアーキテクチャを展開することを推奨しています.ネットワーク層のコンピューティングトラフィックからストレージトラフィックを隔離する活用するMCX631102AN-ADATに対応するNVIDIA Spectrumと第三者の25GbEスイッチの両方で自然に使用できます

このアダプタは,ブラウンフィールド環境では,10GbE SFP+ オプティックとケーブルとのシームレスバックバック互換性を提供し,組織が漸進的に移行できるようにします.MCX631102AN-ADAT データシートDell PowerEdge,HPE ProLiant,Supermicro SuperServerファミリーを含む主要なサーバープラットフォームの詳細な互換性マトリックスを提供します.アダプタの展開は,すべてのノードが一貫した RoCE 動作のために同じ最小のファームウェアバージョンを実行することを確保するために,ファームウェアの更新と連携する必要があります.システム再起動の設定を維持するためにアダプタの EEPROM ベースの設定持続性を使用することをお勧めします.

5操作,監視,トラブルシューティング,最適化

についてMCX631102AN-ADATNVIDIA の MLNX_OFED ツール を使って,包括的なテレメトリと管理機能を提供します.監視のために,以下の運用慣行を導入することをお勧めします.ハードウェアベースの流量カウンタが各列の利用率を監視し,ホットスポットを特定できるようにします.mlx5_core についてPrometheus や他の TSDB ソリューションと統合できます.アダプターのPFC (プライオリティフローコントロール) 監視を利用して,アプリケーションのパフォーマンスに影響を与える前にネットワークの混雑を検出し,修復する第3に,アダプターの温度と PCIe リンクの状態の 限界値に基づくアラートを導入し,ハードウェアの劣化を予防的に特定する.

アダプターの高度な診断機能は,ポートごとにループバックテスト,リンクトレーニングログ,および中断合流統計を含む故障排除のために,パフォーマンス問題への詳細な可視性を提供します..初期展開中に 標準的な動作の基準を設定し 平均の遅延,スループット,CPU利用量などの キーメトリックを把握することをお勧めします将来の比較に参考になる評価する際にはMCX631102AN-ADAT価格経営のコストを削減し,問題解決のワークフローを簡素化することで得られる運用上の節約を組織が説明すべきです.

効率化戦略についてMCX631102AN-ADAT イーサネット アダプター カード3つの領域に焦点を当てる必要があります.ホスト構成では,PCIe最大ペイロードサイズを512バイトに調整し,遅延とCPU効率をバランスするために中断調節を有効にします.ネットワークでは,PCIeの最大ペイロードサイズを512バイトに調整し,PCIeの最大ペイロードサイズを512バイトに調整します.すべてのスイッチとアダプターでPFC優先順位を一貫して設定します.RoCEトラフィックに優先順位3と管理トラフィックに優先順位0を指定することをお勧めします.. アプリケーション層では,RDMAキューの深さをワークロードの特徴に調整します.より深いキューは,スループット密度の高いストレージワークロードに利益があります.浅いキューでは,敏感なトランザクション処理の遅延を減らす.. 詳細なMCX631102AN-ADATの仕様これらのパラメータを異なるOSプラットフォームで調整するための具体的なガイドラインを提供します.

6概要と価値評価

についてメラノックス (NVIDIA メラノックス) MCX631102AN-ADAT現代のデータセンターのネットワークにおける根本的な課題に対応するアーキテクチャソリューションを提供します.マイクロ秒スケールでの遅延,ハードウェア加速RDMA輸送,恒常的な25GbEのスループットで,ホストCPUのオーバーヘッドを削減します.. コンピューティング,ストレージ,AIワークロードのための統一ネットワークインターフェースとして機能することで,アダプターはパフォーマンスを向上させながらインフラストラクチャを簡素化します.MCX631102AN-ADAT イーサネット アダプタカードソリューションネットワーク関連CPU消費を約80%削減し,ストレージアクセス遅延を80%以上改善しますハードウェアベースの混雑管理により,異なる負荷条件下で予測可能な性能を提供します..

ビジネス価値の観点からアダプターは,既存の25GbEスイッチ投資を最大限に活用し,40GbEまたは100GbEソリューションでしか達成できなかったパフォーマンスを提供します..MCX631102AN-ADAT 販売中評価は12~18ヶ月以内に一貫してポジティブなROIを示し,サーバー数の要求が減少 (ノードあたりの効率が高くなるため) と運用上のオーバーヘッドが低いことが原因です.データセンターのネットワークを構築または近代化する組織のためにMCX631102AN-ADATは,単なる段階的なアップグレードではなく,ネットワーク基盤の効率の根本的な向上です.