RDMA/RoCE 低遅延トランスポートとサーバー スループットのブレークスルー

急速に成長するAI研究室は 馴染みのある問題に直面していました 100GbEのインフラストラクチャは ワイヤーレート帯域幅を 提供していましたが アプリケーションの遅延は 頑固に高かったのです分散型訓練職は頻繁にネットワークの緊張に苦しんでいた,およびNVMe-over-Fabricsストレージアクセスは予測不能な遅延を加えました. 根本的な原因は? 従来のTCP/IPスタックは,パケット処理だけでCPUコアの約30%を消費しました.実際のワークロードの計算を減らすチームには,ホストCPUを負担することなくデータを移動する根本的な変化が必要でした.メラノックス (NVIDIA メラノックス) MCX653105A-HDATサーバー NIC

実験室ではMCX653105A-HDATコンピュータ・ノードが 24 つあり,それぞれが 100GbE 接続の 2 つのポートを備えています.MCX653105A-HDAT ConnectX アダプター PCIe ネットワーク カード,ハードウェアオフロード RoCE (RDMA over Converged Ethernet) をサポートし,データがカーネルをバイパスしてメモリ領域間で直接移動することを可能にしました. 構成プロセスは簡単でした:確認した後にMCX653105A-HDAT対応サーバー (Supermicro と Dell PowerEdge) のエンジニアは最新のMLNX_OFEDドライバをインストールし,DCQCN混雑制御でRoCEを有効にしました.MCX653105A-HDAT イーサネット アダプター カードソフトウェアのオーバーヘッドをゼロに減らしました コンピュータは

ストレージトラフィックのために,チームはRDMA上で NVMe名域を直接マッピングしました.NVIDIA メラノックス MCX653105A-HDATハードウェアベースのステアリングは,コンピューティングとストレージの流れの隔離を保証した.MCX653105A-HDATデータシート200Gb/sの総処理速度に対応し,実用的には,完全な負荷下で単一のパケットを落とさずにポート1口あたり100GbEのラインレートを達成しました.

• 端から端までの遅延が50%減少しますMPIの乒乓球テストは2.8μs (TCP) から1.4μs (RoCE) に低下した.
• CPU利用率70%削減ネットワークスタック処理は完全にハードウェアに移行し モデルトレーニングのためのコアを解放しました
• ストレージIOPSは2倍になりましたRDMA上のNVMe-oFはソフトウェアブリッジを排除し,小ブロックアクセスの遅延を10μs以下に押し込んだ.

テスト結果も確認しましたMCX653105A-HDATの仕様PCIe 4.0 x16 インターフェース,ダブルスロット熱設計,RoCE 混雑通知の完全なサポートMCX653105A-HDAT価格サーバーの分散を削減し,ワークロード密度を向上させることで,3ヶ月以内に自社に支払った.MCX653105A-HDATを販売する認証された販売業者から複数の構成オプション (シングルポート,ダブルポート,安全ブートまたは無) を見つけました.

この展開は,NVIDIA メラノックス MCX653105A-HDATネットワーク処理をハードウェアに移動し,真のRDMA/RoCEを可能にすることで,組織は,フォークリフトのアップグレードなしで,CPUに縛られたネットワークから解放することができますAIのトレーニング,分散型データベース,またはハイパーコンバージェージドストレージをMCX653105A-HDAT ConnectX アダプター PCIe ネットワーク カード次のインフラストラクチャのリフレッシュを計画するチームのために,MCX653105A-HDATデータシートそしてMCX653105A-HDATの仕様アダプターは広く使用されています.MCX653105A-HDATを販売するグローバルディストリビューターを通じて,そして主要なサーバープラットフォームとの互換性により,シムな移行経路が確保されます.MCX653105A-HDAT イーサネット アダプター カード100GbEのファブリックをボトルネックから 性能倍数に変えました"