メラノックス (NVIDIA メラノックス) MCX623106AN-CDAT サーバーアダプタ 動作中

メラノックス (NVIDIA メラノックス) MCX623106AN-CDAT サーバーアダプタ 動作中です

大規模なインターネット会社の 弾性的な裸金属とAI推論のハイブリッド展開シナリオではネットワークレイテンシーとCPUオーバーヘッドは GPU利用率とストレージパフォーマンスをスケーリングする上で重要な障壁となりました. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureこのケーススタディは,MCX623106AN-CDATNVIDIA メラノックス (NVIDIA Mellanox) はこれらの課題に対処し ネットワーク構造を真のコンピューティング加速器に変えました

背景と課題: 25G NIC が限界に達したとき

生産環境は,1200以上のコンピューティングノードで構成され,2つの可用性ゾーンに分かれ,オンライン推論サービス,オフラインAIトレーニング,分散オブジェクトストレージの組み合わせを実行していました.既存の25Gイーサネットアダプター基本接続には十分でしたが,同時作業負荷で苦労しました.主な痛みは:

• 高CPU利用率: ソフトウェアベースのTCP/IPスタック処理は,ピークのI/Oバースト中にストレージノード上のCPUコアの35%まで消費する.
• 不一致の遅延:分布式全減速操作の尾延期 (p99) は50μsを超えており,パラメータ同期中にGPUの利用不足を引き起こす.
• 貯蔵ボトルネック: NVMe-oF トラフィックがLossy Ethernet上でパケットドロップに苦しんでおり,実質的なスループットをほぼ40%低下させた再送信を引き起こしました.

独自のInfiniBandと競合する25G NICを含む複数の代替案を評価した後,チームはNVIDIA メラノックス MCX623106AN-CDATハードウェアベースのRoCEv2加速,プログラム可能なデータ経路,および幅広いプラットフォーム互換性のユニークな組み合わせ.

解決策と展開方法

展開戦略は3つの柱に焦点を当てました.RDMA/RoCEの有効化,スマートオフロードアクティベーションそして艦隊の漸進的な移動. 各コンピューティングノードは1つを受け取ったMCX623106AN-CDAT イーサネット アダプター カード25G基幹の銅/ファイバーインフラストラクチャを変更することなく,以前の世代のNICを置き換える.

構成の観点から チームはMCX623106AN-CDAT データシート次のパラメータを調整する:

• RoCEv2 PFC (優先流量制御) の設定: ストレージ (NVMe-oF) とAIの集団通信のために,専用損失のないトラフィッククラスが定義され,ベスト・エフフォアトラフィックは別々の損失のキューに留まりました.
• ハードウェアのオフロードが有効: VXLAN/NVGRE トンネルオフロード,チェックサムセグメンテーション,および LRO (Large Receive Offload) は,パケット毎のCPU介入を減らすためにアクティベートされた.
• DPU対応のプログラム可能性: ASAP2 を使用して,チームは軽量なフロールールを展開し,カーネルネットワークスタックを完全に回避して,ストレージトラフィックを直接NVMe-oFのターゲットエンドポイントに誘導しました.

互換性の検証は簡単でした.MCX623106AN-CDAT対応このリストは,すべてのサーバーモデル (Dell PowerEdge R750 と Supermicro Ultra シリーズ) をカバーし,既存の Red Hat OpenShift と Ubuntu ベースのノードでは新しいドライバが問題なく採用されました.

結果 と 測定 できる 益

コンピュータ・フロート全体の40%に生産展開を3週間後,パフォーマンスの向上はすぐに目に見えました.以下の表は,その前後の主要指標を要約しています.

定量的な改善に加えて エンジニアリングチームは 運用安定性の質的な変化を報告しましたハードウェアベースのPFCとECN (Explicit Congestion Notification) メカニズムは,ストレージトラフィックが実質的に損失のない状態を維持することを確保しましたさらに,SLA に影響するリトランスミッションの嵐を排除する.MCX623106AN-CDAT ConnectX アダプタ PCIe ネットワーク カード区間間の複製トラフィックで IPSec 暗号化を処理し,セキュリティチームに専用の暗号化装置を導入せずにゼロ・トラストポリシーを執行できるようにします.

概要 と 未来 の 見方

この展開は,MCX623106AN-CDAT イーサネット アダプタカードソリューションNICのアップグレードではなく,近代的なデータセンターアーキテクチャの戦略的支援です. ハードウェア加速 RoCEv2を組み合わせることで,柔軟なプログラム可能性,そして包括的な卸荷能力標準Ethernetファブリックを低レイテンシーで高効率なインフラストラクチャ層に変換しますIT組織は,現在,残りのすべてのノードに展開を拡大することを計画しており,MCX623106AN-CDATの仕様次の世代の50G Spine-Leaf 設計のために

インフラストラクチャアーキテクトとITマネージャーは,同様のパフォーマンス上限に直面していますMCX623106AN-CDAT優れた建築家の一人が指摘したように"前回の25GNICよりも CPUコストの半分で 遅延が良くなり レイクを再接続する必要もなかった"ワタシとMCX623106AN-CDAT対応競争力MCX623106AN-CDAT価格このアダプタは,作業負荷がAIトレーニング,分散型ストレージ,またはリアルタイム分析であるかどうかにかかわらず,25G RoCE展開のデフォルト選択になる可能性があります.