AIトレーニング加速ソリューション: Mellanox DPU と GPU クラスタの統合

人工知能のモデルが 大きさと複雑さにおいて 指数関数的に成長するにつれて 伝統的なデータセンターアーキテクチャは限界に達しています人工知能の訓練効率的なGPUネットワーク戦略的統合の仕組みについて説明します.メラノックス DPU(データ処理ユニット) は,GPUクラスター内の重要なボトルネックに対処し,ホストのCPUオーバーヘッドをオフロードし,大規模なAIワークロードのための新しいレベルのスケーラビリティと効率をロックします.

トリリオンパラメータモデルの時代は, GPU クラスタを現代 AI のエンジンとしてしっかりと確立しました.しかし,クラスタが数千の GPU に拡大するにつれて,新しい問題が出てきます.ホストサーバのCPUはデータ移動で圧倒されるこのオーバーヘッドにはネットワーク,ストレージ I/O,セキュリティプロトコル,サーバーのCPUサイクルの30%以上を消費できますこの非効率性は,訓練時間と所有総コスト (TCO) を直接増加させます.

大規模生産における主要なボトルネック人工知能の訓練データパイプラインのシステム的な非効率性です.主な課題は以下です.

• CPUの空腹状態:ホストCPUは,ネットワークスタック (TCP/IP),ストレージドライバ,仮想化管理に詰め込まれ,AIフレームワークにリソースが少なくなっています.
• I/Oボトルネック膨大なデータセットをストレージからGPUメモリに移動すると,PCIeバスとネットワークに混雑が発生し,GPUのイオンタイムが生じる.
• セキュリティ上のコスト:マルチレンタ環境では,暗号化とセキュリティポリシーを適用することでホストCPUにさらなる負担がかかります.
• 効率が悪いGPUネットワーク:集団コミュニケーションの操作 (All-Reduceのような) はソフトウェアで処理され,同期トレーニングを遅らせる遅延と緊張が生成されます

これらの課題は 高価なGPUがデータを待っていて AIインフラストラクチャの全体的な利用率と ROIを劇的に低下させるシナリオを生み出します

についてメラノックス DPU(現在はNVIDIAのBlueField製品ラインの一部) は,これらのインフラストラクチャのボトルネックに対処するために特別に設計された革命的なプロセッサです.これは単なるネットワークインターフェースカード (NIC) ではなく,強力なARMコアと特殊加速エンジンを含む完全プログラム可能なシステム・オン・チップ (SoC) です.各サーバーにDPUを展開することで,組織はハードウェア加速インフラストラクチャ層を作成できます.

• インフラストラクチャのオフロード:についてメラノックス DPUネットワーク,ストレージ,セキュリティのスタックをホストCPUからオフロードする.これはTCP/IP,NVMe over Fabrics (NVMe-oF),暗号化,ファイアウォール機能を含む.これはAIアプリケーション専用のCPUコアを"解放"します.
• 速速通信DPUにはハードウェアオフロードされたリモート・ダイレクト・メモリー・アクセス (RDMA) が搭載されており,GPUは極低のレイテンシーでネットワーク上の他のGPUのメモリに直接アクセスできる.高性能の基石GPUネットワーク.
• 拡張可能性ホストCPUがインフラストラクチャの義務から解放された場合,クラスタをスケーリングすることはCPUオーバーヘッドの線形的な増加につながらない.これは,より効率的で予測可能なスケーリングを大量ノード数に可能にします..
• ゼロ・トラストセキュリティDPUは,ハードウェアから隔離されたルーツ・オブ・トラスト,キー管理,およびDPU自体に隔離された環境でセキュリティアプリケーションを実行する能力を提供することによって",ゼロ・トラスト"セキュリティモデルを可能にします.宿主から分離.

統合するメラノックス DPU主要なパフォーマンス指標の間で即時で測定可能な改善をもたらします.以下のデータは業界基準値と実用的な導入に基づいています.

モデル化時間が短く クラウド/コンピューティングコストが低く同じインフラストラクチャの足跡の中で より複雑な問題に対処する能力.

AIの経路は明らかです モデルが成長し続け クラスタがさらに分散するでしょうインフラの問題により多くのCPUを投げるという伝統的なアプローチは持続不可能です.メラノックス DPU基礎的なアーキテクチャの変化を表し GPUクラスタが前例のないパフォーマンスと効率を達成できるように 専用で加速したインフラストラクチャを 構築しますAIの研究開発における競争力を維持したい組織にとって重要な要素です.