AI大型モデル訓練をサポートするMellanoxネットワークアーキテクチャの分析

日付:2023年11月18日

人工知能モデルが 大きさと複雑さで指数関数的に成長するにつれて 数千台のGPUを繋ぐネットワーク構造は 訓練効率の決定的要因となっていますメラノックス インフィニバンド現代のAI超コンピューティングクラスターの基礎となる技術として登場し 広範囲にわたる通信のボトルネックを克服するために 特別に設計されています人工知能モデル訓練この記事では,InfiniBandを世界の最も要求の高いAIワークロードを加速するための事実上の標準にするアーキテクチャの革新を解体します.

現代人工知能モデル訓練,例えばLarge Language Models (LLM) のように,モデルパラメータが各ミニバッチのデータを処理した後,何千もの GPU で同期されるデータ並行戦略に依存する.この同期段階に費やされた時間標準的な低コストでGPUネットワークこの通信オーバーヘッドは,トレーニングサイクル全体の50%以上を消費し,全体的なGPU利用率を大幅に削減し,インサイトまでの時間を数週間から数ヶ月まで延長します.ネットワークはもはや単なるデータパイプではありません計算のコア構成要素である.

メラノックス インフィニバンドこのボトルネックを ハードウェアベースの加速エンジンで正面から解決し ネットワークを被動的な参加者から 活発な計算資産に変えます

• SHARP (スケーラブル・ヒエラルキカル・アグリゲーション・アンド・リドクション・プロトコル):この革命的な技術は,InfiniBandスイッチ内で直接アグリゲーション操作 (例えば,和,平均) を実行します.すべてのグラデントデータを各GPUに送る代わりに,SHARPはネットワーク構造のデータを減らす通信量と同期に必要な時間を大幅に削減し,集団操作を最大50%まで加速することができます.
• アダプティブルーティングと混雑制御:InfiniBandのダイナミックルーティング機能は 交通を自動的に 混雑したホットスポットに 導きますネットワーク構造の均等な利用を保証し,すべてのものとのコミュニケーションの激しい段階において,単一のリンクがボトルネックになるのを防ぐ.
• 超低遅延と高帯域幅:600ナノ秒未満の端から端までの遅延と 400Gb/s以上に対応しますメラノックス インフィニバンドGPU間のほぼリアルタイムパラメータ交換に必要な原始速度を提供します.

InfiniBandのアーキテクチャの利点は,大規模なAIワークロードを実行する企業にとって優れたビジネスと研究成果に直接変換されます.

この指標は,最適化されたGPUネットワーク戦略は贅沢品ではなく 何百万ドルのAIクラスター投資で 実行可能な ROIを達成するための必要性です

AI研究における汎用データセンター設計の時代は終わりに近づいています人工知能モデル訓練GPUのコンピューティング能力が,スマートで加速されたネットワーク化によって対応する共同設計方法が必要です.メラノックス インフィニバンド通信コストを最小限に抑え, GPUの利用を最大化することで, InfiniBandアーキテクチャはこれまで不可能だった規模でこれは次世代の人工知能の 突破の不可欠な基盤です