メラノックス (NVIDIA メラノックス) 920-9B210-00FN-0D0 インフィニバンドスイッチ技術ソリューション

メラノックス (NVIDIA メラノックス) 920-9B210-00FN-0D0 インフィニバンド スイッチ 技術ソリューション

1プロジェクト背景と要件分析

現代のAIトレーニングフレームワークとHPCアプリケーションは,コンピューティング密度だけではなく,ネットワーク相互接続性能によってますます制限されています.広範囲にわたる言語モデルを使用する職業は,従来のイーサネットファブリックを圧倒する同期された全削減および全対全トラフィックパターン. 企業展開で特定された主要な要件には,以下の通りがあります.通信オーバーヘッドを最小限にするために,微秒未満のスイッチ遅延過剰購読をなくすため,インカスト・バーストを処理するための高度な混雑制御RDMAをコンバージェッドイーサネット (RoCE) またはネイティブInfiniBandエコシステムでシームレスに統合するさらに 運用チームは 積極的に欠陥を検知し,数百の港で管理を簡素化するために 深いテレメトリを要求しています

2ネットワーク/システムアーキテクチャの設計

提案されたアーキテクチャは,GPUを中心としたワークロードのために設計された2階層のリーフ・脊柱トポロジーに焦点を当てています.リーフ層では,各ラックにメラノックス (NVIDIA メラノックス) 920-9B210-00FN-0D0トップ・オブ・ラック (Top-of-Rack) スイッチとして,400Gb/s NDRリンクを通じて最大40のコンピューティングノードに接続する.920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRスイッチは 4:1のオーバーサブスクリプションでフルメッシュ接続を可能にし,十分なスピンポートで展開された場合,完全にブロックしない.このデザインは1つのファブリックドメインで最大512のGPUノードをサポートしますNVIDIAのUFM (Unified Fabric Manager) を介して相互接続された複数のサブネットを通じて水平にスケールするオプションがあります.

このアーキテクチャは,NVIDIAのSHARPv3 (スケーラブル・ヒエラルキカル・アグレゲーション・アンド・リドクション・プロトコル) ネットワーク内コンピューティングエンジンを利用し,集合操作を直接スイッチASICにオフロードする.これは,CPU/GPUメモリバスを通過するデータの量を削減し,ソフトウェアベースのアプローチと比較して 40% までの集合操作遅延を削減します.920-9B210-00FN-0D0 インフィニバンドスイッチ OPNまた,アダプティブルーティングもサポートしており,パケットごとに最低の混雑路を動的に選択し,不対称なトラフィック負荷下ででも最適な帯域幅利用を保証します.

3解決策における920-9B210-00FN-0D0の役割と主要な特徴

についてNVIDIA メラノックス 920-9B210-00FN-0D0相互接続構造全体の基礎構成要素として機能する.その主な役割は以下の通りである.

• 高密度アグリゲーションこのスイッチは,最大64のブロックしない400Gb/sポートを2U形状で提供し,合計スイッチ容量は25.6Tb/sです.この密度は,ラックごとに必要なスイッチの数を削減します.ケーブルを簡素化し,ポート毎の電力消費を削減する.
• 超低遅延スイッチングこのスイッチは,すべてのパケットサイズで600ns未満の遅延を維持し,オンライン推論や金融HPCなどのテール遅延に敏感なアプリケーションにとって重要です.
• ネットワーク内コンピューティング:SHARPv3の統合により 集団作業のハードウェア加速が可能になり 組織全体にわたる移動数を削減し 全体の作業完了時間を最大30%向上させます
• 先進的なテレメトリと混雑制御スイッチは,各流れの可視性を提供し,ホスト側調整のために混雑したストリームをマークし,初期ホットスポットの早期警告を可能にします.

報告書によると,920-9B210-00FN-0D0 データシート,スイッチは銅と光学QSFP-DDトランシーバーの両方をサポートし,920-9B210-00FN-0D0対応するほとんどのデータセンターの既存のケーブルインフラストラクチャと,フロント・トゥ・バック・エアフローと冗長な電源が,企業環境での高可用性を保証します.

4展開とスケーリングの推奨事項 (典型的なトポロジー)

128つのGPUノードのグリーンフィールド展開では 4つのリーフスイッチと 2つのスピンスイッチで 2階建てのアーキテクチャを推奨します4x400Gb/s アップリンクを介して各葉に接続遅延感のあるアプリケーションや高帯域幅アプリケーションでは,1:1 ブロックしないデザインは,脊髄数を4に増加することによって達成できます.ダウンリンクのポートに匹敵する アップリンクの総容量

512ノードを超えたスケーリングは,複数のサブネットにファブリックを分割する必要があり,それぞれがUFMによって異なるファブリックアイランドとして管理されます.サブネット間の通信は,NVIDIAのQuantum-2ゲートウェイまたはホストベースのルーティング経由でルーティングすることができます.性能に敏感なワークロードでは,可能な限り単一のサブネット内で組織を維持することが推奨されている.920-9B210-00FN-0D0 仕様これらの大規模なトポロジーをサポートし,パスリルーティングイベント中にパケットの落下を防ぐために,内蔵フロー制御と優先度ベースのフロー制御 (PFC) を備えています.

物理ケーブルを計画する際には,ケーブル密度を減らすために脊葉接続のためにMPOからQSFP-DDのブレイクアウトケーブル,または3メートル以上の距離のためのアクティブオプティカルケーブル (AOC) を使用することを検討してください.920-9B210-00FN-0D0 販売中通常は包括的なアクセサリーキットを含んでいますが,リンクトレーニングの問題を避けるために,ベンダーの互換性マトリックスを通じて第三者のトランシーバー互換性を検証することをお勧めします.

5操作,モニタリング,欠陥診断

運営の卓越性は920-9B210-00FN-0D0 インフィニバンドスイッチ OPN ソリューション. スイッチは,NVIDIAのUFMプラットフォームとシームレスに統合され,以下の機能が提供されます.

• リアルタイムの繊維の健康監視リンク状態,温度,電力の消費量,ポート毎のエラーカウンター (CRC,シンボル,アライナメントエラー) のダッシュボード.
• 予測的失敗分析UFMの機械学習モデルでは 機能不全やリンクの劣化が 機能不全の原因になる前に 積極的に認識します
• 自動トラブルシューティング:このシステムは,トラフィックをリルーティングしたり,欠陥のあるリンクを隔離したりなど,修正措置を推奨し,解消までの平均時間 (MTTR) を大幅に短縮します.

先進的な診断のために,スイッチはsFlowとポートミラーリングをサポートし,プロトコルレベルのデバッグのために深いパケット検査を可能にします. チームは詳細にアクセスすることもできます.920-9B210-00FN-0D0 仕様バッファの限界値と推奨設定,特にInfiniBand/Ethernet混合環境で使用される場合 RoCEv2トラフィックを調整する.性能調整は,適応型ルーティングの限界値と SHARPv3の集積間隔に焦点を当てなければならない.例えば,作業負荷の段階ごとに調整できる訓練と推論です.

UFMのローリングアップグレード機能を使用して最小限の障害で実行される 固件ソフトウェアの更新が含まれます信号の整合性を保つために光学コネクタを定期的に清掃するスイッチの冗長電力とファンモジュールは,動作中にホットスワップ交換を可能にします.

6概要 価値評価

についてメラノックス (NVIDIA メラノックス) 920-9B210-00FN-0D0AIとHPC投資の完全なパフォーマンスを解き放つことを目指す組織のための包括的なソリューションです. 400Gb/sのNDR速度,ネットワーク内コンピューティング,交通渋滞の管理を拡張性のあるプラットフォームで,今日のデータセンターが直面する最も緊急な相互接続課題に対応しています.説明されたアーキテクチャは,128ノードパイロットクラスターから2,500ノードまでの実証された経路を提供します.超計算機用織物管理を簡素化し,所有総コストを削減する運用ツールです.

評価する際には920-9B210-00FN-0D0価格長期的価値を考えます. 作業完了時間が短縮され,クラウドコストが低減したり,オンプレミスのワークロードのインサイトがより早くなります.920-9B210-00FN-0D0 インフィニバンドスイッチ OPN ソリューションNVIDIAのグローバルサポートネットワークと広範なパートナーエコシステムによってサポートされ, 組織が今後数年間にわたって 自信を持ってインフラを展開,スケール,最適化できるようにします.

詳細な計画については,公務員にご相談ください920-9B210-00FN-0D0 データシートそして920-9B210-00FN-0D0 仕様機械図,熱プロファイル,性能基準を含む文書