NVIDIA Mellanox MQM8790-HS2F InfiniBand スイッチ テクニカル ソリューション

NVIDIA Mellanox MQM8790-HS2F インフィニバンド スイッチ 技術ソリューション RDMA/HPC/AI クラスターのための低遅延インターコネクト最適化

1プロジェクト背景と要件分析

人工知能 (AI) 訓練クラスタが数千台の GPUや高性能コンピューティング (HPC) システムへと拡大するにつれてコンピューティングノードを接続するネットワーク構造が重要なパフォーマンス決定因子になりましたこれらの環境では,レイテンシーは単なる指標ではなく,アプリケーションのパフォーマンス,解決までの時間,およびクラスタの全体的な効率に直接影響します.MPI (Message Passing Interface) の集合操作や,大型言語モデル訓練などの,すべて対すべて通信パターンに大きく依存するワークロード微秒レベルの遅延増加さえも,追加実行時間の時間に変換できます.RDMA over Converged Ethernet (RoCE) にも対応するこれらの要求の高いアプリケーションに要求される決定的な低レイテンシーと混雑のない操作を提供するためにしばしば苦労します.

この課題は3つの同時進行傾向によって強化されています まず AIモデルの拡大 (現在数兆のパラメータを超えています) は何千もの GPUの間で大規模な並行性を要求しています低レイテンシー変数で高出力を維持できる布が必要第二に,HPCとAIのワークロードの収束は,単一のファブリックがMPIベースの通信パターンとNCCLベースのGPU集合操作の両方を効率的にサポートしなければならないことを意味します.運用効率は,織物がスケールで管理可能である必要がある総合的なモニタリングと自動最適化機能低レイテンシー転送の高性能InfiniBandスイッチを活用する構造化技術ソリューションが必要ですネットワーク内コンピューティングの加速により,スケールで予測可能なパフォーマンスを提供します.

2ネットワーク/システムアーキテクチャの設計

提案されたアーキテクチャは,NVIDIA メラノックス MQM8790-HS2F葉層のスイッチで,大型繊維用より高いポート密度のスイッチ (例えば400Gb/s NDRの64ポートを持つQM9700シリーズ) に接続される.このアーキテクチャは,完全なバイセクション帯域幅で非ブロック通信をサポートするように設計されています.ワイヤの速度で他のノードと通信できます.

2,000ノードクラスターの典型的な展開では,アーキテクチャは以下のとおりである.

• 葉の層:20MQM8790-HS2F インフィニバンドスイッチ各ユニットは200Gb/s HDRで動作する40のQSFP56ポートを搭載する.各リーフスイッチは50のコンピューティングノードに接続する (QSFP56から2×QSFP56ケーブル経由で200Gb/sの直接接続と100Gb/sのHDR100のブレークアウトの組み合わせを使用).
• 脊椎層:4つのQM9700スイッチ (または同等の高密度スイッチ) は,それぞれ400Gb/sNDRの64ポートを備えて,葉間接続を可能にします.
• 計算ノード:各ノードには1つ以上のConnectX-6 HDRまたはConnectX-7 NDRアダプタが装備され,受動銅またはアクティブ光ケーブルを介して葉スイッチに接続されている.
• 管理ネットワーク:スイッチ管理のための別々のバンド外イーサネットネットワーク. NVIDIAのユニファイドファブリックマネージャ (UFM) プラットフォームと統合され,集中的なファブリックモニタリングと最適化が行われます.

建築はMQM8790-HS2F 200Gb/s HDR 40ポート QSFP56スイッチ1つあたり8Tb/sの総リーフスイッチ容量を提供するための構成.HDR100ブレークアウトの使用により,柔軟な接続オプションが可能になります.各200Gb/sポートは,単一の200Gb/sエンドポイントまたは2つの100Gb/sエンドポイントをサポートできます.異なるインターフェース速度を持つ異質なコンピューティングノードに対応する.

3NVIDIA Mellanox MQM8790-HS2Fの役割と主要な特徴

この建築の内部では,MQM8790-HS2FHPCとAIワークロードにとって不可欠な高度な機能をサポートしながら,低レイテンシーで高帯域幅の接続をコンピューティングノードに提供します.その主要な技術的特徴は,全体的なソリューションの成功に不可欠です:

• 100ナノ秒未満のポート対ポート遅延:遅延に敏感なMPI集団や全減算操作に不可欠な 決定的な低遅延を提供します
• 200Gb/s HDR InfiniBandのポート40個コンパクトな1U形式で8Tb/sの総スイッチ容量を提供し,ポート密度を最大化し,ラックスペース消費を削減します.
• SHARP (スケーラブル・ヒエラルキカル・アグリゲーション・アンド・リドクション・プロトコル) サポート:ネットワーク内の計算加速をMPI集合操作に可能にし,CPU/GPUから通信作業量の20%までをオフロードする.
• アダプティブルーティング:リアルタイムの混雑メトリックに基づいて,利用可能なファブリックパスの間で動的にトラフィックを分散し,スループットを最適化し,遅延差を最小限に抑える.
• 交通渋滞対策:ネットワークホットスポットが性能を低下させないようにするために,高度な混雑管理メカニズム (パケットレベル流量制御と混雑通知を含む) を実装する.
• HDR100 突破サポート:各200Gb/sポートを2つの独立した100Gb/sポートとして構成し,混合速度環境での展開柔軟性を提供します.
• 総合的な管理インターフェースIBTA対応のサブネット管理 (SM),SNMP,CLI,Web UI,および集中的なファブリック管理のためのUFMとの統合をサポートする.
• エネルギー効率:典型的な電力の消費量は 230W以下で,冷却要件が低くなり,PUEが向上する.

これらの特徴は,MQM8790-HS2F データシート詳細な性能曲線,熱仕様,およびラック配置ツールへの統合のための機械図を含む.

4展開とスケーリングの推奨事項 (典型的なトポロジー説明を含む)

初期展開では,ポッドレベルのアーキテクチャに基づいた モジュール式拡張戦略を推奨します.約400のコンピューティングノードをサポートし,完全なバイセクション帯域幅.MQM8790-HS2F インフィニバンドスイッチソリューションコンピューティング能力が増加するにつれ ポッドを追加することで 漸進的なスケーリングを可能にします 脊柱層は 統一されたファブリックのための ポッド間の接続性を提供します

単一のポッド (400のコンピューティングノード) の典型的なトポロジー:

• レフスイッチ:4 × MQM8790-HS2F,各ポートが 40 ポートで 200Gb/s. 各ページに 36 ポートがコンピューティングノード接続のために使用されます (HDR100 ブレイアウトを使用してページに 72 ノードまでサポートします).葉ごとに4つのポートが脊髄アップリンクに使用されます..
• 脊髄スイッチ:2 × QM9700 (または同等の64ポートNDRスイッチ),それぞれが400Gb/sアップリンク (QSFP56からQSFP-DDケーブルへの4×200Gb/sを使用) を通して4つのリーフスイッチすべてに接続する.
• 計算ノード:400ノード,それぞれが単一の200Gb/sまたは双重100Gb/s HDR100接続を通じてリーフスイッチに接続される.

単一のポッドを超えたスケーリング:

• 計算能力に応じて追加ポッド (それぞれ4枚のMQM8790-HS2Fスイッチ) を追加します.
• QM9700 または NDR スイッチを使用して,より高いレベルの脊椎 (超脊椎) 層を通してポッドを接続する.
• 繊維の一貫性を保ち,MQM8790-HS2Fすべての葉の位置で,全布に均等な遅延と管理を保証します.

導入する際にはMQM8790-HS2FHDR100 ブレイクモードでは,以下のケーブルガイドラインが適用されます.

2,000ノードを超える大規模ファブリックでは,導入前にトポロジー設計と混雑行動を検証するために UFMのファブリックシミュレーション機能を使用することを推奨します.

5運用と保守:監視,トラブルシューティング,最適化

MQM8790-HS2FベースのInfiniBandファブリックの運用ライフサイクルは,監視,トラブルシューティング,最適化に対する体系的なアプローチを必要とする.中央管理と監視ツールとしてNVIDIA UFMプラットフォームを展開することをお勧めします, 繊維の性能,遅延指標,混雑パターンのリアルタイム可視性を提供します.

追跡する主要な監視指標:

• ポートレベルの遅延:端から端までの遅延 遅延の限界を超えたポートの警報
• 生産量と利用量総量とポート毎のスループット,利用不足または過剰なリンクを特定する.
• 交通渋滞指標:パケットを落とす,フレームを一時停止し,渋滞の通知イベント
• 繊維の健康:接続状態,エラーカウンター,温度/電力のテレメトリ

共通の問題に対するトラブルシューティングプロトコル:

1. レイテンシー低下:UFMの遅延分析ツールを使用して,遅延が増加している特定のパスまたはポートを特定します.適応ルーティングの混雑または誤構成を確認します.
2. リンクの誤りや落とし:物理接続 (ケーブル,光学) とポートエラーカウンタを検査し,MQM8790-HS2Fに対応するケーブルと光学がMQM8790-HS2F 仕様.
3. サブネット管理の問題:サブネットマネージャー (SM) が実行されているか,ファブリックトポロジが正しく検出されているか確認し,SMの故障オーバー事件を確認する.

オプティマイゼーションの推奨事項:

• アダプティブルーティングチューニング:観測されたトラフィックパターンに基づいてルーティングアルゴリズムのパラメータを調整します. 製造組織に適用する前に異なるルーティングポリシーをシミュレートするためにUFMを使用します.
• 渋滞制御の設定:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• ファイアウェアとソフトウェアの更新:スイッチ・ファームウェアとUFM・ソフトウェアを定期的に更新して,パフォーマンス改善と新しい機能にアクセスしてください.
• 定期的な audits:ケーブル,電源,冷却の定期的な監査を実施し,規模での運用信頼性を確保します.

6概要 価値評価

についてNVIDIA メラノックス MQM8790-HS2FRDMA/HPC/AIクラスターにおける低レイテンシーインターコネクトの最適化のための総合的な,フィールド検証された方法論を提供します.スイッチの 40 ポートの 200Gb/s HDR InfiniBand を利用することでネットワーク内コンピューティングと適応型ルーティング機能組織は,管理を簡素化し,運用上のオーバーヘッドを削減しながら,スケールで予測可能なパフォーマンスを提供するファブリックを構築することができます.

比較可能な展開による主要な値指標には以下の通りがあります.

• 遅延を減らす100ナノ秒未満のポート・トゥ・ポート遅延で MPIの総完成時間は前世代の繊維と比較して 35%まで短縮されます
• 適用速度:SHARPのネットワーク内コンピューティングオフロードは,CPU/GPU通信オーバーヘッドを最大20%削減し,AIトレーニングエポック時間を25%~30%加速します.
• 繊維の効率性アダプティブルーティングと混雑制御は,変動する負荷下で一貫したパフォーマンスを維持し,パフォーマンス変動を最大60%削減します.
• 操作の簡素化UFMの統合により,包括的な可視性と自動化が実現し,織物事故のMTTRは最大50%削減されます.
• 費用効率:についてMQM8790-HS2F価格高いポート密度と組み合わせると,代替的なInfiniBandソリューションと比較して,ポートあたりコストが低く,ラックスペースと電力需要を削減します.

ネットワークアーキテクターやエンジニアリングのリーダー向けに,MQM8790-HS2Fは次世代 HPC と AI クラスタのためのスケーラブルで高性能な基盤を提供します.このソリューションは,特に大規模なGPU加速環境を展開している組織に推奨されています.標準的なHPCセンターが100Gb/sから200Gb/sにアップグレードしている.InfiniBandはNDR (400Gb/s) とXDR (800Gb/s) に進化し続けています.MQM8790-HS2FのHDR100のサポートは,既存のインフラストラクチャとの互換性を確保し,将来の速度への明確な移行経路を提供します..

詳細な織物設計テンプレート,性能調整ガイド,および展開チェックリストについては,MQM8790-HS2F データシートNVIDIA Mellanox InfiniBand アーキテクチャのドキュメントも提供しています