メラノックス (NVIDIA メラノックス) MQM8790-HS2F インフィニバンドスイッチ技術ソリューション

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBandスイッチ 技術ソリューション | RDMA/HPC/AIクラスター向けの低遅延インターコネクト最適化

プロジェクトの背景と要件分析

AI大規模モデルのトレーニングやHPC科学計算がより大規模になるにつれて、コンピューティングクラスターの主な課題は、単一ノードのコンピューティングパワーからノード間通信の効率へと移行しました。RDMAネットワークは、集合演算、ストレージアクセス、チェックポイントトラフィックのトランスポートバックボーンとして機能し、その動作がクラスター全体の利用率を直接決定します。

これらのプロジェクトにおける一般的な要件は次のとおりです。

• ノードあたりの高帯域幅: GPUサーバーは、マルチGPUトレーニングワークロードに追いつくために、ますます200Gb/s以上の帯域幅を必要としています。
• 予測可能な低遅延: AllReduceおよびパラメータ同期は、平均遅延だけでなく、テール遅延に敏感です。
• スケーラビリティ: ファブリックは、トポロジーを再設計することなく、数十ノードから数百または数千ノードに拡張する必要があります。
• 管理性: 運用チームは、遅いノードや設定ミスのあるリンクを特定するために、テレメトリと輻輳の可視性を必要とします。

MQM8790-HS2Fは、200Gb/s HDR InfiniBandスイッチプラットフォームとして、これらの要件に対応するように位置付けられています。

全体的なネットワークおよびシステムアーキテクチャ設計

推奨されるアーキテクチャは、ノンブロッキング2層ファットツリーであり、MQM8790-HS2Fスイッチで構築されたスパイン層と、コンピューティングおよびストレージノードを接続するリーフ層を備えています。この設計は、均一な東西帯域幅と予測可能なパス多様性を提供し、RDMAトラフィックパターンに不可欠です。

主なアーキテクチャ上の決定事項は次のとおりです。

• エンドツーエンドHDR: ConnectX-6またはConnectX-7アダプターを搭載したコンピューティングノードは、200Gb/sでリーフスイッチに接続され、MQM8790-HS2F互換のエンドツーエンドパスを形成します。
• スパイン容量: 各MQM8790-HS2F 200Gb/s HDR 40ポートQSFP56スイッチは、200Gb/sで40ポートを提供し、オーバーサブスクリプションターゲットに基づいた柔軟なアップリンクおよびダウンリンク割り当てを可能にします。
• ストレージファブリック: 並列ストレージおよびNVMe-over-Fabricsターゲットは、ストレージトラフィックをトレーニングトラフィックから分離するために、専用のリーフグループに配置できます。
• 管理プレーン:帯域外管理とテレメトリ収集は、干渉を避けるためにデータプレーンから分離されます。

Mellanox (NVIDIA Mellanox) MQM8790-HS2Fの役割と主な機能

このソリューションでは、Mellanox (NVIDIA Mellanox) MQM8790-HS2Fはスパインスイッチング要素として機能し、リーフトラフィックを集約し、インネットワークコンピューティングを可能にします。その役割は転送に限定されません。集合通信のオーバーヘッドを削減し、ファブリックの効率を向上させます。

主な技術的特徴は次のとおりです。

• 40 × 200Gb/s HDRポート: 1Uフォームファクターで最大16Tb/sの集約スループット、HDR、EDR、およびFDR速度への適応サポート。
• SHARPインネットワークコンピューティング: AllReduceおよび関連する集合演算をスイッチにオフロードし、GPUとCPUの参加を削減します。
• アダプティブルーティング: ホットスポットを軽減し、複数のパスにわたるロードバランシングを改善します。
• 輻輳制御: ロード時の遅延を安定させるために、DCQCNおよび関連メカニズムをサポートします。
• ソフトウェアエコシステム: MLNX-OSで管理され、UFMおよびNetQで監視されます。

アーキテクトは、ラックレイアウトを最終決定する前に、MQM8790-HS2FデータシートおよびMQM8790-HS2F仕様で電力、冷却、ポート分割の詳細を確認する必要があります。予算については、価格は規模と構成によって異なるため、MQM8790-HS2Fの価格とMQM8790-HS2Fの販売オプションを調達チャネルで検証する必要があります。

展開と拡張の推奨事項

初期展開では、単一のMQM8790-HS2F InfiniBandスイッチが小規模クラスターでスパインとコアの両方として機能し、最大40ノードを200Gb/sで接続できます。クラスターが成長するにつれて、追加のスパインスイッチが追加され、ファブリックはリーフとスパインの分離を備えた完全な2層設計に移行します。

拡張ガイダンス:

• ケーブリング規律: スペアの簡素化と互換性リスクの低減のために、QSFP56オプティクスとDAC/AOCタイプを標準化します。
• ポート分割: ノードあたり200Gb/sが不要な場合は、2 × 100Gb/sブレークアウトを使用し、ポート効率を向上させます。
• オーバーサブスクリプションターゲット: 理論上のピーク帯域幅だけでなく、ワークロードのバーストパターンに基づいてスパインからリーフへの比率を計画します。
• 電力と冷却: スケールアウトする前に、スイッチの定格消費電力に対してラックあたりの電力ヘッドルームを検証します。

運用監視、トラブルシューティング、および最適化

運用上の可視性は、大規模で低遅延を維持するために不可欠です。MQM8790-HS2F InfiniBandスイッチソリューションは、ファブリック全体の監視のためにUFMと、テレメトリと検証のためにNetQと統合する必要があります。

推奨されるプラクティスは次のとおりです。

• エラー、破棄、および輻輳イベントのポートごとのカウンターを監視します。
• ジョブレベルの障害のみに依存するのではなく、テレメトリを使用して遅いノード候補を追跡します。
• 互換性の問題を回避するために、すべてのスイッチとアダプター間でファームウェアの一貫性を検証します。
• 誤って設定された集約ツリーはパフォーマンスを向上させるのではなく低下させる可能性があるため、SHARP構成を定期的にレビューします。

概要と価値評価

MQM8790-HS2Fは、予測可能な低遅延と高帯域幅を必要とするRDMA、HPC、およびAIクラスターに実用的な基盤を提供します。40 × 200Gb/s HDRポート、SHARPインネットワークコンピューティング、および成熟した管理エコシステムを組み合わせることで、NVIDIA Mellanox MQM8790-HS2Fは、効率を犠牲にすることなくスケーリングするファブリックを設計するのに役立ちます。

価値の観点からは、スイッチの貢献は、ポート数だけでなく、クラスターの利用率、ジョブ完了時間、および運用オーバーヘッドと比較して評価されるべきです。