メラノックス (NVIDIA) 920-9B110-00FH-0D0 インフィニバンドスイッチ技術ソリューション 低遅延インターコネクトを最適化

1. プロジェクトの背景と要件分析

AIトレーニングとHPCワークロード向けに最新のアクセラレーテッドコンピューティングクラスタをデプロイおよびスケーリングすることは、独自のネットワーク上の課題を提示します。従来のTCP/IPベースのネットワークは、著しいレイテンシとCPUオーバーヘッドをもたらし、主要なボトルネックとなっています。次世代インターコネクトソリューションの主な要件には、GPUの停止を防ぐための決定論的なサブマイクロ秒レイテンシ、オールツーオール通信パターンに対する高い双方向帯域幅、コレクティブ操作をオフロードするためのインネットワークコンピューティングのスケーラビリティ、および運用上の簡素化のための堅牢なファブリック管理が含まれます。

このNVIDIA Mellanox 920-9B110-00FH-0D0は、これらの正確な要求を満たすように設計されており、高性能で効率的な920-9B110-00FH-0D0 InfiniBandスイッチOPNソリューションの基盤を形成します。このドキュメントでは、そのデプロイメントに関する包括的な技術的青写真について概説します。

2. 全体的なネットワーク/システムアーキテクチャ設計

提案されているアーキテクチャは、予測可能で高帯域幅のHPCおよびAIクラスタを構築するための事実上の標準である、スパインリーフ、ノンブロッキングファットツリートポロジです。この設計により、任意の2つのノード間のホップカウントとレイテンシが一貫し、オーバーサブスクリプションとホットスポットが排除されます。このアーキテクチャは、フルスタックのNVIDIA最適化エコシステム上に構築されています。

• コンピューティング層: NVIDIA DGXまたはHGXシステム、またはNVIDIA ConnectX-7 NICを搭載した同等のGPUサーバー。
• インターコネクト層: リーフ（Top-of-Rack）スイッチとスパインスイッチの両方として機能する、920-9B110-00FH-0D0スイッチの均質なファブリック。
• 管理とオーケストレーション層: NVIDIA UFM®（ファブリック管理用）、NVIDIA Magnum IOスタックを介してSlurmやKubernetesなどのクラスタスケジューラと統合。

このエンドツーエンドのアーキテクチャは、RDMAおよびGPUDirect通信に最適なパフォーマンスを保証し、統一された「コンピューティングリソースとしてのファブリック」を作成します。

3. 920-9B110-00FH-0D0の役割と主な技術的特性

このアーキテクチャ内では、920-9B110-00FH-0D0が基本的なデータプレーンユニットとして機能します。その役割は、単純なパケット転送を超えて、アクティブな計算要素になるまで拡張されます。

主要な技術的柱:

• 超低レイテンシと高帯域幅: 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR ASICを搭載し、業界をリードするポート間レイテンシと、ポートあたりフルワイヤースピード200Gb/sの帯域幅を提供します。これは、RDMAトラフィックにとって重要です。
• インネットワークコンピューティング（SHARP）: スイッチハードウェアは、ネットワーク内でデータ集約を実行することにより、MPIおよびNCCLコレクティブ操作（All-Reduce、Broadcast）を高速化します。これにより、GPUのアイドル時間とCPUオーバーヘッドが劇的に削減されます。
• 高度な輻輳制御: 適応ルーティングとタイムリーな輻輳制御メカニズムは、トラフィックフローを動的に管理し、パケットドロップを防ぎ、AIトレーニングで一般的なインキャストシナリオでの公平な帯域幅配分を保証します。
• テレメトリと可視性: NVIDIAのテレメトリインフラストラクチャの統合サポートにより、トラフィックパターン、バッファ占有率、およびリンクの状態に関する詳細な洞察が得られます。これらは、パフォーマンスチューニングに不可欠です。

エンジニアは、電力、冷却、およびポート構成に関する詳細な920-9B110-00FH-0D0仕様については、公式の920-9B110-00FH-0D0データシートを参照してください。

4. デプロイメントとスケーリングの推奨事項

デプロイメントは、920-9B110-00FH-0D0互換コンポーネントリストの慎重な分析から始まります。一般的なスケーリングユニットは、ノンブロッキングファットツリーで構築された「ポッド」です。

例：512-GPUクラスタポッド

• リーフ層: 各920-9B110-00FH-0D0スイッチをTop-of-Rack（ToR）としてデプロイし、最大16台のGPUサーバー（例：8x DGX A100システム）を接続します。
• スパイン層: 920-9B110-00FH-0D0スイッチの2番目の層は、すべてのリーフスイッチを相互接続し、完全な双方向帯域幅を提供します。
• ケーブル配線: すべての200Gb/sのスイッチ間およびサーバー接続には、QSFP56 HDRケーブル（パッシブまたはアクティブ）を使用します。

ポッドを超えたスケーリング: 複数のポッドは、専用のスパインオブスパインスイッチを使用するか、920-9B110-00FH-0D0の高い基数を活用してファットツリー階層を拡張することにより、相互接続できます。920-9B110-00FH-0D0 InfiniBandスイッチOPNは、拡張中の部品相互運用性の明確なロードマップを提供します。

5. 運用、監視、トラブルシューティング、および最適化

ピークファブリックパフォーマンスを維持するには、積極的な管理が不可欠です。NVIDIA UFM®は、推奨される中央管理プラットフォームです。

スイッチドキュメントに概説されている定期的なファームウェアアップデートとベストプラクティスの遵守が不可欠です。RDMAパフォーマンスの低下などの問題については、診断フローはUFM®テレメトリから開始し、ケーブルの整合性を確認し、SHARPと輻輳制御の設定を確認する必要があります。

6. 結論と価値評価

Mellanox（NVIDIA）920-9B110-00FH-0D0に基づくクラスタインターコネクトを実装すると、RDMA、HPC、およびAIワークロード向けの将来性のある高性能基盤が提供されます。その価値提案は多面的です。通信オーバーヘッドを最小限に抑えることでGPUの利用率とROIを最大化し、スケーラブルなクラスタの成長を可能にし、統合された管理とテレメトリを通じて運用を簡素化します。

920-9B110-00FH-0D0の価格はプレミアム投資を表していますが、ジョブ完了時間の劇的な短縮、研究者の生産性の向上、および高価なファブリックの再設計を回避する効率的なスケーリングを考慮すると、総所有コスト（TCO）は有利です。920-9B110-00FH-0D0の販売を評価している組織は、それをネットワーク費用としてではなく、戦略的なコンピューティングアクセラレータとして見る必要があります。この技術的なソリューションは、アクセラレーテッドコンピューティングインフラストラクチャの可能性を最大限に引き出すための青写真を提供します。