NVIDIA Mellanox MQM9790-NS2F インフィニバンドスイッチ技術ソリューション

NVIDIA Mellanox MQM9790-NS2F InfiniBandスイッチ技術ソリューション｜RDMA、HPC、AIクラスター向けの低遅延インターコネクト最適化

プロジェクトの背景と要件分析

AI大規模モデルトレーニング、HPCシミュレーション、分散ストレージをサポートする最新のデータセンターは、200Gb/s HDRから400Gb/s NDRへの移行を急速に進めています。ネットワークアーキテクトにとっての核心的な課題は、GPUノード密度が上昇し続ける一方で、ノード間通信の遅延とジッターがクラスター効率のボトルネックとなっていることです。単一の輻輳したホップや設定ミスのあるファブリック層でも、数百ノードにわたるGPU利用率を低下させる可能性があります。

このようなプロジェクトの典型的な要件には、コレクティブオペレーションの決定論的な低遅延、RDMAおよびNVMe over Fabricsのロスレス転送、ファブリックをフラットに保つための高ラディクス、そして既存の投資を保護する明確なアップグレードパスが含まれます。NVIDIA Mellanox MQM9790-NS2Fは、Quantum-2ファミリー内の400Gb/s NDR InfiniBandスイッチとして、これらの要件を満たすように位置づけられています。

全体的なネットワークおよびシステムアーキテクチャ設計

推奨されるアーキテクチャは、NDRリンクのみで構築された2層のスパインリーフInfiniBandファブリックです。リーフスイッチはGPUサーバー、ストレージターゲット、管理ノードを接続し、スパインスイッチはリーフ間の接続性とパスの多様性を提供します。この設計により、ホップ数が少なくなり、AIおよびHPCワークロードで支配的な東西トラフィックに対してノンブロッキング帯域幅が保証されます。

エンドポイント層では、ホストチャネルアダプターがRDMAモードで動作し、CPUの介入なしにメモリ間転送を可能にします。ファブリック自体が輻輳制御、アダプティブルーティング、コレクティブアクセラレーションを処理します。管理およびテレメトリトラフィックは同じ物理インフラストラクチャを共有しますが、QoSポリシーによって分離されるため、監視が本番ワークロードに干渉することはありません。

主な設計原則は以下の通りです。

• 遅延を最小限に抑え、トラブルシューティングを簡素化するためのフラットトポロジ
• 層間のノンブロッキングまたは低オーバーサブスクリプションリンク
• 混合世代のボトルネックを回避するためのエンドツーエンドの一貫したNDR
• 高可用性とロードバランシングのための冗長パス
• 運用の一貫性のための標準InfiniBand管理

NVIDIA Mellanox MQM9790-NS2Fの役割と主な機能

NVIDIA Mellanox MQM9790-NS2Fは、このファブリックのビルディングブロックとして機能します。MQM9790-NS2F 400Gb/s NDR 64ポートOSFPスイッチとして、単一ユニットで高いポート密度を提供し、アーキテクトがより少ない層でよりフラットなネットワークを設計できるようにします。各OSFPポートはNDR速度で動作でき、64ポート構成は高ラディクスリーフおよびスパインの役割をサポートします。

MQM9790-NS2Fの仕様をレビューするチームにとって、このプラットフォームはコレクティブアクセラレーションのためのNVIDIA SHARPv3、高度な輻輳制御、およびアダプティブルーティングをサポートしています。これらの機能は、AIトレーニングおよびMPIワークロードで一般的なテール遅延とインキャストの問題に直接対応します。MQM9790-NS2F InfiniBandスイッチは、標準のInfiniBand管理ツールとも統合されており、運用上の学習曲線を短縮します。

MQM9790-NS2F InfiniBandスイッチソリューションを計画する際には、アーキテクトはOSFPケーブル、ホストチャネルアダプター、ファームウェアバージョンを含むMQM9790-NS2F互換コンポーネントを確認する必要があります。設計段階の早い段階でMQM9790-NS2Fのデータシートを確認することで、調達前に電力、冷却、ラック容量の要件を検証するのに役立ちます。

展開とスケーリングの推奨事項

典型的な展開は、32から64のGPUノードのパイロットポッドから始まり、一対のMQM9790-NS2Fリーフスイッチに接続されます。スパイン接続はクラスターの成長に合わせて追加され、追加のMQM9790-NS2Fユニットを使用してノンブロッキング帯域幅を維持します。この段階的なアプローチにより、本格的な展開前に遅延とスループットを検証できます。

スケーリングに関しては、ファブリックを対称に保つことが推奨されます。オーバーサブスクリプション比率が予測可能に保たれるように、リーフとスパインの容量を同等の増分で追加します。高密度OSFP展開は、物理レイアウトに一貫性がない場合、保守が困難になる可能性があるため、ケーブル管理とポートラベリングは最初から標準化する必要があります。

以下の表は、代表的な2層設計の考慮事項をまとめたものです。

運用、監視、トラブルシューティング、最適化

運用上の成功は可視性に依存します。InfiniBandファブリックは、リンクエラー、輻輳イベント、バッファ使用率のカウンターを提供します。これらは継続的に収集され、ジョブスケジューラデータと相関させる必要があり、パフォーマンスの低下が推測ではなく特定のファブリックセグメントに起因することを特定できるようにします。

一般的なトラブルシューティングシナリオには、クレジットストール、QoSの設定ミス、スイッチとアダプター間のファームウェアの不一致が含まれます。構造化されたチェックリスト（リンク速度の確認、エラーカウンターのチェック、ルーティングポリシーの確認、輻輳テレメトリの検査）は、解決までの平均時間を短縮できます。最適化の取り組みは、AIおよびHPCワークロードは最悪の場合の動作に敏感であるため、平均スループットではなくテール遅延に焦点を当てるべきです。

調達とライフサイクル計画のために、チームはしばしば正規チャネル全体でMQM9790-NS2Fの価格とMQM9790-NS2Fの販売オプションを比較します。価格は構成、サポートレベル、地域によって異なるため、早期にディストリビューターおよびNVIDIAエンタープライズ担当者と関わることが推奨されます。

NVIDIA Mellanox MQM9790-NS2Fは、RDMA、HPC、AIクラスターインターコネクトのための高ラディクス、400Gb/s NDR基盤を提供します。ファブリック層を削減し、コレクティブアクセラレーションをサポートし、ロスレス低遅延転送を可能にすることで、実際のクラスター効率を制限するパフォーマンスボトルネックに対処します。ネットワークアーキテクトおよびプリセールスエンジニアにとって、これは次世代InfiniBandファブリックのための実用的でスケーラブルなビルディングブロックを表します。