NVIDIA Mellanox 920-9B110-00FH-0D0 InfiniBand スイッチ 技術ソリューション

NVIDIA Mellanox 920-9B110-00FH-0D0 インフィニバンドスイッチ技術ソリューション 低遅延インターコネクト最適化 RDMA,HPC,AIクラスター

プロジェクトの背景と要件分析

AIトレーニング,HPCシミュレーション,分散型ストレージをサポートする現代のデータセンターは,ネットワーク層の帯域幅と遅延に 双重なプレッシャーに直面しています. GPUノード密度は上昇し続けています.ネットワーク間通信の遅延とジッターが クラスタの全体的な効率を制限する要因になる多くの組織にとって,実践的な問題は,400Gb/s NDR を採用するかどうかではなく,決定的なパフォーマンスを提供する実証された,費用対効果の高い HDR 構造を構築する方法です.

このようなプロジェクトの典型的な要件は,低レイテンシーRDMA輸送,損失のない繊維の動作,既存のEDRおよびFDRインフラストラクチャとのバックコンパティビリティ,そして明確なスケーリング経路を含む.NVIDIA Mellanox 920-9B110-00FH-0D0は,NVIDIA Quantumファミリー内の200Gb/s HDR InfiniBand スイッチとしてこれらの要件を満たすように配置されています..

ネットワークおよびシステムアーキテクチャの設計

推奨されたアーキテクチャは,200Gb/s HDR リンクに構築された2階層の脊葉型 InfiniBand 構造である.リーフスイッチはコンピューティングノード,ストレージターゲット,管理サーバーを接続する.脊髄スイッチは葉間接続と 経路の多様性を提供しますこの設計はホップ数を低くし,HPCとAIワークロードを支配する東西トラフィックにブロックしない帯域幅を保証します.

エンドポイント層では,ホストチャネルアダプタがRDMAモードで動作し,CPUの介入なしにメモリからメモリへの転送を可能にします.そして集団的な加速管理とテレメトリトラフィックは同じ物理的インフラストラクチャを共有していますが,QoSポリシーによって隔離されていますので,モニタリングは生産作業に干渉しません.

設計の主要な原則は以下の通りである.

• 遅延を最小限に抑え,トラブルシューティングを簡素化するためのフラットトポロジー
• レベル間の非ブロックまたは低過剰購読のリンク
• 一貫したHDR端から端まで,必要に応じてEDR/FDRのバックコンパティビティ
• 高可用性と負荷バランスのための冗長な経路
• 標準的なInfiniBand管理による運用一貫性

NVIDIA Mellanox 920-9B110-00FH-0D0の役割と主要な特徴

NVIDIA Mellanox 920-9B110-00FH-0D0は,このファブリックのコアビルディングブロックとして機能しています. 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRプラットフォームとして,QSFP56ポート40個と 16Tb/sの非ブロックスイッチ容量を 1Uの形式要素で提供するこの密度は高根葉のロールをサポートし,密度の高いラックでのケーブルを簡素化します.

920-9B110-00FH-0D0仕様をレビューするチームでは,スイッチは RDMA,MPI,NVIDIA SHARPを共同操作オフロードをサポートする.先進的な混雑制御と適応型ルーティングは,AIトレーニングとMPIワークロードで一般的な尾遅延とインカスト問題をターゲットにします920-9B110-00FH-0D0 InfiniBand スイッチ OPN は,標準的な InfiniBand 管理ツールと統合され,運用学習曲線を短縮します.

920-9B110-00FH-0D0 InfiniBand スイッチ OPN ソリューションを計画する際に,建築家は,QSFP56ケーブル,ホストチャンネルアダプター,そしてファームウェアバージョン設計段階の早い段階で 920-9B110-00FH-0D0 データシートをレビューすることで,調達前に電力,冷却,ラックスペースの要件を検証することができます.

配備と拡大に関する勧告

典型的な展開は,32から64のコンピューティングノードからなるパイロット・ポッドから始まります. 920-9B110-00FH-0D0葉スイッチのペアに接続されています. クラスタが成長するにつれて,脊髄接続が追加されます.葉の間をブロックしない帯域幅を維持するこの段階的なアプローチは,フルスケール展開前に遅延とスループットの検証を可能にします.

スケーリングのために,布を対称に保つ: 葉と脊柱の容量をマッチした増幅で追加して,過剰購読比が予測可能になります.ケーブル管理と港のラベル付けは最初から標準化されるべきです物理的なレイアウトが不一致である場合,高密度QSFP56の展開が維持が困難になるため,

下の表は,代表的な2段階的な設計の考慮を要約しています.

運用,監視,トラブルシューティング,最適化

運用成功は可視性に依存する.InfiniBandファブリックはリンクエラー,混雑イベント,バッファ利用のカウンタを提供します.これらのデータは継続的に収集され,仕事スケジューラーデータと関連付けられるべきです.性能回帰は推測ではなく 特定の繊維部分に追溯できる

一般的なトラブルシューティングシナリオには,クレジットストール,誤った設定のQoS,スイッチとアダプター間のファームウェア不一致が含まれます. 構造化されたチェックリストは,リンク速度を検証し,エラーカウンタをチェックし,ルーティングポリシーを確認する混雑テレメトリーを検査する. 解決までの平均時間を短縮できる.最適化努力は,平均的なスループットではなく,尾の遅延に焦点を当てなければならない.HPCとAIのワークロードが最悪の状況に敏感であるため.

調達およびライフサイクル計画のために,チームはしばしば 920-9B110-00FH-0D0 価格と 920-9B110-00FH-0D0 を比較します. 価格設定は構成に依存します.サポートレベルNVIDIAの企業代表との早期接触が推奨されています.

概要 と 価値 評価

NVIDIA Mellanox 920-9B110-00FH-0D0は,RDMA,HPC,AIクラスタ相互接続のための実証された200Gb/s HDR基盤を提供します. 繊維層を削減し,集団加速をサポートすることで,低レイテンシーで損失のない輸送を可能にしますネットワークアーキテクトやプレセールスエンジニアにとってこれは,HDR InfiniBand 繊維の実践的でスケーラブルなビルディングブロックであり,前向きな方向性を明らかにしています..