NVIDIA Mellanox MCX653106A-HDAT アクション:RDMA/RoCE低遅延輸送とサーバーのスループット最適化

分散AIトレーニングとリアルタイム分析のために256ノードクラスターを運用する大手ハイパースケールクラウドプロバイダーは、インフラストラクチャのスケールアップに伴い、深刻なネットワークパフォーマンス低下に直面していました。既存の25GbE TCP/IPベースのファブリックでは、128ノード間でのAll-Reduceレイテンシが6ミリ秒を超え、ネットワーク処理のためのCPU使用率が各サーバーのコンピューティング能力の40%以上を消費していました。このボトルネックにより、GPU使用率はわずか55%に制限され、トレーニングサイクルが劇的に延長され、収益創出能力が低下しました。チームは、マイクロ秒スケールのレイテンシと膨大な帯域幅の両方を提供し、ワークロード固有のトラフィック最適化に必要なプログラマビリティを提供するソリューションを必要としていました。

広範な技術評価の後、プロバイダーはネットワーク変革の基盤としてNVIDIA Mellanox MCX653106A-HDATを選択しました。各サーバーノードにはMCX653106A-HDAT ConnectXアダプターPCIeネットワークカードが搭載され、デュアルポート100GbE接続で構成され、ノードあたり200Gb/sの集約帯域幅を提供しました。

• フェーズ1 — パイロット（8ノード）：チームは、GPUサーバーの一部にMCX653106A-HDATイーサネットアダプターカードをインストールし、RoCEv2をPFCおよびECNで構成して、ロスレスイーサネットファブリックを確立しました。アダプターはNVIDIA Spectrum-4スイッチとペアリングされ、エンドツーエンドの輻輳管理を行いました。
• フェーズ2 — 検証とチューニング：チームは、MCX653106A-HDATデータシートに記載されているテレメトリデータを使用して、構成を検証し、DCBパラメータを微調整し、NCCLコレクティブ通信設定を最適化しました。アダプターの高度なプログラマビリティ機能により、ワークロードの特定のall-reduceパターンに対応したカスタムトラフィックステアリングが可能になりました。
• フェーズ3 — 本番環境への完全展開（256ノード）：検証の成功後、クラスター全体が新しいアダプターに移行されました。MCX653106A-HDAT互換性のあるソリューションにより、既存のサーバーおよびLinuxディストリビューションとのシームレスな統合が保証されました。
• フェーズ4 — 継続的な最適化：チームは、アダプターのインラインテレメトリとプログラム可能なデータパスを活用して、ワークロード認識ルーティングポリシーを実装し、AIトレーニングジョブのパフォーマンスをさらに最適化しました。

チームは、MCX653106A-HDATイーサネットアダプターカードソリューションが、QSFP56ポートが100GbEと25GbEの両方のオプティクスをサポートしていたため、既存の接続を中断することなくスムーズな移行を可能にする、簡単な移行パスを提供したと述べています。

これらの定量的な成果を超えて、プロバイダーは運用上の大きなメリットを観察しました。以前は14日かかっていたトレーニング実行がわずか4.5日で完了し、新しいAIサービスの市場投入までの時間を劇的に短縮しました。アダプターのプログラム可能なデータパスにより、優先フローのカスタムトラフィックシェーピングが可能になり、重要なコレクティブ通信トラフィックが競合することはありませんでした。投資収益率を評価している組織にとって、MCX653106A-HDAT価格は、3倍のスループット向上と、追加のサーバー購入を18ヶ月以上延期できる能力によって完全に正当化されました。チームはまた、MCX653106A-HDAT販売バンドルとNVIDIA Spectrum-4スイッチが、大規模展開にとって最も有利な経済性を提供したと述べています。

プロバイダーは、MCX653106A-HDAT仕様で詳述されている包括的なテレメトリ機能も活用して、予測パフォーマンスモデルと自動輻輳緩和戦略を構築し、運用効率をさらに向上させました。

この本番規模の展開は、NVIDIA Mellanox MCX653106A-HDATが最新のAIおよびクラウドインフラストラクチャにとって変革的なコンポーネントであることを示しています。200Gb/sの集約帯域幅、0.3ミリ秒未満のコレクティブ通信レイテンシ、および包括的なハードウェアオフロードの組み合わせにより、GPUアクセラレーテッドワークロードのほぼ線形のスケーリングが可能になります。エンドツーエンドのMCX653106A-HDATイーサネットアダプターカードソリューションとして、分散トレーニング効率とクラウドサービス配信を歴史的に制限してきたネットワークボトルネックを解消します。

今後、クラウドプロバイダーはNVIDIA DOCAとの統合を拡大し、マルチテナント環境全体でワークロード固有の最適化のための追加のデータパスプログラマビリティを実装することを検討しています。また、アダプターのインラインテレメトリ（MCX653106A-HDATデータシートに詳細に文書化されている）を活用して、次世代の自動パフォーマンス管理システムを開発しています。NVIDIA Mellanox MCX653106A-HDATは、AIインフラストラクチャロードマップの基盤となり、次世代の基盤モデルトレーニングおよびリアルタイム分析サービスのための堅牢でスケーラブルなプラットフォームを提供しています。