NVIDIA Mellanox MCX631432AN-ADAB サーバアダプタ 動作: RDMA/RoCE 低遅延輸送とサーバーのスループット 増加

現代のデータセンター環境では、分散ストレージ、AIトレーニングクラスター、高頻度トランザクションプラットフォームはすべて、共通のボトルネックを抱えています。それは、従来のTCP/IPスタックによって引き起こされるネットワーク遅延とCPUオーバーヘッドです。ストレージパフォーマンスのばらつきと混雑した25GbEアクセスリンクに悩む中規模のクラウドプロバイダーは、真のハードウェアオフロードソリューションを求めて、NVIDIA Mellanox MCX631432AN-ADABにたどり着きました。このアプリケーションケーススタディでは、MCX631432AN-ADAB Ethernetアダプターカードが、CPUバウンドの予測不可能性からラインレート、低遅延の運用へとインフラストラクチャをどのように変革したかを検証します。

背景と課題：従来のネットワーキングのコスト

このプロバイダーのレガシー環境は、ソフトウェアベースのiSCSIおよびNFSを備えた標準の25GbE NICに依存していました。VM密度が増加するにつれて、ストレージノードのCPU使用率も増加し、ネットワーク処理だけで60％を超えることがよくありました。バックアップウィンドウ中やライブマイグレーション中の遅延スパイクは、アプリケーションのタイムアウトを引き起こしました。アーキテクトは、トランスポートをオフロードし、ハードウェアセキュリティを強制し、アプリケーションの書き換えなしでRDMAをサポートできるデュアルポート25GbEソリューションを必要としていました。 MCX631432AN-ADABのデータシートと初期のコミュニティフィードバックをレビューした後、彼らはネットワークオーバーホールの基盤として、MCX631432AN-ADAB ConnectX-6 Lxデュアルポート25GbE SFP28デザインを選択しました。

ソリューションと展開：ストレージとコンピューティングのためのRoCEの有効化

この展開では、120のコンピューティングノードと15のストレージサーバーの既存のNICをMCX631432AN-ADABアダプターに置き換えました。各アダプターは、既存のスパインリーフスイッチでECNとPFCを使用してRoCE（RDMA over Converged Ethernet）用に構成されました。主な手順は次のとおりです。

• コンプライアンス要件を満たすために、すべてのアダプターでハードウェア信頼ブートとインラインIPsecオフロードを有効にする。
• NVMe over Fabrics（NVMe-oF）へのストレージトラフィックの移行を、RoCEトランスポートを使用し、MCX631432AN-ADAB Ethernetアダプターカードソリューションスタックで完全にサポートする。
• ポートごとのRoCEパフォーマンスと輻輳通知を監視するために、NVIDIAのCumulus Linuxベースのテレメトリを展開する。

公式のMCX631432AN-ADAB仕様によると、このアダプターは800ns未満のハードウェア遅延を提供し、PCIe 4.0ホストとペアリングすると最大200Gb/sの双方向スループットをサポートします。実際には、エンジニアリングチームは、NVMe-oF読み取りで一貫した1.5μsのアプリケーションレベル遅延を測定しました。これは、以前のソフトウェアiSCSIパスと比較して14倍の改善です。ストレージサーバーのCPU使用率は、完全なプロトコルオフロードと動的な割り込みモデレーションのおかげで、ピークIOPSテスト中に58％からわずか11％に低下しました。

測定可能な結果とビジネス上のメリット

4週間の本番稼働後、プロバイダーは3つの主要な成果を報告しました：

• スループットの向上：各ストレージノードは現在、以前の18Gb/sの実効スループットと比較して、サブマイクロ秒のジッターを維持しながら両方の25GbEポート（合計49.5Gbit/s）を飽和させています。
• 遅延の一貫性：分散データベースの99パーセンタイル書き込み遅延は780μsから94μsに減少し、クラスターの再編成中のタイムアウトが解消されました。
• 運用の簡素化：1セットのドライバーがコンピューティングアダプターとストレージアダプターの両方を管理します。 MCX631432AN-ADAB互換エコシステムには主要なLinuxディストリビューションがすべて含まれており、ダウンタイムなしのカーネルアップデートが可能です。

さらに、チームはMCX631432AN-ADABの価格を総所有コストと比較して評価し、アダプターのハードウェアルートオブトラストとRoCEオフロードにより、個別の暗号化アプライアンスと専用RNICの必要性がなくなり、3年間のTCOが33％削減されたことを発見しました。拡張を検討している組織にとって、MCX631432AN-ADABの販売は主要な販売代理店を通じてボリュームディスカウント価格で提供されており、大規模なアップグレードが経済的に実行可能になっています。

概要と展望

NVIDIA Mellanox MCX631432AN-ADABは、単なるネットワークインターフェイス以上のものとして証明されました。真のコンバージド、低遅延ファブリックの実現者となったのです。トランスポート処理をCPUからシリコンに移行することで、プロバイダーはNVMeストレージの可能性を最大限に引き出し、サーバーあたりの消費電力を平均18W削減しました。データセンターがディスアグリゲートストレージとリアルタイムAI推論を採用し続ける中、MCX631432AN-ADAB ConnectX-6 Lxデュアルポート25GbE SFP28アダプターは、RDMA/RoCEの成功への成熟した、十分に文書化された、広く展開されているパスを提供します。繰り返し可能なパフォーマンス向上を求めるITアーキテクトは、独自の25GbEモダナイゼーションイニシアチブを計画する際に、このケースを自信を持って参照できます。