NVIDIA Mellanox MCX631432AN-ADAB サーバーアダプターの実力 | RDMA/RoCE 低遅延トランスポートとサーバーのスループット向上

NVIDIA Mellanox MCX631432AN-ADAB サーバーアダプタ 動作中♪

背景と課題:分散型ストレージにおける遅延ボトルネック

最近 大きなインターネット会社の インフラストラクチャチームは 既知の課題に直面しました応募の需要が増加するにつれストレージノードには強力なCPUと高速なNVMeドライブが搭載されていましたが,ネットワークの遅延は特にピークのI/O作業中に主要なボトルネックになりました.既存の10GbEアダプタにはハードウェアのオフロード機能がなかった.処理されたパケットごとに過剰なCPU介入を引き起こします

このオーバーヘッドは,各I/O操作に複数のネットワーク往復が必要とされる書き込み密集型ワークロードで最も顕著でした.チームには サーバの全体的なスループットを増やしながら 尾行遅延を大幅に削減できる ソリューションが必要でした複数のオプションを評価した後,Ethernet インフラストラクチャの完全な改修を必要とせず,NVIDIA メラノックス MCX631432AN-ADAB接続されたEthernet (RoCE) のRDMA向けに設計された25GbE SFP28アダプター

ソリューション&デプロイ: ConnectX-6 Lx で RoCE をデプロイする

このデプロイは,遅延感度が最も高い Ceph クラスタ内のメタデータサーバーとして機能する 3 つのストレージノードをターゲットにしました.各ノードにはMCX631432AN-ADAB ConnectX-6 Lx デュアルポート 25GbE SFP28RoCEv2対応の 25GbE トップ・オブ・ラックスイッチに接続するアダプター全帯域幅を最大50Gb/sまで集約し,故障移行冗長性を提供する..

導入の重要な側面は,優先流量制御 (PFC) と明示的な混雑通知 (ECN) を備えたRoCEv2を有効にすることで,損失のないネットワーク動作を確保することでした.MCX631432AN-ADAB イーサネット アダプター カード独自のスイッチや追加のライセンスを必要としないため,これらの高度な混雑管理メカニズムをネイティブにサポートします.アダプターの内蔵ハードウェアタイムスタンプとテレメトリカウンタを活用し,最初の燃焼段階中にリアルタイムで繊維の健康状態を監視しました.

報告書によると,MCX631432AN-ADAB データシート,アダプタはPCIe Gen 4.0 x8をサポートしており,ホストバスにボトルネックを伴わずに2つの25GbEポートを完全に満たすのに不可欠であることが証明されました.既存のサーバーは既にGen 4.0に対応していました.アップグレードを簡単にするPCIe Gen 3 の環境では0アダプターは完全に残っていますMCX631432AN-ADABに対応する段階的な導入計画を簡素化した柔軟性.

展開プロセスは特に簡素化された. NVIDIA ネットワークドライバースタックにより,アダプターは CentOS 8 環境全体ですぐに認識された.チームは公式のバージョンを使用した.MCX631432AN-ADABの仕様バッファアロケーションを微調整し 結合設定を中断し アダプターの動作を 特定のワークロードパターンに合わせる

結果 と 測定 できる 益

効率の向上は即座に計測可能でした.下記の表では,NVIDIA メラノックス MCX631432AN-ADAB:

数字を超えて,チームは I/O 応答時間の一貫性が向上し,以前はストレージバックエンドを共有するレンタアプリケーションに影響を与えた"騒々しい隣人"効果をなくした.ハードウェアのオフロードは,MCX631432AN-ADAB イーサネット アダプター カードソリューションCPUのオーバーヘッドを大幅に削減し,ノードがCPU飽和に達する前に約60%のIOPSを処理することができ,計画されたハードウェアリフレッシュサイクルを効果的に遅らせました.

アダプターの内蔵テレメトリとリアルタイムパフォーマンスカウンタへのアクセス能力MCX631432AN-ADABの仕様チームでは,マイクロバーストやキュー深度の問題が生産作業負荷に影響を与える前にそれを特定することができました.

概要と展望: 将来の規模のための基礎

この展開は,NVIDIA メラノックス MCX631432AN-ADAB遅延感のある分散型システムのための 変革の要素です RoCEの潜在能力を完全に解き放つことでアダプターは平均とテイルレイテンティの両方を大幅に削減し,同時に総サーバーのスループットをほぼ6倍に増加しました解放されたCPUサイクルが,アプリケーションレベルの処理に再割り当てられ,クラスタの全体的な効率がさらに向上します.

アダプター用の追加用例を探っています高性能ブロックストレージのためのNVMe over Fabrics (NVMe-oF) と,AIトレーニングワークロードのためのGPUDirectを含むConnectX-6 Lx アーキテクチャの柔軟性により,MCX631432AN-ADABソフトウェアは,代替品なしでこれらの進化する要求をサポートすることができます.MCX631432AN-ADAB価格運用コスト削減と業績向上と比べると 説得力のあるビジネスケースです

データセンターが25GbEやそれ以上のファブリックをますます採用するにつれ,サーバーアダプターの選択は重要な建築決定になります.MCX631432AN-ADAB イーサネット アダプター カード既存のインフラと次世代のパフォーマンス要求のギャップを埋めるための 試験済みで生産可能ソリューションです