ブロードコム BCM57508 NetXtreme

Jan 30, 2024

時々、ただ速く走りたいだけです。 Broadcom BCM57508 NetXtreme-E は、200GbE OCP NIC 3.0 アダプターです。 これは 100GbE アダプターだと言われましたが、後で実際には 200GbE バージョンであることが判明したため、読者にお見せする価値があると考えました。

これは Broadcom BCM57508 NetXtreme-E NIC です。 サーバーにおける最大のトレンドの 1 つは、サーバーでの OCP NIC 3.0 フォーム ファクターの使用です。 数年前、ほぼすべてのサーバー ベンダーに対して異なるメザニン フォーム ファクターがありました。 現在、OCP NIC 3.0 フォーム ファクターは、ハイパースケーラーだけでなく、従来のサーバー ベンダーでも使用されています。

カードの背面には 2 つの QSFP56 ポートがあります。 これらにより、これまでに説明した 100GbE QSFP28 ポートよりも高速な通信が可能になります。

Broadcom BCM57508 は、同社の PCIe Gen4 x16 カードの 1 つです。 デュアル 200GbE 接続の場合、2 つの 200Gbps ポートを駆動するためのホスト帯域幅を備えた PCIe Gen5 x16 が必要になります。

ここでヒートシンクを簡単に見てみましょう。 これらのカードと PCIe バージョンの一般的な消費電力は 20 W 未満です。 これらのフォーム ファクターの DPU にとっての最大の課題の 1 つは、TDP が高い OCP NIC 3.0 カードの消費電力と冷却です。

こちらはカードを横から見た図です。

こちらが反対側です。

それでは、NIC がインストールされている様子を見てみましょう。

Supermicro SYS-221H-TNR のレビューを行ったとき、これは 100GbE アダプターであると言われましたが、Ubuntu にインストールすると次のようになります。

ethtool をチェックすると、200000baseCR4/Full または 200Gbps 全二重であることがわかりました。

テストできる 200GbE 対応アダプターがあります。

課題の 1 つは、100GbE ギアが大量にあり、400GbE ギアも大量にある一方で、200GbE 側のインフラストラクチャが少ないことです。 Dell EMC S5248F-ON には QSFP28-DD スイッチがありましたが、それは QSFP56 ではありませんでした。

最終的には両端に光ファイバーを接続し、最終的にはスイッチを NIC に接続することができましたが、iperf3 セッションには複数の 100GbE テスト ノードを使用する必要がありました。 今後数週間で 400GbE がカバーされるため、ケーブル配線やコネクタの一部がどのように複雑になるかについてさらに詳しく知ることになるでしょう。 このプロジェクトでは、4 つのノードをスイッチに接続するための「安価な」DAC を見つけるのに 1000 ドルほどを費やしました。

それでも、1x 200GbE リンクを試行したところ、次のような結果が得られました。

確かに 100GbE をはるかに超える速度が得られましたが、200Gbps を著しく下回っていました。 この速度では、そのレベルのパフォーマンスを得るにはさらに多くの NIC チューニングを行う必要があります。 間もなく 400GbE の結果が得られるようにするには、ここで行うことよりもさらに多くのことを行う必要がありました。そのため、リンクされ、100GbE を超える速度で転送されることを確認しましたが、最適化されていないことを確認したので、これをお読みください。

以下は、NIC へのスイッチを介して 2 つの 100GbE クライアントを試した結果です。

それはおそらく私たちが予想していたものに近いでしょう。

ここで簡単に注意していただきたいのは、セットアップされていない DPDK などを実行する必要があるということです。 200Gbps の速度での CPU 使用率は課題です。

このカードの PCIe バージョンの電源では、DAC では通常 16 ～ 20 W、光学系ではそれ以上の定格が期待されます。

私たちは研究室で主に NVIDIA (Mellanox) ConnectX-5/ConnectX-6 カード (および BlueField-2 DPU) を使用する傾向があり、Intel E800 シリーズも使用します。 それでも、Broadcom は NIC 市場で確固たるシェアを持っているため、当社は Broadcom を当社以上にカバーする必要があります。

これは、デュアル 100GbE アダプターまたはシングル 200GbE アダプターのいずれかです。 PCIe Gen4 x16 により、NIC を介してホストにデュアル 200GbE 速度を提供できないという制限があります。

これらのアダプターは RDMA やその他の機能をサポートしていますが、読者が探している機能が非常に多いため、カードに興味がある場合はそれらを探すことをお勧めします。

私たちがこのような種類のカードを見つけたときに、皆さんがそれを見て楽しんでいただければ幸いです。