Broadcom BCM57508 NetXtreme

Jan 30, 2024

Às vezes você só quer ir rápido. O Broadcom BCM57508 NetXtreme-E é um adaptador OCP NIC 3.0 de 200 GbE. Fomos informados de que se tratava de um adaptador de 100 GbE, mas depois descobrimos que na verdade era uma versão de 200 GbE, então pensamos que valeria a pena mostrá-lo aos nossos leitores.

Aqui está a placa de rede Broadcom BCM57508 NetXtreme-E. Uma das maiores tendências em servidores é o uso do OCP NIC 3.0 Form Factor em servidores. Anos atrás, tínhamos um formato de mezanino diferente para quase todos os fornecedores de servidores. Agora, temos o fator de forma OCP NIC 3.0 que está sendo usado não apenas por hiperescaladores, mas também por fornecedores de servidores tradicionais.

Na parte traseira da placa, temos duas portas QSFP56. Isso permite uma comunicação de velocidade mais alta do que as portas 100GbE QSFP28 que vimos.

A Broadcom BCM57508 é uma das placas PCIe Gen4 x16 da empresa. Para conexões duplas de 200 GbE, seria necessário PCIe Gen5 x16 para ter a largura de banda do host para conduzir duas portas de 200 Gbps.

Aqui está uma rápida olhada no dissipador de calor. Essas placas e as versões PCIe têm um consumo de energia típico de menos de 20 W. Um dos maiores desafios para DPUs nesses fatores de forma é o consumo de energia e as placas OCP NIC 3.0 de resfriamento que são TDP mais alto.

Aqui está uma visão lateral do cartão.

Aqui é o outro lado.

Com isso, vamos dar uma olhada em como fica a NIC instalada.

Embora tenhamos sido informados quando fizemos a revisão do Supermicro SYS-221H-TNR de que este era um adaptador de 100 GbE, foi isso que vimos quando foi instalado no Ubuntu:

Verificando o ethtool, vimos 200000baseCR4/Full ou 200Gbps full duplex.

Temos um adaptador com capacidade de 200 GbE que poderíamos testar.

Um dos desafios é que, embora tenhamos uma tonelada de equipamentos de 100 GbE e teremos muitos equipamentos de 400 GbE, no lado de 200 GbE temos menos infraestrutura. Tínhamos o switch QSFP28-DD no Dell EMC S5248F-ON, mas não era QSFP56.

Acabamos obtendo ótica em cada extremidade e conseguimos vincular o switch ao NIC, mas tivemos que usar vários nós de teste de 100 GbE para sessões iperf3. Com a cobertura de 400 GbE nas próximas semanas, teremos mais informações sobre a complexidade de alguns cabos e conectores. Gastamos algo como $ 1.000 para encontrar DACs "baratos" para conectar quatro nós a um switch com esse projeto

Ainda assim, aqui está o que vimos tentando fazer um link 1x 200GbE:

Certamente superamos as velocidades de 100 GbE, mas também estávamos notavelmente fora de 200 Gbps. Nessas velocidades, precisamos fazer muito mais ajustes de NIC para obter esse nível de desempenho. Para nossos resultados de 400 GbE em breve, tivemos que fazer muito mais do que estamos fazendo aqui, então leia isto, pois verificamos que ele está vinculado e transferindo velocidades acima de 100 GbE, mas não é otimizado.

Aqui está o que obtivemos ao tentar dois clientes de 100 GbE por meio da troca para a NIC.

Isso provavelmente está mais próximo do que esperávamos.

Uma observação rápida aqui é que precisamos executar algo como DPDK ou similar que não foi configurado. A utilização da CPU em velocidades de 200 Gbps é um desafio.

Na alimentação, esperamos que uma versão PCIe desta placa seja classificada em 16-20 W típico com DACs e mais com óptica.

Costumamos usar principalmente placas NVIDIA (Mellanox) ConnectX-5/ ConnectX-6 (e BlueField-2 DPUs) no laboratório, e também a série Intel E800. Ainda assim, a Broadcom tem uma sólida participação no mercado de NICs, portanto devemos cobri-los mais do que o fazemos.

Este é mais um adaptador duplo de 100 GbE ou um único adaptador de 200 GbE. O PCIe Gen4 x16 nos limita a não obter velocidades duplas de 200 GbE para um host por meio da NIC.

Esses adaptadores suportam RDMA e outros recursos, mas como há tantos recursos que nossos leitores procuram, sugerimos que as pessoas procurem por eles se estiverem interessados ​​nos cartões.

Esperançosamente, as pessoas gostam de ver esses tipos de cartões quando os encontramos.