NVIDIA Connect X

Às vezes você só quer ir rápido. Temos discutido a rede de 400 Gbps recentemente no contexto de ser uma nova capacidade que os slots PCIe Gen5 x16 podem suportar. Hoje, vamos dar uma olhada na configuração usando NDR 400 Gbps Infiniband/400 GbE.

Um agradecimento especial ao PNY. Não sabíamos disso há um ano, mas a PNY não apenas vende GPUs de estação de trabalho NVIDIA, mas também seus componentes de rede. Estávamos trabalhando em um switch de 400 GbE e, nas discussões, surgiu a ideia de que deveríamos revisar essas placas como parte desse processo. Isso pode parecer fácil, mas é um grande salto da rede de 100 GbE para 400 GbE e os cartões MCX75310AAS-NEAT são produtos populares no momento devido à quantidade de pessoas que desejam implantar equipamentos de rede de última geração.

O ConnectX-7 (MCX75310AAS-NEAT) é uma placa PCIe Gen5 x16 de baixo perfil. Tiramos fotos com o suporte de altura total, mas há um suporte de baixo perfil na caixa.

Algo que deve chamar a atenção das pessoas é o tamanho da solução de resfriamento. Apenas para dar uma ideia de quão cedo estamos nisso, procuramos as especificações de energia no ConnectX-7 e não conseguimos encontrá-las. Pedimos à NVIDIA por meio de canais oficiais pelas especificações. Estamos publicando esta peça sem eles, pois parece que a NVIDIA não tem certeza do que é no momento. É um pouco estranho que a NVIDIA não publique apenas as especificações de energia dessas placas em sua folha de dados.

Aqui está a parte de trás do cartão com uma divertida placa traseira do dissipador de calor.

Aqui está uma visão lateral da placa olhando do conector PCIe Gen5 x16.

Aqui está outra visão de cima do cartão.

Aqui está uma visão olhando da direção que o fluxo de ar deve viajar na maioria dos servidores.

Para uma perspectiva rápida aqui, esta é uma placa de porta única de baixo perfil rodando a velocidades de 400 Gbps. Isso é uma quantidade imensa de largura de banda.

Com um cartão como este, um dos aspectos mais importantes é instalá-lo em um sistema que possa utilizar a velocidade.

Felizmente, nós os instalamos em nossos servidores Supermicro SYS-111C-NR 1U e Supermicro SYS-221H-TNR 2U e eles funcionaram sem problemas.

O SYS-111C-NR nos fez apreciar nós de soquete único, pois não precisamos evitar soquete a soquete quando configuramos o sistema. Em velocidades de 10/40 Gbps e até mesmo de 25/50 Gbps, ouvimos as pessoas discutirem a travessia de links soquete a soquete como desafios de desempenho. Com 100GbE, tornou-se mais agudo e muito comum ter um adaptador de rede por CPU para evitar travessia. Com velocidades de 400 GbE, o impacto é significativamente pior. Usando servidores de soquete duplo com uma única placa de 400 GbE, pode valer a pena examinar os adaptadores multi-host que podem se conectar diretamente a cada CPU.

Depois que os cartões foram instalados, tivemos o próximo desafio. As placas usam gaiolas OSFP. Nosso switch 400GbE usa QSFP-DD.

Os dois padrões são um pouco diferentes em termos de níveis de potência e design físico. Pode-se adaptar QSFP-DD para OSFP, mas não o contrário. Se você nunca viu uma óptica OSFP ou DAC, eles têm sua própria solução de gerenciamento térmico. O QSFP-DD na parte superior usa dissipadores de calor nas gaiolas QSFP-DD. O OSFP geralmente inclui a solução de resfriamento que temos nos DACs e ótica OSFP de nosso laboratório.

Isso nos levou a alguns dias de pânico. Os DACs Amphenol OSFP de $ 500, bem como os DACs OSFP para QSFP-DD disponíveis, utilizaram a solução de resfriamento do dissipador de calor. Enviamos tudo para o laboratório para conectar apenas para obter uma observação de que as extremidades OSFP dos DACs não cabiam nas portas OSFP das placas ConnectX-7 devido ao resfriamento direto nos DACs.

A razão pela qual a NVIDIA está usando o OSFP é provavelmente devido ao nível de energia mais alto. O OSFP permite óptica de 15 W, enquanto o QSFP-DD é de 12 W. No início dos ciclos de adoção, ter tetos de energia mais altos permite uma adoção antecipada mais fácil, que é uma das razões pelas quais existem coisas como módulos CFP8 de 24 W. Por outro lado, já analisamos a ótica FS 400Gbase-SR8 400GbE QSFP-DD para que o mercado esteja em movimento.

Algumas ligações depois, tínhamos cabos que funcionariam. Nossa principal conclusão, quer você esteja usando adaptadores ConnectX-7 OSFP hoje, ou se estiver lendo este artigo daqui a 5 anos, quando eles se tornarem equipamentos baratos de segunda mão, é ter em mente o tamanho do dissipador de calor na extremidade OSFP que você conecta ao ConnectX- 7. Se você está acostumado com QSFP/QSFP-DD, onde tudo se conecta e funciona, há um desafio maior em se deparar com problemas bobos como tamanhos de conectores. Por outro lado, se você for um provedor de soluções, esta é uma oportunidade para suporte de serviços profissionais. A NVIDIA e revendedores como a PNY também vendem cabos LinkX, o que seria um caminho mais fácil. Essa é uma grande lição aprendida.