Amazon EC2 UltraServers

Os servidores UltraServers do Amazon Elastic Compute Cloud (Amazon EC2) são ideais para clientes que buscam a mais alta performance em treinamento e em inferência de IA para modelos em escala de trilhões de parâmetros. Os servidores UltraServers conectam diversas instâncias do EC2 por meio de uma interconexão de aceleradores dedicada com alta largura de banda e baixa latência. Isso possibilita o uso de uma malha de aceleradores fortemente acoplada entre as instâncias do EC2 e o acesso a muito mais capacidade de computação e memória em comparação com instâncias autônomas do EC2.

Os servidores UltraServers do EC2 são perfeitos para os modelos mais complexos que necessitam de mais memória e mais largura de banda de memória do que as instâncias autônomas do EC2 conseguem disponibilizar. O projeto do UltraServer usa a conectividade de aceleradores internos às instâncias para conectar várias instâncias em um único nó, desbloqueando novas funcionalidades. Para tarefas de inferência, os servidores UltraServers contribuem para proporcionar tempos de resposta de ponta, garantindo as melhores experiências em tempo real. Para tarefas de treinamento, os UltraServers aumentam a velocidade e a eficiência do treinamento de modelos com uma comunicação coletiva mais rápida para o paralelismo de modelos, em comparação com as instâncias autônomas. Os servidores UltraServers do EC2 são compatíveis com a rede EFA e, ao serem implantados em UltraClusters do EC2, possibilitam o treinamento distribuído do aumento horizontal da escala, com dezenas de milhares de aceleradores em uma rede de escala petabit sem bloqueios. Ao fornecer uma performance superior tanto para o treinamento quanto para a inferência, os servidores UltraServers agilizam o tempo de introdução no mercado e ajudam a disponibilizar aplicações em tempo real impulsionadas pelos modelos de base de próxima geração com maior performance.