Perplexity acelera o treinamento de modelos em 40% com o Amazon SageMaker HyperPod

Ao contrário dos mecanismos de pesquisa tradicionais, que geralmente entregam anúncios e palavras-chave ao invés de resultados relevantes, a solução da Perplexity é otimizada para conectar os usuários ao conhecimento que eles procuram. Aproximadamente 10 milhões de usuários ativos mensais contam com a Perplexity para aprender novos conceitos, resolver desafios e encontrar respostas.

“Usando grandes modelos de linguagem, podemos capturar a compreensão e o raciocínio da linguagem humana em um único modelo. Combinado com os fatos na internet, isso nos ajudou a construir nosso mecanismo de respostas”, relata Aravind Srinivas, CEO e cofundador da Perplexity. “Essencialmente, unimos o índice de pesquisa tradicional (mecanismo de fatos) ao mecanismo de raciocínio (grande modelo de linguagem) para criar o primeiro mecanismo de resposta conversacional do mundo.”

Desde seu lançamento em 2022, a Perplexity usa os principais serviços da AWS, como o Amazon Elastic Compute Cloud (Amazon EC2) — que oferece capacidade computacional segura e redimensionável para praticamente qualquer workload — para alimentar os componentes de back-end, front-end e pesquisa do produto. À medida que a Perplexity amadurecia e crescia os modelos de ML, a empresa precisava de uma grande capacidade computacional para atender aos usuários.

A Perplexity conversou com especialistas da AWS e descobriu que o Amazon SageMaker HyperPod, uma infraestrutura criada especificamente para treinamento distribuído em grande escala, atenderia às necessidades de treinamento de modelos em grande escala. O Amazon SageMaker HyperPod é pré-configurado com as bibliotecas de treinamento distribuídas do Amazon SageMaker, otimizadas para processar paralelamente dados personalizados altamente escaláveis e econômicos e modelar trabalhos paralelos de treinamento de aprendizado profundo em velocidades de interconexão que excedem 1.600 Gbps. O Amazon SageMaker HyperPod também evita interrupções ao treinamento do modelo salvando periodicamente os pontos de verificação. Quando uma falha de hardware ocorre durante o treinamento, o serviço da AWS a detecta automaticamente, repara ou substitui a instância defeituosa e retoma o treinamento desde o último ponto de verificação salvo. Isso facilita o treinamento ininterrupto do modelo por semanas ou meses em um ambiente distribuído.

A AWS ofereceu à Perplexity um teste de um mês para demonstrar as capacidades de treinamento distribuído. Durante o teste, a empresa descobriu as vantagens de usar a AWS. A Perplexity ganhou maior flexibilidade na alocação de recursos. Ela usa diferentes tipos de instâncias do Amazon EC2 e GPUs personalizadas para tarefas específicas.

Para treinar modelos de ML, a Perplexity requer muita memória para processar grandes quantidades de dados e armazenar diferentes gradientes. Ela escolheu as Instâncias P4de do Amazon EC2, que oferecem a mais alta performance e computação para aplicações de treinamento de ML, para treinar seus modelos e atender os requisitos de memória e largura de banda. Ao usar o Amazon SageMaker HyperPod, a Perplexity transfere dados entre diferentes GPUs com muito mais rapidez, o que reduz o tempo de treinamento do modelo de ML em até 40%.

“As bibliotecas paralelas de dados e modelos incorporadas do Amazon SageMaker HyperPod nos ajudaram a otimizar o tempo de treinamento em GPUs e a dobrar o throughput dos treinamentos,” explica Srinivas. Como resultado, nossos experimentos de treinamento são duas vezes mais rápidos. Nossos desenvolvedores podem iterar com mais rapidez, acelerando o desenvolvimento de novas experiências de IA generativa para os clientes. Como o Amazon SageMaker HyperPod monitora automaticamente a integridade do cluster e corrige falhas de GPU, nossos desenvolvedores podem se concentrar na criação de modelos em vez de perderem tempo gerenciando e otimizando a infraestrutura subjacente.”

A meta da Perplexity é oferecer respostas rápidas e precisas às consultas dos usuários, o que requer recursos de inferência quase em tempo real. Usando as Instâncias P5 do Amazon EC2, que oferecem instâncias baseadas em GPU de performance mais alta para aplicações de aprendizado profundo, a Perplexity pode gerar respostas com um throughput muito maior do que antes. A empresa pode lidar com períodos de pico com 10.000 usuários simultâneos e mais de 100.000 consultas por hora, sem comprometer a latência nem afetar a experiência do usuário. A Perplexity também hospeda o modelo Llama 2 disponível publicamente nas Instâncias P5 do Amazon EC2 e usa o Amazon SageMaker HyperPod para ajustar o modelo de código aberto usando os próprios dados. Os modelos de ajuste ajudam a aprimorar a precisão e a relevância das respostas, adaptando o modelo às necessidades do mecanismo de respostas da Perplexity.