Perplexity accélère l’entraînement des modèles de fondation de 40 % grâce à Amazon SageMaker HyperPod

Contrairement aux moteurs de recherche traditionnels, qui diffusent souvent des publicités et des mots clés spécifiques par rapport aux résultats pertinents, la solution de Perplexity est optimisée pour connecter les utilisateurs aux informations qu’ils recherchent. Environ 10 millions d’utilisateurs actifs par mois font confiance à Perplexity pour apprendre de nouveaux concepts, résoudre des problèmes et trouver des réponses.

« À l’aide de grands modèles de langage, nous pouvons regrouper les capacités de compréhension et de raisonnement du langage humain dans un seul modèle. Cela, combiné aux informations disponibles sur Internet, nous a aidés à créer notre moteur de réponses », affirme Aravind Srinivas, PDG et cofondateur de Perplexity. « Nous avons essentiellement orchestré ensemble un index de recherche traditionnel (moteur de faits) et un moteur de raisonnement (grand modèle de langage) pour créer le premier moteur de réponses conversationnelles au monde. »

Depuis son lancement en 2022, Perplexity utilise les principaux services AWS tels qu’Amazon Elastic Compute Cloud (Amazon EC2), qui fournit une capacité de calcul sécurisée et redimensionnable pour pratiquement toutes les charges de travail, pour alimenter la dorsal, le front-end et les composants de recherche de son produit. À mesure que Perplexity gagnait en maturité et que le nombre de ses modèles de ML augmentait, elle avait besoin d’une puissance de calcul massive pour répondre aux besoins des utilisateurs.

Perplexity s’est entretenue avec des experts AWS et a découvert qu’Amazon SageMaker HyperPod, une infrastructure spécialement conçue pour l’entraînement distribué à grande échelle, pouvait répondre à ses besoins en matière d’entraînement de modèles à grande échelle. Amazon SageMaker HyperPod est préconfiguré avec les bibliothèques d’entraînement distribué Amazon SageMaker, qui sont optimisées pour exécuter des tâches d’entraînement de deep learning en parallèle de données et de modèles personnalisés hautement évolutifs et rentables à des vitesses d’interconnexion supérieures à 1 600 Gbit/s. Amazon SageMaker HyperPod empêche également les interruptions de l’entraînement des modèles de fondation en enregistrant régulièrement les points de contrôle. Lorsqu’une panne matérielle survient pendant l’entraînement, le service AWS détecte automatiquement la panne, répare ou remplace l’instance défectueuse et reprend l’entraînement à partir du dernier point de contrôle enregistré. Cela facilite l’entraînement ininterrompu des modèles pendant des semaines ou des mois dans un environnement distribué.

AWS a proposé à Perplexity un mois d’essai pour montrer ses capacités d’entraînement distribué, durant lequel l’entreprise a pu découvrir les avantages de l’utilisation d’AWS. Par exemple, Perplexity a gagné en flexibilité dans l’allocation des ressources ; elle utilise différents types d’instances Amazon EC2 et des GPU adaptés à des tâches spécifiques.

Pour entraîner les modèles de ML, Perplexity a besoin de grandes quantités de mémoire, afin de pouvoir exécuter d’énormes quantités de données et stocker différents gradients. Elle a choisi les instances P4de Amazon EC2, qui offrent les meilleures performances pour l’entraînement ML et les applications informatiques hautes performances, pour exécuter les tâches d’entraînement, en respectant les exigences en matière de mémoire et de bande passante. En utilisant Amazon SageMaker HyperPod, Perplexity transfère les données entre différents GPU beaucoup plus rapidement, ce qui a permis de réduire le temps d’entraînement des modèles de ML de 40 %.

« Les bibliothèques parallèles de données et de modèles intégrées à Amazon SageMaker HyperPod nous ont permis d’optimiser le temps d’entraînement sur les GPU et de doubler le débit d’entraînement », explique Aravind Srinivas. « Par conséquent, nos expériences d’entraînement peuvent désormais s’exécuter deux fois plus vite, ce qui signifie que nos développeurs peuvent itérer plus rapidement, accélérant ainsi le développement de nouvelles expériences d’IA générative pour nos clients. Amazon SageMaker HyperPod surveillant l’état des clusters et remédiant aux défaillances des GPU automatiquement, nos développeurs peuvent se concentrer sur l’élaboration de modèles au lieu de passer du temps à gérer et à optimiser l’infrastructure sous-jacente. »

Perplexity vise à fournir des réponses rapides et précises aux requêtes des utilisateurs, ce qui nécessite des capacités d’inférence en temps quasi réel. Grâce aux instances P5 Amazon EC2, les instances basées sur GPU les plus performantes pour les applications de deep learning, Perplexity peut générer des réponses à un débit bien plus élevé qu’auparavant. En fait, l’entreprise peut gérer des périodes de pointe avec 10 000 utilisateurs simultanés et plus de 100 000 requêtes par heure sans compromettre la latence ni affecter l’expérience utilisateur. Perplexity héberge également le modèle Llama 2, accessible au public sur les instances P5 Amazon EC2, et utilise Amazon SageMaker HyperPod pour affiner le modèle open source à l’aide de ses propres données. Le réglage affiné des modèles permet d’améliorer la précision et la pertinence des réponses, en adaptant le modèle aux besoins du moteur de réponses de Perplexity.