Chez Anthropic, des millions de personnes font confiance à Claude au quotidien pour leur travail. Nous annonçons deux avancées majeures avec AWS : tout d’abord, un nouveau « mode optimisé pour la latence » pour Claude 3.5 Haiku, qui s’exécute 60 % plus rapidement sur Trainium2 via Amazon Bedrock. Ensuite, le projet Rainier, un nouveau cluster composé de centaines de milliers de puces Trainium2 délivrant des centaines d’exaflops, soit plus de cinq fois la taille de notre cluster précédent. Le projet Rainier contribuera à dynamiser à la fois nos recherches et notre prochaine génération de mise à l’échelle. Pour nos clients, cela signifie plus d’intelligence, des prix plus bas et des vitesses plus rapides. Nous ne nous contentons pas de créer une IA plus rapide, nous créons une IA fiable qui se met à l’échelle.

Mosaic AI de Databricks permet aux organisations de créer et de déployer des systèmes d’agents de qualité. Il est construit de manière native au-dessus du lac de données, permettant aux clients de personnaliser facilement et en toute sécurité leurs modèles à l’aide de données d’entreprise et de fournir des résultats plus précis et spécifiques à un domaine. Grâce à la haute performance et à la rentabilité de Trainium, les clients peuvent mettre à l’échelle l’entraînement des modèles sur Mosaic AI à un faible coût. La disponibilité de Trainium2 constituera un avantage majeur pour Databricks et ses clients, car la demande pour Mosaic AI continue de croître dans tous les segments de clientèle et dans le monde entier. Databricks, l’une des plus grandes entreprises de données et d’IA au monde, prévoit d’utiliser TRN2 pour fournir de meilleurs résultats et réduire le coût total de possession jusqu’à 30 % pour ses clients.

Chez Poolside, nous sommes prêts à construire un monde dans lequel l’IA sera à l’origine de la majorité des travaux à valeur économique et des progrès scientifiques. Nous pensons que le développement de logiciels sera la première capacité majeure des réseaux neuronaux à atteindre le niveau d’intelligence humaine, car c’est dans ce domaine que nous pouvons le mieux combiner les approches de recherche et d’apprentissage. Pour y parvenir, nous créons des modèles de base, une API et un assistant pour mettre la puissance de l’IA générative à la portée de vos développeurs (ou de leur clavier). L’infrastructure que nous utilisons pour créer et faire fonctionner nos produits est un élément essentiel de l’activation de cette technologie. Avec AWS Trainium2, nos clients seront en mesure d’étendre leur utilisation de Poolside à un rapport qualité/prix différent des autres accélérateurs d’IA. En outre, nous prévoyons de former les futurs modèles avec les serveurs Trainium2 UltraServer, avec des économies attendues de 40 % par rapport aux instances EC2 P5.

Nous avons testé AWS Trainium et Inferentia pour diverses tâches, allant de l’inférence standard à des applications optimisées. Les performances de ces puces d’intelligence artificielle nous ont permis de franchir des étapes importantes dans notre recherche et notre développement. Pour les tâches d’inférence par lots et en ligne, nous avons constaté une amélioration du débit 7 fois supérieure à celle des GPU. Ces performances accrues favorisent l’expansion de nouveaux cas d’utilisation dans l’ensemble de l’organisation. La dernière génération de puces Trainium2 offre des fonctionnalités révolutionnaires à GenAI et ouvre la voie à l’innovation chez Itau.

Nous sommes très enthousiastes à l’idée du lancement d’AWS TRN2, car nous pensons qu’il offrira les meilleures performances en matière de coût par jeton et la vitesse la plus rapide actuellement possible pour notre modèle de base Ninja LLM, basé sur Llama 3.1 405B. La faible latence de Trn2, associée à des prix compétitifs et à une disponibilité à la demande, est stupéfiante ; nous ne pouvons que nous réjouir de l’arrivée de Trn2 !

La migration vers les instances Trn1 a été facile et directe. Nous avons pu pré-entraîner notre paramètre 13B LLM en seulement 8 jours, en utilisant un cluster de 4 096 puces Trainium ! Après le succès obtenu avec notre petit modèle, nous avons optimisé un nouveau LLM plus grand basé sur Llama-3-Swallow-70B, et grâce à Trainium, nous avons pu réduire nos coûts de formation de 50 % et améliorer l’efficacité énergétique de 25 % par rapport à l’utilisation des dernières machines GPU d’AWS. Nous sommes ravis d’exploiter la dernière génération de puces AWS AI, Trainium2, pour continuer à fournir à nos clients les meilleures performances au moindre coût.

Ce que j’ai le plus apprécié dans la bibliothèque d’inférence AWS Neuron NxD, c’est la fluidité avec laquelle elle s’intègre aux modèles PyTorch. L’approche de NxD est simple et conviviale. Notre équipe a pu intégrer les modèles PyTorch de HuggingFace avec un minimum de modifications de code en peu de temps. L’activation des fonctionnalités avancées telles que le traitement par lots en continu et le décodage spéculatif était simple. Cette facilité d’utilisation améliore la productivité des développeurs, ce qui permet aux équipes de se concentrer davantage sur l’innovation et moins sur les problèmes d’intégration.

Les clients ont constaté une augmentation de 20 % des performances et de 1,5 fois le nombre de jetons par dollar avec les instances EC2 Inf2 par rapport aux instances EC2 G5. Les fonctionnalités de réglage de Refact.ai améliorent encore la capacité de nos clients à comprendre et à s’adapter à la base de code et à l’environnement uniques de leur organisation. Nous sommes également ravis de proposer les fonctionnalités de Trainium2, qui permettront un traitement encore plus rapide et plus efficace de nos flux de travail. Cette technologie avancée permettra à nos clients d’accélérer leur processus de développement logiciel, en augmentant la productivité des développeurs tout en maintenant des normes de sécurité strictes pour leur base de code.

KARAKURI développe des outils d’IA pour améliorer l’efficacité du support client basé sur le Web et simplifier l’expérience client. Ces outils incluent des chatbots dotés de fonctions d’IA génératives, des outils de centralisation des FAQ et un outil de réponse aux e-mails, qui améliorent tous l’efficacité et la qualité du support client. Grâce à AWS Trainium, nous avons réussi à former KARAKURI LM 8x7B Chat v0.1. Pour les start-ups, comme la nôtre, nous devons optimiser le temps de création et les coûts nécessaires à l’entraînement des LLM. Avec le soutien d’AWS Trainium et de l’équipe AWS, nous avons pu développer un LLM de niveau pratique en peu de temps. De plus, en adoptant AWS Inferentia, nous avons pu créer un service d’inférence rapide et rentable. Nous sommes très enthousiastes à propos de Trainium2 car il permettra de révolutionner notre processus d’entraînement en réduisant notre temps d’entraînement par deux et en atteignant de nouveaux records en matière d’efficacité !

Avec pour mission de « réinventer le mécanisme de création de valeur et de faire progresser l’humanité », Stockmark aide de nombreuses entreprises à créer et à développer des activités innovantes en fournissant une technologie de pointe en matière de traitement du langage naturel. Le nouveau service d’analyse et de collecte de données de Stockmark, appelé Anews et SAT, est un service de structuration des données qui améliore considérablement les utilisations de l’IA générative en organisant toutes les formes d’informations stockées dans une organisation, nous ont obligés à repenser la façon dont nous avons construit et déployé des modèles pour soutenir ces produits. Avec 256 accélérateurs Trainium, nous avons développé et publié stockmark- 13b, un grand modèle de langage avec 13 milliards de paramètres, pré-entraîné à partir de zéro sur un corpus de jeux de données japonaises de 220 milliards de tokens. Les instances Trn1 nous ont aidés à réduire nos coûts de formation de 20 %. En nous appuyant sur Trainium, nous avons développé avec succès un LLM capable de répondre aux questions critiques des professionnels avec une précision et une rapidité sans précédent. Ce résultat est d’autant plus remarquable que les entreprises sont souvent confrontées à la difficulté d’obtenir des ressources informatiques adéquates pour le développement de modèles. Grâce à la rapidité impressionnante et à la réduction des coûts des instances Trn1, nous sommes impatients de découvrir les avantages supplémentaires que Trainium2 apportera à nos flux de travail et à nos clients.

Brave est un navigateur et un moteur de recherche indépendants qui privilégient la protection de la vie privée et la sécurité des utilisateurs. Avec plus de 70 millions d’utilisateurs, nous proposons des protections de pointe qui rendent le Web plus sûr et plus convivial. Contrairement à d’autres plateformes qui ont abandonné les approches centrées sur l’utilisateur, Brave s’engage à donner la priorité à la confidentialité, à la sécurité et à la commodité. Les principales fonctionnalités incluent le blocage des scripts et des traceurs nuisibles, les résumés de pages assistés par l’IA et alimentés par des LLM, les services VPN intégrés, etc. Nous nous efforçons en permanence d’améliorer la rapidité et la rentabilité de nos services de recherche et de nos modèles d’IA. Pour y parvenir, nous sommes ravis de tirer parti des dernières fonctionnalités des puces d’IA AWS, notamment Trainium2, afin d’améliorer l’expérience utilisateur alors que nous nous adaptons à la gestion de milliards de requêtes de recherche par mois.

Chez Anyscale, nous nous engageons à fournir aux entreprises les meilleurs outils pour mettre à l’échelle les charges de travail liées à l’IA de manière efficace et rentable. Grâce à la prise en charge native des puces AWS Trainium et Inferentia, optimisée par notre environnement d’exécution RayTurbo, nos clients ont accès à des options performantes et rentables pour l’entraînement et la diffusion de modèle. Nous sommes désormais ravis d’unir nos forces à celles d’AWS sur Trainium2, offrant ainsi à nos clients de nouvelles opportunités d’innover rapidement et de proposer des expériences d’IA transformatrices hautement performantes à grande échelle.

Datadog, est une plateforme d’observabilité et de sécurité pour les applications cloud, fournit AWS Trainium et Inferentia Monitoring aux clients afin d’optimiser les performances des modèles, d’améliorer l’efficacité et de réduire les coûts. L’intégration de Datadog fournit une visibilité complète sur les opérations de machine learning et les performances des puces sous-jacentes, permettant une résolution proactive des problèmes et une évolutivité fluide de l’infrastructure. Nous sommes ravis d’étendre notre partenariat avec AWS pour le lancement d’AWS Trainium2, qui aide les utilisateurs à réduire les coûts d’infrastructure de l’IA à hauteur de 50 % et à stimuler la performance de l’entraînement et du déploiement des modèles.

Hugging Face est la principale plateforme ouverte pour les créateurs d’IA, avec plus de 2 millions de modèles, de jeux de données et d’applications d’IA partagés par une communauté de plus de 5 millions de chercheurs, de scientifiques des données, d’ingénieurs en machine learning et de développeurs de logiciels. Nous collaborons avec AWS depuis quelques années, ce qui a permis aux développeurs d’expérimenter plus facilement les avantages en matière de performances et de coûts d’AWS Inferentia et Trainium grâce à la bibliothèque open source Optimum Neuron, intégrée dans le point de terminaison d’inférence Hugging Face, et maintenant optimisée dans notre nouveau service d’auto-déploiement HUGS, disponible sur AWS Marketplace. Avec le lancement de Trainium2, nos utilisateurs pourront accéder à des performances encore plus élevées pour développer et déployer des modèles plus rapidement.

Lightning prend désormais en charge de manière native les puces AWS AI, Trainium et Inferentia, qui sont intégrées à Lightning Studios et à nos outils open source tels que PyTorch Lightning, Fabric et LitServe. Cela permet aux utilisateurs de préformer, d’optimiser et de déployer à grande échelle, en optimisant les coûts, la disponibilité et les performances sans frais de commutation, et en profitant des avantages en matière de performances et de coûts des puces AWS AI, notamment la dernière génération de puces Trainium2, offrant des performances supérieures à moindre coût.

Les entreprises innovantes doivent équilibrer la complexité technique, les coûts et la gouvernance, en maîtrisant les options étendues de l’IA pour obtenir un avantage concurrentiel. Chez Domino, nous nous engageons à donner à nos clients l’accès à des technologies de pointe. Le calcul étant à l’origine de nombreuses innovations révolutionnaires, nous sommes fiers de permettre à nos clients d’accéder à Trainium2 afin qu’ils puissent former et déployer des modèles plus performants, à moindre coût et avec une meilleure efficacité énergétique.