Clients d'Amazon FSx pour Lustre

Adobe a été fondée il y a 40 ans sur la simple idée de créer des produits innovants qui changent le monde. Adobe propose une technologie révolutionnaire qui permet à chacun, où qu’il soit, d’imaginer, de créer et de donner vie à n’importe quelle expérience numérique.

Défi : plutôt que de s’appuyer sur des modèles open source, Adobe a décidé de former ses propres modèles de fondation d’IA générative, adaptés à des cas d’utilisation créatifs.

Solution : Adobe a créé une autoroute de l’IA sur AWS afin de créer une plateforme d’entraînement de l’IA et des pipelines de données permettant d’itérer rapidement les modèles. Adobe a développé sa solution à l’aide d’instances Amazon Elastic Compute Cloud (Amazon EC2) P5 et P4d alimentées par des GPU NVIDIA, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Block Store (Amazon EBS) et Amazon Elastic Fabric Adapter (EFA). Adobe a également utilisé Amazon Simple Storage Service (Amazon S3) pour servir de lac de données et de référentiel principal pour de vastes quantités de données. Adobe a utilisé la solution de stockage de fichiers haute performance Amazon FSx pour Lustre, afin d’accéder rapidement aux données et de s’assurer que les ressources GPU ne restent jamais inutilisées.

LG AI Research En collaboration avec des experts en IA de renommée mondiale, LG AI Research vise à ouvrir la prochaine ère de l'IA afin de réaliser avec vous un avenir prometteur en fournissant un environnement de recherche optimal et en tirant parti des technologies d'intelligence artificielle de pointe.

Défi : LG AI Research avait besoin de déployer son modèle de fondation, EXAONE, en production en un an. EXAONE, qui signifie « IA experte pour tous », est un modèle multimodal de 300 milliards de paramètres qui utilise à la fois des images et des données textuelles.

Solution: LG AI Research a utilisé Amazon SageMaker pour entraîner son modèle de fondation à grande échelle, et Amazon FSx pour Lustre pour distribuer des données dans des instances afin d'accélérer l'entraînement des modèles. LG AI Research n'a mis qu'un an à déployer en production son modèle de fondation, EXAONE. En éliminant le besoin d'une équipe de gestion d'infrastructure distincte, LG AI Research a déployé avec succès EXAONE en un an et a réduit ses coûts d'environ 35 %.

Paige est le principal fournisseur de transformation numérique des pathologies. Il propose une solution Web complète basée sur l'IA qui apporte efficacité et fiabilité au diagnostic du cancer.

Défi : les solutions sur site de Paige ont atteint leur maximum. Leur objectif était de former des modèles d'IA et de machine learning pour aider à traiter la pathologie du cancer. Paige a découvert que plus ils disposent de capacités de calcul, plus vite ils peuvent entraîner leurs modèles et aider à résoudre les problèmes de diagnostic.

Solution : Pour exécuter ses charges de travail de formation au ML, Paige a sélectionné les instances Amazon EC2 P4d, alimentées par des GPU NVIDIA A100 Tensor Core, qui offrent des performances élevées pour la formation en ML et les applications HPC dans le cloud. Paige utilise Amazon FSx pour Lustre, un système de stockage partagé entièrement géré basé sur un système de fichiers très populaire à hautes performances. L'entreprise a connecté ce service à certains de ses compartiments Amazon S3, ce qui permet à ses équipes de développement de traiter des pétaoctets de données d'entrée ML sans avoir à préconfigurer manuellement les données sur des systèmes de fichiers à hautes performances. Grâce à la solution AWS, Paige peut entraîner 10 fois plus de données sur site à l'aide de l'infrastructure AWS pour le ML.  Paige a également bénéficié de flux de travail internes 72 % plus rapides avec Amazon EC2 et Amazon FSx pour Lustre. 

Le Toyota Research Institute choisit FSx pour Lustre afin de réduire les temps d’entraînement du machine learning en matière de reconnaissance d'objets.

Le Toyota Research Institute (TRI) collecte et traite de grandes quantités de données de capteurs provenant des essais de conduite de ses véhicules autonomes. Chaque ensemble de données d'entraînement est stocké sur un périphérique NAS sur site et transféré vers Amazon Simple Storage Service (Amazon S3) avant d'être traité sur un puissant cluster de calcul GPU. TRI avait besoin d'un système de fichiers à hautes performances pour l'associer à ses ressources de calcul, accélérer l’entraînement de ses modèles de ML et fournir des informations plus rapidement à ses scientifiques des données.

Shell propose un portefeuille dynamique d'options énergétiques, allant du pétrole, du gaz et de la pétrochimie à l'énergie éolienne, solaire et à l'hydrogène. Shell est fière de fournir l'énergie dont ses clients ont besoin pour améliorer leur vie. 

Défi : Shell s'appuie sur le HPC pour la création de modèles, les tests et la validation. De 2020 à 2022, l'utilisation du GPU a été inférieure à 90 % en moyenne, ce qui a entraîné des retards dans les projets et des limites à l'expérimentation de nouveaux algorithmes.

Solution : Shell augmente sa capacité de calcul sur site en passant au cloud avec les clusters Amazon EC2 et Amazon FSx pour Lustre. Cette solution permet à Shell d'augmenter ou de diminuer rapidement, et d'acheter de la capacité de calcul supplémentaire uniquement en cas de besoin. Les GPU de Shell sont désormais pleinement utilisés, ce qui réduit les coûts de calcul et accélère les tests de modèles de machine learning.

Storengy, filiale du groupe ENGIE, est l'un des principaux fournisseurs de gaz naturel. L'entreprise propose aux entreprises du monde entier des technologies de stockage de gaz, de solutions géothermiques, de production d'énergie sans carbone et de stockage.

Pour s'assurer que ses produits sont correctement stockés, Storengy utilise des simulateurs de haute technologie pour évaluer le stockage souterrain du gaz, un processus qui nécessite l’utilisation intensive de charges de travail informatiques à haute performance (HPC). L'entreprise utilise également la technologie HPC pour effectuer des tâches de découverte et d'exploration du gaz naturel.

Smartronix tire parti de FSx pour Lustre pour fournir des performances fiables et élevées pour ses déploiements SAS Grid.

Smartronix fournit des solutions cloud, de la cybersécurité, de l’intégration de systèmes, du C5ISR et de l’analyse de données dans le monde entier, ainsi que de l’ingénierie axée sur les missions pour de nombreuses organisations commerciales et fédérales parmi les plus importantes du monde. Smartronix s'est appuyée sur SAS Grid pour analyser et fournir des statistiques quotidiennes sur la COVID à l'échelle de l'État, et a trouvé son système de fichiers parallèle autogéré difficile à administrer et à protéger.

Netflix est un service de streaming qui propose une grande variété d'émissions de télévision, de films, de dessins d'animation, de documentaires primés, etc.

Défi : Netflix utilise un entraînement distribué à grande échelle pour les modèles de machine learning multimédia, pour les miniatures de post-production, les effets visuels et la génération de bandes-annonces pour des milliers de vidéos et des millions de clips. Netflix était confronté à de longues attentes en raison de la réplication entre nœuds et d'un temps d'inactivité du GPU de 40 %.

Solution : Netflix a repensé l'architecture de son pipeline de chargement de données et amélioré son efficacité en précalculant tous les clips vidéo/audio. Netflix a également choisi Amazon UltraClusters (instances EC2 P4d) pour accélérer les performances de calcul. Les performances d'Amazon FSx pour Lustre permettent à Netflix de saturer les GPU et d'éliminer pratiquement le temps d'inactivité des GPU. Netflix bénéficie désormais d'une amélioration de 3 à 4 fois supérieure grâce au précalcul et à FSx pour Lustre, réduisant ainsi le temps d'entrainement des modèles d'une semaine à 1 à 2 jours.

Hyundai Motor Company est devenue un constructeur automobile de renommée mondiale qui exporte ses véhicules de marque dans plus de 200 pays.

Défi : L'un des algorithmes souvent utilisés dans la conduite autonome est la segmentation sémantique, qui consiste à annoter chaque pixel d'une image à l'aide d'une classe d'objet. Ces classes peuvent être une route, une personne, une voiture, un bâtiment, la végétation, le ciel, etc. Hyundai teste la précision et recueille des images supplémentaires pour corriger les performances prédictives insuffisantes dans des situations spécifiques. Cela peut toutefois s'avérer difficile, car il n'y a souvent pas assez de temps pour préparer toutes les nouvelles données tout en laissant suffisamment de temps pour entraîner le modèle et respecter les délais prévus.

Solution : Hyundai a choisi Amazon SageMaker pour automatiser l'entraînement des modèles et la bibliothèque Amazon SageMaker pour le parallélisme des données, afin de passer d'un GPU unique à un entraînement distribué. Ils ont choisi Amazon FSx pour Lustre pour entraîner des modèles sans attendre de copies de données. Ils ont également choisi Amazon S3 pour le stockage permanent de leurs données. Hyundai a atteint une efficacité de mise à l'échelle allant jusqu'à 93 % avec 8 instances de GPU, soit 64 GPU au total. FSx pour Lustre a permis à Hyundai d'exécuter plusieurs tâches d'entraînement et expériences avec les mêmes données sans aucun temps d'attente.

Rivian a pour mission de faire en sorte que le monde reste à jamais aventureux. Nous pensons qu'il existe une façon plus responsable d'explorer le monde et nous sommes déterminés à faire de la transition vers le transport durable une expérience passionnante.

Pour respecter les calendriers d'ingénierie très courts et réduire le besoin de prototypes réels, le fabricant de véhicules électriques Rivian s'appuie sur des techniques avancées de modélisation et de simulation. Grâce à de grandes capacités de calcul, les simulations permettent aux ingénieurs de tester de nouveaux concepts et de mettre rapidement leurs conceptions sur le marché.

Denso développe des capteurs d'image pour les systèmes avancés d'assistance au conducteur (ADAS), qui aident les conducteurs à gérer des fonctions telles que le stationnement et le changement de voie.

Défi : pour développer les modèles ML nécessaires à la reconnaissance d'images ADAS, DENSO avait créé des clusters de GPU dans son environnement sur site. Cependant, plusieurs ingénieurs du ML partageaient des ressources GPU limitées, ce qui a eu une incidence sur la productivité, en particulier pendant la période chargée précédant le lancement d'un nouveau produit.

Solution : En adoptant Amazon SageMaker et Amazon FSx pour Lustre, Denso a pu accélérer la création de modèles de reconnaissance d'image ADAS en réduisant le temps d'acquisition de données, de développement de modèles, d'apprentissage et d'évaluation.

Joby Aviation utilise AWS pour révolutionner le transport.

Défi : les ingénieurs de Joby s'appuient sur le calcul haute performance (HPC) pour réaliser des milliers de simulations complexes et intensives de dynamique des fluides numériques (CFD) qui utilisent chacune des centaines de cœurs de CPU et peuvent prendre de nombreuses heures.

Solution : l'utilisation d'Amazon Elastic Compute Cloud (Amazon EC2) et d'Amazon FSx pour Lustre a permis à Joby d'obtenir des résultats plus rapides avec ses charges de travail CFD par rapport à une infrastructure de calcul haute performance sur site.

T-Mobile réalise des économies annuelles de 1,5 million de dollars et double la vitesse des charges de travail SAS Grid grâce à Amazon FSx pour Lustre.

Défi : T-Mobile connaissait des frais généraux de gestion élevés et des difficultés de performance avec sa charge de travail SAS Grid autogérée.

Solution : T-Mobile a déployé Amazon FSx pour Lustre, un système de fichiers hautes performances entièrement géré, pour migrer et faire évoluer son infrastructure SAS Grid. T-Mobile a utilisé l'intégration étroite d'Amazon FSx et S3 pour réduire ses frais de stockage et optimiser ses opérations.

La production de la quatrième saison de la série dramatique épisodique de Netflix « The Crown » a dû faire face à des défis inattendus. En effet, le monde s'est confiné en raison de la pandémie de COVID-19, juste au moment où le travail de post-production des effets visuels devait commencer. En adoptant un flux basé sur le cloud sur AWS, y compris le serveur de fichiers Amazon FSx Lustre pour améliorer le débit, l'équipe interne de Netflix chargée des effets visuels, composée de 10 artistes, a pu réaliser de manière transparente plus de 600 plans pour les 10 épisodes de la saison en seulement 8 mois, tout en travaillant à distance. 

Maxar utilise AWS pour fournir des prévisions 58 % plus rapidement que son superordinateur météorologique ne le permettait.

Défi : Maxar Technologies, partenaire de confiance et innovateur dans le domaine de l'intelligence terrestre et des infrastructures spatiales, avait besoin de fournir des prévisions météorologiques plus rapidement que son superordinateur sur site.

Solution : Maxar a travaillé avec AWS pour créer une solution HPC utilisant des technologies clés, notamment Amazon Elastic Compute Cloud (Amazon EC2) pour des ressources de calcul sécurisées et hautement fiables, Amazon FSx pour Lustre pour accélérer le débit de lecture/écriture de son application, et AWS ParallelCluster pour créer rapidement des environnements de calcul HPC sur AWS.

INEOS TEAM UK accélère la conception des bateaux pour la Coupe de l’America grâce à AWS.

Défi : créée en 2018, INEOS TEAM UK a pour objectif d'organiser la Coupe de l'America, le plus ancien trophée sportif international au monde, en Grande-Bretagne. La Coupe de l'America limite les essais sur l'eau à 150 jours au maximum avant l'événement. Des simulations de haute performance en dynamique des fluides numériques (CFD) des monocoques et de foils deviennent donc essentielles à la conception d'un bateau gagnant.  

Solution : à l'aide d'AWS, INEOS TEAM UK peut traiter des milliers de simulations de conception pour son équipe de la Coupe de l'America en une semaine, alors qu'il lui fallait plus d'un mois avec un environnement sur site. INEOS TEAM UK a participé à la 36e édition de la Coupe de l'America en 2021. L'équipe utilise un environnement HPC exécuté sur des instances Spot Amazon EC2.  Pour garantir des performances de disque rapides pour les milliers de simulations réalisées chaque semaine, l'équipe a également utilisé Amazon FSx pour Lustre afin de fournir un système de fichiers rapide, mis à l’échelle, sécurisé et hautes performances basé sur Amazon Simple Storage Service (S3).

Hive VFX réduit les coûts initiaux du studio et fonctionne comme un studio VFX dans le cloud sur AWS.

Défi : Hive avait besoin d'une infrastructure de haute performance pour lancer un petit studio cloud indépendant permettant aux artistes du monde entier de créer du contenu de qualité.

Solution : Amazon FSx pour Lustre entièrement géré, intégré à Amazon S3, a fourni un accès rapide aux ressources de calcul AWS sans investissement initial important ni expertise de la part de l'équipe informatique interne. La synchronisation transparente des données et des autorisations de fichiers entre FSx Lustre et S3 a permis à Hive VFX de stocker un grand volume d'images et de partager des données de projet entre les continents.

Lyell accélère ses recherches sur le traitement cellulaire du cancer grâce à Amazon FSx pour Lustre.

Défi : Lyell fournit des traitements contre le cancer à base de cellules qui nécessitent la conception informatique de protéines à grande échelle. Ces charges de travail étaient traditionnellement exécutées sur site, mais l'entreprise avait besoin d'une solution plus évolutive et plus rentable, car elle était limitée à une seule expérience par mois.

Solution : depuis la migration de leur système de fichiers vers FSx pour Lustre, les scientifiques des données peuvent mettre en marche et arrêter des milliers de clusters HPC composés d'instances EC2 et de systèmes de fichiers Amazon FSx, ce qui leur permet d'exécuter rapidement des expériences lourdes en termes de traitement, et de ne payer pour le calcul et le stockage que pour la durée de la charge de travail.

BlackThorn Therapeutics accélère l'obtention d’informations grâce à FSx pour Lustre.

Défi : le traitement des données d'imagerie par résonance magnétique (IRM) à l'aide de systèmes de fichiers cloud faits maison standard exigeait beaucoup de ressources et de temps. BlackThorn avait besoin d'une solution de stockage de fichiers partagés à forte intensité de calcul pour simplifier ses flux de travail de science des données et de machine learning.

Solution : Amazon FSx pour Lustre est intégré à Amazon S3 et Amazon SageMaker, ce qui permet un traitement rapide de leurs ensembles de données d’entraînement ML ainsi qu'un accès transparent aux calculs grâce aux instances Amazon EC2.

Qubole améliore la durabilité des données tout en réduisant les coûts grâce à Amazon FSx pour Lustre.

Défi : Qubole recherchait une solution de stockage haute performance pour traiter les charges de travail analytiques et d'IA/ML de ses clients. Ils avaient besoin de stocker et de traiter facilement les données intermédiaires contenues dans leur parc d’instances Spot EC2.

Solution : Qubole a utilisé Amazon FSx pour Lustre pour stocker et traiter des données intermédiaires via son système de fichiers parallèle à haut débit.