UltraServers Amazon EC2

Les UltraServers Amazon Elastic Compute Cloud (Amazon EC2) sont idéaux pour les clients qui recherchent les meilleures performances d’entraînement et d’inférence en matière d’IA pour des modèles à une échelle de plusieurs milliards de paramètres. Les UltraServers connectent plusieurs instances EC2 à l’aide d’une interconnexion d’accélérateur dédiée, à bande passante élevée et à faible latence, ce qui vous permet de tirer parti d’un maillage d’accélérateurs étroitement couplé entre les instances EC2 et d’accéder à beaucoup plus de calcul et de mémoire que les instances EC2 autonomes.

Les serveurs EC2 UltraServer sont idéaux pour les plus grands modèles qui nécessitent plus de mémoire et de bande passante que ne peuvent fournir les instances EC2 autonomes. La conception d’UltraServer utilise la connectivité de l’accélérateur intra-instance pour connecter plusieurs instances en un seul nœud, ouvrant ainsi la voie à de nouvelles fonctionnalités. À titre d’inférence, les UltraServers contribuent à fournir un temps de réponse de pointe afin de créer les meilleures expériences en temps réel. En matière d’entraînement, les UltraServers augmentent la vitesse et l’efficacité de l’entraînement des modèles grâce à une communication collective plus rapide pour le parallélisme des modèles, par rapport aux instances autonomes. Les serveurs EC2 UltraServers prennent en charge la mise en réseau EFA et, lorsqu’ils sont déployés dans des UltraClusters EC2, permettent un entraînement réparti à l’échelle sur des dizaines de milliers d’accélérateurs sur un seul réseau non bloquant à l’échelle du pétabit. En offrant de meilleures performances pour l’entraînement et l’inférence, les UltraServers accélèrent votre temps de mise sur le marché et vous aident à fournir des applications en temps réel basées sur les modèles de fondation de nouvelle génération les plus performants.