UltraServers de Amazon EC2

Los servidores UltraServer de Amazon Elastic Compute Cloud (Amazon EC2) son ideales para los clientes que buscan el máximo rendimiento de inferencia y entrenamiento de IA para modelos a una escala de un billón de parámetros. Los UltraServer conectan varias instancias de EC2 mediante una interconexión dedicada de acelerador de alto ancho de banda y baja latencia, lo que le permite aprovechar una red de aceleradores estrechamente acoplada en todas las instancias de EC2 y acceder a una cantidad considerable de mayor capacidad de cómputo y memoria que las instancias de EC2 independientes.

Los UltraServer de EC2 son ideales para los modelos más grandes que requieren más memoria y más ancho de banda de memoria que los que pueden proporcionar las instancias de EC2 independientes. El diseño de UltraServer utiliza la conectividad del acelerador entre instancias para conectar varias instancias en un nodo, lo que desbloquea nuevas capacidades. A modo de inferencia, los UltraServers ayudan a ofrecer un tiempo de respuesta líder en la industria para crear las mejores experiencias en tiempo real. En cuanto al entrenamiento, los UltraServers aumentan la velocidad y la eficiencia del entrenamiento de modelos con una comunicación colectiva más rápida para lograr el paralelismo de los modelos en comparación con las instancias independientes. Los UltraServer de EC2 admiten redes EFA y, cuando se implementan en UltraClusters de EC2, permiten un entrenamiento distribuido y escalable en decenas de miles de aceleradores en una sola red sin bloqueos a escala de petabit. Al ofrecer un mayor rendimiento tanto para la formación como para la inferencia, los UltraServers aceleran el tiempo de comercialización y lo ayudan a ofrecer aplicaciones en tiempo real impulsadas por los modelos fundacionales de última generación con mayor rendimiento.