Instancias P5 de Amazon EC2

Instancias basadas en GPU de máximo rendimiento para aplicaciones de aprendizaje profundo y HPC
Comience a usar las instancias P5
Reservar para uso futuro

¿Por qué elegir las instancias P5 de Amazon EC2?

Las instancias P5 de Amazon Elastic Compute Cloud (Amazon EC2), impulsadas por las GPU NVIDIA H100 Tensor Core, y las instancias P5e y P5en, impulsadas por las GPU NVIDIA H200 Tensor Core, ofrecen el máximo rendimiento en Amazon EC2 para aplicaciones de aprendizaje profundo (DL) y computación de alto rendimiento (HPC). Le ayudan a acelerar el tiempo de creación de soluciones hasta cuatro veces, en comparación con las instancias de EC2 basadas en GPU de la generación anterior, y a reducir los costos de entrenamiento de ML hasta un 40 %. Las instancias P5 le ayudan a iterar sus soluciones a un ritmo más rápido y a lanzarlas al mercado con mayor rapidez. Puede usar las instancias P5, P5e y P5en para entrenar e implementar modelos de lenguaje grande (LLM) y modelos de difusión cada vez más complejos que impulsan las aplicaciones de inteligencia artificial (IA) generativa más exigentes. Estas aplicaciones incluyen la respuesta a preguntas, la generación de código, la generación de video e imágenes y el reconocimiento de voz. También puede usar las instancias para implementar aplicaciones de HPC exigentes a escala en el descubrimiento farmacéutico, el análisis sísmico, la previsión meteorológica y la modelización financiera.

Para ofrecer estas mejoras de rendimiento y ahorro de costos, las instancias P5 y P5e complementan las GPU NVIDIA H100 y H200 Tensor Core con un rendimiento de la CPU 2 veces superior, 2 veces más memoria del sistema y 4 veces más almacenamiento local en comparación con las instancias basadas en GPU de la generación anterior. Las instancias P5en combinan las GPU NVIDIA H200 Tensor Core con la CPU Intel Sapphire Rapids de alto rendimiento, lo que permite utilizar Gen5 PCIe entre la CPU y la GPU. Las instancias P5en proporcionan hasta el doble de ancho de banda entre la CPU y la GPU y reducen la latencia de red en comparación con las instancias P5e y P5, lo que mejora el rendimiento del entrenamiento distribuido. La compatibilidad con las instancias P5 y P5e proporciona hasta 3200 Gbps de red mediante el adaptador Elastic Fabric Adapter (EFA) de segunda generación. Las instancias P5en, con la tercera generación de EFA que utiliza Nitro v5, muestran una mejora de la latencia de hasta un 35 % en comparación con las instancias P5, que utilizan la generación anterior de EFA y Nitro. Esto ayuda a mejorar el rendimiento de las comunicaciones colectivas para cargas de trabajo de entrenamiento distribuido, como el aprendizaje profundo, la IA generativa, el procesamiento de datos en tiempo real y las aplicaciones de computación de alto rendimiento (HPC). Para ofrecer procesamiento a gran escala con baja latencia, estas instancias se implementan en Amazon EC2 UltraClusters, que permiten escalar hasta 20 000 GPU H100 o H200 interconectadas con una red sin bloqueos a escala de petabits. Las instancias P5, P5e y P5en en UltraClusters de EC2 pueden ofrecer hasta 20 exaflops de capacidad de cálculo agregada, un rendimiento equivalente al de una supercomputadora.

Instancias P5 de Amazon EC2

Beneficios

Las instancias P5, P5e y P5en pueden entrenar modelos de IA generativa ultragrandes a escala y ofrecer hasta 4 veces el rendimiento de las instancias de EC2 basadas en GPU de la generación anterior.

Las instancias P5, P5e y P5en reducen los tiempos de entrenamiento y el tiempo de creación de soluciones de semanas a solo unos días. Esto lo ayuda a iterar a un ritmo más rápido y a llegar al mercado con más rapidez.

Las instancias P5, P5e y P5en ofrecen hasta un 40% de ahorro en costos de formación DL e infraestructura HPC en comparación con las instancias de EC2 basadas en GPU de la generación anterior.

Las instancias P5, P5e y P5en proporcionan hasta 3200 Gbps de red EFA. Estas instancias se implementan en EC2 UltraClusters y ofrecen 20 exaflops de capacidad de computación agregada.

Características

Las instancias P5 proporcionan hasta 8 GPU NVIDIA H100 con un total de hasta 640 GB de memoria de GPU HBM3 por instancia. Las instancias P5e y P5en proporcionan hasta 8 GPU NVIDIA H200 con un total de hasta 1128 GB de memoria de GPU HBM3e por instancia. Ambas instancias admiten hasta 900 GB/s de interconexión de GPU NVSwitch (un total de 3,6 TB/s de ancho de banda biseccional en cada instancia), por lo que cada GPU puede comunicarse con las demás GPU de la misma instancia con una latencia de un solo salto.

Las GPU NVIDIA H100 y H200 tienen un nuevo motor transformador que administra de forma inteligente y elige de forma dinámica entre los cálculos de FP8 y de 16 bits. Esta característica ayuda a acelerar el entrenamiento de aprendizaje profundo más rápido en los LLM en comparación con las GPU A100 de la generación anterior. Para las cargas de trabajo de HPC, las GPU NVIDIA H100 y H200 tienen nuevas instrucciones DPX que aceleran aún más los algoritmos de programación dinámica en comparación con las GPU A100.

Las instancias P5, P5e y P5en ofrecen hasta 3200 Gbps de red EFA. EFA se combina con NVIDIA GPUDirect RDMA para permitir comunicación de GPU a GPU de baja latencia entre servidores con omisión de sistema operativo.

Las instancias P5, P5e y P5en son compatibles con los sistemas de archivos Amazon FSx para Lustre para que pueda acceder a los datos con los cientos de GB/s de rendimiento y los millones de IOPS necesarios para las cargas de trabajo de HPC y aprendizaje profundo a gran escala. Cada instancia también admite hasta 30 TB de almacenamiento SSD NVMe local para un acceso rápido a grandes conjuntos de datos. También puede utilizar un almacenamiento rentable prácticamente ilimitado con Amazon Simple Storage Service (Amazon S3).

Testimonios de clientes

Estos son algunos ejemplos de cómo los clientes y socios lograron sus objetivos empresariales con las instancias P4 de Amazon EC2.

  • Anthropic

    Anthropic crea sistemas de IA confiables, interpretables y dirigibles que tendrán muchas oportunidades de crear valor de manera comercial y beneficiar al público.

    En Anthropic, estamos trabajando para crear sistemas de IA confiables, interpretables y dirigibles. Si bien los grandes sistemas generales de IA actuales pueden tener beneficios significativos, también pueden ser impredecibles, poco confiables y opacos. Nuestro objetivo es avanzar en estos temas e implementar sistemas que las personas consideren útiles. Nuestra organización es una de las pocas en el mundo que está creando modelos fundamentales para la investigación del aprendizaje profundo. Estos modelos son muy complejos y, para desarrollar y entrenar estos modelos de vanguardia, necesitamos distribuirlos de manera eficiente en grandes clústeres de GPU. En la actualidad, utilizamos ampliamente las instancias P4 de Amazon EC2 y nos entusiasma el lanzamiento de las instancias P5. Esperamos que ofrezcan beneficios sustanciales en relación con la relación precio-rendimiento en comparación con las instancias P4d, y que estén disponibles a la escala masiva necesaria para crear LLM de próxima generación y productos relacionados.

    Tom Brown, Cofounder, Anthropic

  • Cohere

    Cohere, uno de los principales pioneros en IA lingüística, permite a todos los desarrolladores y empresas crear productos increíbles con la tecnología de procesamiento de lenguaje natural (NLP) líder en el mundo y, al mismo tiempo, mantener sus datos privados y seguros

    Cohere es líder a la hora de ayudar a todas las empresas a aprovechar el poder de la IA lingüística para explorar, generar, buscar y actuar en función de la información de una manera natural e intuitiva, ya que permite implementarla en múltiples plataformas de nube en el entorno de datos que mejor funcione para cada cliente. Las instancias P5 de Amazon EC2 con tecnología de NVIDIA H100 darán rienda suelta a la capacidad de las empresas para crear, crecer y escalar más rápido con su potencia de computación combinada con las capacidades de IA generativa y LLM de última generación de Cohere.

    Aidan Gomez, CEO, Cohere

  • Hugging Face

    Hugging Face tiene la misión de democratizar el buen ML.

    Como la comunidad de código abierto de ML de más rápido crecimiento, ahora ofrecemos más de 150 000 modelos previamente entrenados y 25 000 conjuntos de datos en nuestra plataforma para NLP, visión artificial, biología, aprendizaje por refuerzo, etc. Con avances significativos en LLM e IA generativa, estamos trabajando con AWS para crear y contribuir a los modelos de código abierto del mañana. Esperamos poder utilizar las instancias P5 de Amazon EC2 a través de Amazon SageMaker a escala en UltraClusters con EFA para acelerar la entrega de nuevos modelos básicos de IA para todos.

    Julien Chaumond, CTO y Cofounder, Hugging Face

Detalles del producto

Tamaño de la instancia vCPU Memoria de la instancia (TiB) GPU   Memoria de GPU Ancho de banda de la red (Gbps) GPUDirect RDMA GPU de pares Almacenamiento de la instancia (TB) Ancho de banda de EBS (Gbps)
p5.48xlarge 192 2 8 H100 640 GB
HBM3		 3200 Gbps EFA Sí 900 GB/s NVSwitch 8 x 3,84 SSD NVMe 80
p5e.48xlarge 192 2 8 H200 1128 GB
HBM3e		 3200 Gbps de EFA Sí 900 GB/s NVSwitch 8 x 3,84 SSD NVMe 80
p5en.48xlarge 192 2 8 H200 1128 GB HBM3e 3200 Gbps de EFA Sí 900 GB/s NVSwitch 8 x 3,84 SSD NVMe 100

Introducción a los casos de uso de ML

SageMaker es un servicio completamente administrado que sirve para crear, entrenar e implementar modelos de machine learning (ML). Con SageMaker HyperPod, puede escalar más fácilmente decenas, cientos o miles de GPU para entrenar rápidamente un modelo a cualquier escala sin preocuparse de tener que configurar y administrar clústeres de entrenamiento resilientes.

Con las DLAMI, los investigadores y profesionales de ML acceden a la infraestructura y las herramientas necesarias para agilizar las tareas de DL en la nube, a cualquier escala. Los contenedores de aprendizaje profundo son imágenes de Docker preinstaladas con marcos de DL, que facilitan la implementación de entornos personalizados de ML con la eliminación de los complicados procesos de creación y optimización de entornos desde cero.

Si prefiere administrar sus propias cargas de trabajo en contenedores mediante servicios de orquestación de contenedores, puede implementar instancias P5, P5e y P5en con Amazon EKS o Amazon ECS.

Introducción a los casos de uso de HPC

Las instancias P5, P5e y P5en son una plataforma ideal para ejecutar simulaciones de ingeniería, finanza computacional, análisis sísmico, modelado molecular, genómica, representaciones y otras cargas de trabajo de HPC con GPU. Con frecuencia, las aplicaciones de HPC exigen un alto nivel de rendimiento de red, almacenamiento ágil, gran capacidad de memoria, capacidades informáticas altas o todas estas características juntas. Estos tres tipos de instancia son compatibles con EFA, que permite que las aplicaciones de HPC que utilizan Message Passing Interface (MPI) escalen a miles de GPU. AWS Batch y AWS ParallelCluster ayudan a los desarrolladores de HPC a crear y escalar rápidamente aplicaciones de HPC distribuidas.

Más información