Le istanze P5 di Amazon Elastic Compute Cloud (Amazon EC2), basate su GPU NVIDIA H100 Tensor Core, e le istanze P5e e P5en basate su GPU NVIDIA H200 Tensor Core offrono le massime prestazioni in Amazon EC2 per applicazioni di deep learning (DL) e calcolo ad alte prestazioni (HPC). Permettono di accelerare i tempi di soluzione fino a 4 volte rispetto alle istanze EC2 basate su GPU di generazione precedente e a ridurre i costi di addestramento dei modelli di ML fino al 40%. Queste istanze ti aiutano a iterare sulle tue soluzioni a un ritmo più rapido e a raggiungere il mercato più rapidamente. Puoi utilizzare le istanze P5, P5e e P5en per addestrare e implementare modelli linguistici di grandi dimensioni (LLM) e modelli di diffusione sempre più complessi che supportano le applicazioni di intelligenza artificiale (IA) generativa più esigenti. Tali applicazioni includono la risposta a domande, la generazione di codice, la generazione di video e immagini e il riconoscimento vocale. Puoi utilizzare queste istanze anche per implementare applicazioni HPC impegnative su larga scala per la scoperta farmaceutica, l'analisi sismica, le previsioni meteorologiche e la modellazione finanziaria.

Per offrire questi miglioramenti delle prestazioni e risparmiare sui costi, le istanze P5 e P5e completano le GPU NVIDIA H100 e H200 Tensor Core con prestazioni della CPU e memoria di sistema due volte superiori, nonché uno spazio di archiviazione locale quadruplo rispetto alle istanze basate sulle GPU di generazione precedente. Le istanze P5en abbinano le GPU NVIDIA H200 Tensor Core alla CPU Intel Sapphire Rapids ad alte prestazioni, abilitando il PCIe Gen5 tra CPU e GPU. Le istanze P5en offrono una larghezza di banda fino a due volte superiore tra CPU e GPU e una latenza di rete inferiore rispetto alle istanze P5e e P5, migliorando così le prestazioni di addestramento distribuito. Le istanze P5 e P5e supportano fino a 3.200 Gbps di rete utilizzando l'Elastic Fabric Adapter (EFA) di seconda generazione. Le istanze P5en, con EFA di terza generazione che utilizza Nitro v5, mostrano un miglioramento della latenza fino al 35% rispetto alle istanze P5 che utilizzano la generazione precedente di EFA e Nitro. Ciò migliora le prestazioni delle comunicazioni collettive per carichi di lavoro di addestramento distribuito come deep learning, IA generativa, elaborazione dei dati in tempo reale e applicazioni di calcolo ad alte prestazioni (HPC). Per fornire capacità di elaborazione su larga scala a bassa latenza, queste istanze vengono distribuite in UltraClusters Amazon EC2 che consentono di scalare fino a 20.000 GPU H100 o H200 interconnesse con una rete non bloccante su scala petabyte. Le istanze P5, P5e e P5en in UltraClusters EC2 possono fornire fino a 20 exaflop di capacità di elaborazione aggregata, ovvero prestazioni equivalenti a quelle di un supercomputer.