Phiên bản Amazon EC2 P5

Phiên bản dựa trên GPU có hiệu năng cao nhất cho các ứng dụng học sâu và HPC
Bắt đầu sử dụng Phiên bản P5
Đặt trước để sử dụng trong tương lai

Tại sao nên chọn Phiên bản P5 cho Amazon EC2?

Các phiên bản Amazon Elastic Compute Cloud (Amazon EC2) P5 hoạt động trên nền GPU NVIDIA H100 Tensor Core, các phiên bản P5e và P5en hoạt động trên nền GPU NVIDIA H200 Tensor Core mang lại hiệu năng cao nhất trong Amazon EC2 cho các ứng dụng học sâu (DL) và điện toán hiệu năng cao (HPC). Các phiên bản này giúp bạn tăng tốc thời gian đưa ra giải pháp lên đến 4 lần so với các phiên bản EC2 dựa trên GPU thế hệ trước và giảm tới 40% chi phí đào tạo các mô hình máy học. Các phiên bản này giúp bạn lặp lại các giải pháp của mình với nhịp độ nhanh hơn và đưa ra thị trường nhanh hơn. Bạn có thể sử dụng các phiên bản P5, P5e và P5en để đào tạo và triển khai các mô hình ngôn ngữ lớn (LLM) ngày càng phức tạp và các mô hình khuếch tán hỗ trợ cho các ứng dụng trí tuệ nhân tạo (AI) tạo sinh đòi hỏi khắt khe nhất. Các ứng dụng này bao gồm trả lời câu hỏi, tạo mã, tạo video và hình ảnh và nhận dạng giọng nói. Bạn cũng có thể sử dụng các phiên bản này để triển khai các ứng dụng HPC đòi hỏi khắt khe ở quy mô lớn để tìm hiểu về dược phẩm, phân tích địa chấn, dự báo thời tiết và lập mô hình tài chính.

Để thực hiện những cải tiến về hiệu năng và tiết kiệm chi phí này, các phiên bản P5 và P5e bổ sung cho GPU NVIDIA H100 và H200 Tensor Core với hiệu năng CPU gấp đôi, bộ nhớ hệ thống gấp đôi và ổ lưu trữ cục bộ gấp 4 lần so với các phiên bản dựa trên GPU thế hệ trước. Phiên bản P5en ghép nối GPU NVIDIA H200 Tensor Core với CPU Intel Sapphire Rapids hiệu năng cao, cho phép PCIe Gen5 giữa CPU và GPU. Phiên bản P5en cung cấp băng thông cao hơn 2 lần giữa CPU và GPU và độ trễ mạng thấp hơn so với các phiên bản P5e và P5, do đó cải thiện hiệu năng đào tạo phân tán. Các phiên bản P5 và P5e hỗ trợ kết nối mạng lên đến 3.200 Gbps bằng cách sử dụng Trình chuyển cấu trúc linh hoạt (EFA) thế hệ thứ 2. P5en, với thế hệ thứ 3 của EFA sử dụng Nitro v5, cho thấy sự cải thiện tới 35% về độ trễ so với P5 sử dụng thế hệ trước của EFA và Nitro. Điều này giúp cải thiện hiệu năng giao tiếp tập thể cho khối lượng công việc đào tạo phân tán như ứng dụng học sâu, AI tạo sinh, xử lý dữ liệu theo thời gian thực và điện toán hiệu năng cao (HPC). Để cung cấp điện toán quy mô lớn ở độ trễ thấp, các phiên bản này được triển khai trong Amazon EC2 UltraClusters cho phép mở rộng lên đến 20.000 GPU H100 hoặc H200 được kết nối với mạng không chặn quy mô petabit. Các phiên bản P5, P5e và P5en trong EC2 UltraClusters có thể đạt tổng công suất điện toán tối đa 20 exaflop, đây là hiệu năng tương đương một siêu máy tính.

Phiên bản Amazon EC2 P5

Lợi ích

Các phiên bản P5, P5e và P5en có thể đào tạo các mô hình AI tạo sinh siêu lớn ở quy mô lớn và mang lại hiệu năng gấp 4 lần so với các phiên bản EC2 dựa trên GPU thế hệ trước.

Các phiên bản P5, P5e và P5en giảm thời gian đào tạo và thời gian đưa ra giải pháp từ vài tuần xuống chỉ còn vài ngày. Nhờ đó, bạn lặp lại với nhịp độ nhanh hơn và tiếp cận thị trường nhanh hơn.

Các phiên bản P5, P5e và P5en tiết kiệm tới 40% chi phí đào tạo học sâu và cơ sở hạ tầng HPC so với các phiên bản EC2 dựa trên GPU thế hệ trước.

Các phiên bản P5, P5e và P5en cung cấp kết nối mạng EFA lên đến 3.200 Gbps. Các phiên bản này được triển khai trong EC2 UltraClusters và có tổng công suất điện toán tối đa 20 exaflop.

Tính năng

Các phiên bản P5 cung cấp tối đa 8 GPU NVIDIA H100 với tổng dung lượng bộ nhớ GPU HBM3 lên đến 640 GB cho mỗi phiên bản. Các phiên bản P5e và P5en cung cấp tối đa 8 NVIDIA H200 với tổng dung lượng bộ nhớ GPU HBM3e lên đến 1128 GB cho mỗi phiên bản. Cả hai phiên bản hỗ trợ kết nối GPU NVSwitch lên đến 900 GB/giây (tổng băng thông chia đôi 3,6 TB/giây trong mỗi phiên bản), vì vậy mỗi GPU có thể giao tiếp với mọi GPU khác trong cùng một phiên bản với độ trễ một bước nhảy.

GPU NVIDIA H100 và H200 có một công cụ bộ chuyển đổi mới quản lý thông minh và lựa chọn linh hoạt giữa các phép tính FP8 và 16 bit. Tính năng này giúp tăng tốc đào tạo học sâu nhanh hơn trên LLM so với GPU A100 thế hệ trước. Đối với khối lượng công việc HPC, GPU NVIDIA H100 và H200 có chỉ dẫn DPX mới giúp tăng tốc hơn nữa các thuật toán lập trình động so với GPU A100.

Các phiên bản P5, P5e và P5en cung cấp kết nối mạng EFA lên đến 3.200 Gbps. EFA cũng được kết hợp với NVIDIA GPUDirect RDMA để cho phép giao tiếp giữa các GPU có độ trễ thấp giữa các máy chủ bỏ qua hệ điều hành.

Các phiên bản P5, P5e và P5en hỗ trợ Amazon FSx dành cho Lustre để bạn có thể truy cập dữ liệu với thông lượng hàng trăm GB/giây và hàng triệu IOPS cần thiết cho khối lượng công việc học sâu và HPC quy mô lớn. Mỗi phiên bản cũng hỗ trợ ổ lưu trữ SSD NVMe cục bộ lên đến 30 TB để truy cập nhanh các tập dữ liệu lớn. Bạn cũng có thể sử dụng kho lưu trữ tiết kiệm chi phí gần như không giới hạn Amazon Simple Storage Service (Amazon S3).

Chứng thực từ khách hàng

Dưới đây là một số ví dụ về cách khách hàng và đối tác đạt được mục tiêu kinh doanh của mình với các phiên bản Amazon EC2 P4.

  • Anthropic

    Anthropic xây dựng các hệ thống AI đáng tin cậy, có thể diễn giải và có thể điều khiển mà sẽ có nhiều cơ hội để tạo ra giá trị thương mại và vì lợi ích công cộng.

    Tại Anthropic, chúng tôi đang nỗ lực để xây dựng các hệ thống AI đáng tin cậy, có thể diễn giải và có thể điều khiển. Mặc dù các hệ thống AI chung quy mô lớn ngày nay có thể mang lại những lợi ích đáng kể nhưng cũng có thể không thể dự đoán, không đáng tin cậy và không rõ ràng. Mục tiêu của chúng tôi là cải thiện được những vấn đề này và triển khai các hệ thống mà mọi người thấy hữu ích. Chúng tôi là một trong số ít các tổ chức trên thế giới đang xây dựng các mô hình nền tảng trong nghiên cứu học sâu. Những mô hình này rất phức tạp và để phát triển và đào tạo các mô hình tiên tiến này, chúng ta cần phân phối các mô hình này một cách hiệu quả trên các cụm GPU lớn. Hiện nay, chúng ta đang sử dụng rộng rãi các phiên bản Amazon EC2 P4 và chúng tôi rất vui mừng về việc ra mắt các phiên bản P5. Chúng tôi hy vọng các phiên bản này sẽ mang lại lợi ích giá/hiệu năng đáng kể so với các phiên bản P4d và các phiên bản này sẽ có sẵn ở quy mô lớn cần thiết để xây dựng LLM thế hệ tiếp theo và các sản phẩm có liên quan.

    Tom Brown, Người đồng sáng lập, Anthropic

  • Cohere

    Công ty tiên phong hàng đầu về AI ngôn ngữ là Cohere tạo điều kiện cho mọi nhà phát triển và doanh nghiệp xây dựng các sản phẩm tuyệt vời với công nghệ xử lý ngôn ngữ tự nhiên (NLP) hàng đầu thế giới trong khi vẫn đảm bảo dữ liệu của họ riêng tư và an toàn

    Cohere dẫn đầu trong việc giúp mọi doanh nghiệp khai thác sức mạnh của AI ngôn ngữ để khám phá, tạo, tìm kiếm và hành động dựa trên thông tin một cách tự nhiên và trực quan, triển khai trên nhiều nền tảng đám mây trong môi trường dữ liệu hoạt động hiệu quả nhất cho từng khách hàng. Các phiên bản P5 cho Amazon EC2 hoạt động trên nền NVIDIA H100 sẽ giải phóng khả năng tạo, phát triển và điều chỉnh quy mô nhanh hơn cho các doanh nghiệp với khả năng điện toán kết hợp với các khả năng của AI tạo sinh và LLM hiện đại của Cohere.

    Aidan Gomez, Giám đốc Điều hành, Cohere

  • Hugging Face

    Hugging Face đang thực hiện sứ mệnh dân chủ hóa máy học tốt.

    Là cộng đồng nguồn mở phát triển nhanh nhất cho máy học, hiện chúng tôi cung cấp hơn 150.000 mô hình được đào tạo trước và 25.000 tập dữ liệu trên nền tảng của chúng tôi cho NLP, thị giác máy tính, sinh học, học tăng cường, v.v. Với những tiến bộ đáng kể trong LLM và AI tạo sinh, chúng tôi đang hợp tác với AWS để xây dựng và đóng góp các mô hình nguồn mở của tương lai. Chúng tôi mong muốn sẽ sử dụng các phiên bản P5 cho Amazon EC2 thông qua Amazon SageMaker trên quy mô lớn trong UltraClusters với EFA để đẩy nhanh việc cung cấp các mô hình AI nền tảng mới cho mọi người.

    Julien Chaumond, Giám đốc Công nghệ và Người đồng sáng lập, Hugging Face

Chi tiết sản phẩm

Kích cỡ phiên bản vCPU Dung lượng bộ nhớ của phiên bản (TiB) GPU   Bộ nhớ GPU Băng thông mạng (Gbps) GPUDirect RDMA GPU ngang hàng Dung lượng lưu trữ của phiên bản (TB) Băng thông EBS (Gbps)
p5.48xlarge 192 2 8 H100 640 GB
HBM3		 EFA 3200 Gbps Có NVSwitch 900 GB/giây 8 x 3.84 SSD NVMe 80
p5e.48xlarge 192 2 8 H200 1128 GB
HBM3e		 EFA 3200 Gbps Có NVSwitch 900 GB/giây 8 x 3.84 SSD NVMe 80
p5en.48xlarge 192 2 8 H200 1128 GB HBM3e EFA 3200 Gbps Có NVSwitch 900 GB/giây 8 x 3.84 SSD NVMe 100

Bắt đầu với các trường hợp sử dụng ML

SageMaker là một dịch vụ được quản lý toàn phần nhằm xây dựng, đào tạo và triển khai các mô hình máy học. Với SageMaker HyperPod, bạn có thể dễ dàng điều chỉnh quy mô lên hàng chục, hàng trăm hoặc hàng nghìn GPU để huấn luyện mô hình nhanh chóng ở quy mô bất kỳ mà không cần lo lắng về việc thiết lập và quản lý các cụm đào tạo bền bỉ.

DLAMI cung cấp cơ sở hạ tầng và công cụ cho những người thực hành và nhà nghiên cứu máy học để tăng tốc học sâu trên đám mây ở mọi quy mô. Bộ chứa học sâu là các hình ảnh Docker được cài đặt sẵn với các khung học sâu để hợp lý hóa việc triển khai môi trường máy học tùy chỉnh bằng cách cho phép bạn bỏ qua quá trình xây dựng và tối ưu hóa môi trường phức tạp của mình ngay từ đầu.

Nếu muốn quản lý khối lượng công việc được gói trong bộ chứa của riêng mình thông qua các dịch vụ điều phối bộ chứa, bạn có thể triển khai các phiên bản P5, P5e và P5en với Amazon EKS hoặc Amazon ECS.

Bắt đầu với các trường hợp sử dụng HPC

Các phiên bản P5, P5e và P5en là nền tảng lý tưởng để chạy các mô phỏng kỹ thuật, tài chính điện toán, phân tích địa chấn, dựng mô hình phân tử, nghiên cứu gen và chức năng gen, phối cảnh và các khối lượng công việc HPC dựa trên GPU khác. Các ứng dụng HPC thường yêu cầu hiệu năng mạng cao, lưu trữ nhanh, dung lượng bộ nhớ lớn, khả năng điện toán cao hoặc tất cả các yếu tố kể trên. Cả ba loại phiên bản đều hỗ trợ EFA cho phép các ứng dụng HPC sử dụng Giao diện truyền thông báo (MPI) để điều chỉnh quy mô lên hàng nghìn GPU. Lô AWS Batch và AWS ParallelCluster giúp các nhà phát triển HPC nhanh chóng xây dựng và điều chỉnh quy mô các ứng dụng HPC phân tán.

Tìm hiểu thêm