Amazon EC2 UltraServers

Máy chủ Amazon Elastic Compute Cloud (Amazon EC2) UltraServer phù hợp cho những khách hàng mong muốn tăng tối đa hiệu suất đào tạo và suy luận AI cho các mô hình ở quy mô nghìn tỷ tham số. UltraServer kết nối nhiều phiên bản EC2 bằng kết nối tăng tốc chuyên dụng, băng thông cao, độ trễ thấp, cho phép bạn tận dụng mạng lưới tăng tốc được liên kết chặt chẽ trên nhiều phiên bản EC2 và truy cập vào nhiều khả năng điện toán và bộ nhớ vượt trội so với các phiên bản EC2 độc lập.

EC2 UltraServers phù hợp với các mô hình lớn nhất đòi hỏi nhiều bộ nhớ và băng thông bộ nhớ hơn so với khả năng của những phiên bản EC2 độc lập. Thiết kế UltraServer sử dụng kết nối tăng tốc nội bộ để kết nối nhiều phiên bản thành một nút để khai mở các quyền năng mới. Đối với suy luận, UltraServers giúp mang đến thời gian phản hồi đầu ngành để tạo ra trải nghiệm thời gian thực tốt nhất. Còn với đào tạo, UltraServers thúc đẩy tốc độ và hiệu quả đào tạo mô hình nhờ phương thức giao tiếp tập thể nhanh hơn, hỗ trợ tính song song của mô hình so với các phiên bản độc lập. EC2 UltraServer hỗ trợ lập mạng lưới EFA và khi triển khai trong EC2 UltraClusters, cho phép đào tạo phân tán mở rộng trên hàng chục nghìn trình tăng tốc trên một mạng không chặn, có quy mô petabit duy nhất. Nhờ cung cấp hiệu suất cao hơn cho cả đào tạo và suy luận, UltraServers giúp bạn đẩy nhanh thời gian đưa sản phẩm ra thị trường và cung cấp các ứng dụng thời gian thực được hỗ trợ bởi các mô hình nền tảng thế hệ mới, hiệu suất cao nhất.