Dịch vụ suy luận của Amazon SageMaker hiện hỗ trợ cập nhật luân phiên cho các điểm cuối thành phần suy luận
Dịch vụ suy luận của Amazon SageMaker hiện hỗ trợ cập nhật luân phiên cho các điểm cuối thành phần suy luận (IC). Điều này cho phép khách hàng cập nhật các điểm cuối IC đang chạy mà không làm gián đoạn lưu lượng và sử dụng ít phiên bản bổ sung nhất thay vì phải tăng gấp đôi số phiên bản như trước đây. Dịch vụ suy luận của SageMaker giúp dễ dàng triển khai các mô hình ML, bao gồm cả mô hình nền tảng (FM). Là một khả năng trong dịch vụ Suy luận của SageMaker, IC cho phép khách hàng triển khai nhiều FM trên cùng một điểm cuối và kiểm soát mức phân bổ bộ tăng tốc cho từng mô hình.
Hiện tại, với các bản cập nhật luân phiên, khách hàng có thể cập nhật IC trong điểm cuối theo lô thay vì tất cả cùng một lúc như phương thức cập nhật lục/lam trước đây. Các bản cập nhật lục/lam đòi hỏi có một nhóm IC mới với mô hình cập nhật trước khi chuyển lưu lượng từ nhóm cũ sang nhóm mới, điều đó làm tăng gấp đôi số lượng phiên bản cần thiết. Với bản cập nhật luân phiên, các IC mới được tạo theo lô nhỏ hơn, từ đó giảm đáng kể số lượng phiên bản bổ sung cần thiết trong quá trình cập nhật. Điều này giúp khách hàng giảm thiểu chi phí của phần dung lượng bổ sung và duy trì các yêu cầu bộ đệm nhỏ hơn trong mục đặt trước dung lượng.
Bản cập nhật luân phiên cho IC được cung cấp ở tất cả các khu vực được hỗ trợ IC: Châu Á Thái Bình Dương (Tokyo, Seoul, Mumbai, Singapore, Sydney, Jakarta), Canada (Miền Trung), Châu Âu (Frankfurt, Stockholm, Ireland, London), Trung Đông (UAE), Nam Mỹ (Sao Paulo), Miền Đông Hoa Kỳ (Bắc Virginia, Ohio) và Miền Tây Hoa Kỳ (Bắc California, Oregon). Để tìm hiểu thêm, hãy xem tài liệu.