Amazon SageMaker Inference รองรับการอัปเดตแบบต่อเนื่องสำหรับตำแหน่งข้อมูลส่วนประกอบการอนุมานแล้ว
Amazon SageMaker Inference รองรับการอัปเดตแบบต่อเนื่องสำหรับตำแหน่งข้อมูลส่วนประกอบการอนุมาน (IC) แล้ว วิธีนี้ช่วยให้ลูกค้าสามารถอัปเดตตำแหน่งข้อมูล IC ที่กำลังทำงานโดยไม่รบกวนการรับส่งข้อมูลในขณะที่ใช้อินสแตนซ์เพิ่มเติมขั้นต่ำ แทนที่จะต้องใช้อินสแตนซ์เป็นสองเท่าเหมือนในอดีต SageMaker Inference ช่วยให้นำโมเดล ML รวมถึงโมเดลพื้นฐาน (FM) ไปใช้จริงได้อย่างง่ายดาย ความสามารถของ SageMaker Inference ส่งผลให้ IC ช่วยให้ลูกค้าสามารถนำ FM หลายโมเดลไปใช้จริงบนตำแหน่งข้อมูลเดียวกัน และควบคุมการจัดสรรตัวเร่งความเร็วสำหรับแต่ละโมเดลได้
ขณะนี้ การอัปเดตแบบต่อเนื่องจะทำให้ลูกค้าสามารถอัปเดต IC ภายในตำแหน่งข้อมูลแบบแบตช์ต่อแบตช์ แทนที่จะอัปเดตทั้งหมดพร้อมกันเหมือนวิธีการอัปเดตแบบเปิดตัวระบบใหม่เทียบกับระบบเก่า (Blue/Green) ก่อนหน้านี้ การอัปเดตแบบเปิดตัวระบบใหม่เทียบกับระบบเก่า (Blue/Green) ต้องจัดเตรียมกลุ่มอินสแตนซ์ใหม่ของ IC ด้วยโมเดลที่อัปเดตก่อนเปลี่ยนการรับส่งข้อมูลจากกลุ่มอินสแตนซ์เก่าไปยังกลุ่มอินสแตนซ์ใหม่ ซึ่งส่งผลให้จำนวนอินสแตนซ์ที่จำเป็นเพิ่มขึ้นเป็นสองเท่าอย่างมีประสิทธิภาพ การอัปเดตแบบต่อเนื่องจะทำให้สร้าง IC ใหม่เป็นแบตช์ขนาดเล็กลง ซึ่งช่วยลดจำนวนอินสแตนซ์เพิ่มเติมที่จำเป็นในระหว่างการอัปเดตได้อย่างมาก วิธีนี้ช่วยให้ลูกค้าลดค่าใช้จ่ายจากปริมาณการประมวลผลเพิ่มเติม และรักษาความต้องการบัฟเฟอร์ที่น้อยลงในการสำรองปริมาณการประมวลผลของตนเอง
การอัปเดตแบบต่อเนื่องสำหรับ IC มีให้บริการในรีเจี้ยนทุกแห่งที่รองรับ IC ได้แก่ เอเชียแปซิฟิก (โตเกียว, โซล, มุมไบ, สิงคโปร์, ซิดนีย์, จาการ์ตา), แคนาดา (ภาคกลาง), ยุโรป (แฟรงก์เฟิร์ต, สตอกโฮล์ม, ไอร์แลนด์, ลอนดอน), ตะวันออกกลาง (สหรัฐอาหรับเอมิเรตส์), อเมริกาใต้ (เซาเปาลู), สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ, โอไฮโอ) และสหรัฐอเมริกาฝั่งตะวันตก (แคลิฟอร์เนียเหนือ, ออริกอน) หากต้องการเรียนรู้เพิ่มเติม โปรดดูเอกสารประกอบ