การทดลองแมชชีนเลิร์นนิงโดยใช้ Amazon SageMaker กับ MLflow

จัดการโมเดลแมชชีนเลิร์นนิงและการทดลองแอปพลิเคชัน AI ช่วยสร้างได้อย่างมีประสิทธิภาพโดยใช้ MLflow

ทำไมต้องใช้ Amazon SageMaker กับ MLflow

Amazon SageMaker มอบความสามารถ MLflow ที่มีการจัดการสำหรับแมชชีนเลิร์นนิง (ML) และการทดลอง AI ช่วยสร้าง ความสามารถนี้ทำให้นักวิทยาศาสตร์ข้อมูลสามารถใช้ MLflow บน SageMaker สำหรับการฝึกโมเดล การลงทะเบียน และการนำไปใช้จริงได้ง่ายขึ้น ผู้ดูแลระบบสามารถตั้งค่าสภาพแวดล้อม MLflow ที่ปลอดภัยและปรับขนาดได้บน AWS ได้อย่างรวดเร็ว นักวิทยาศาสตร์ข้อมูลและผู้พัฒนา ML สามารถติดตามการทดลอง ML ได้อย่างมีประสิทธิภาพและค้นหาโมเดลที่ตอบโจทย์ปัญหาทางธุรกิจ

ประโยชน์ของ Amazon SageMaker กับ MLflow

นักวิทยาศาสตร์ข้อมูลสามารถใช้ MLflow เพื่อติดตามเมตริกทั้งหมดที่สร้างขึ้นระหว่างการปรับแต่งโมเดลพื้นฐาน ประเมินโมเดล ทดสอบโมเดลด้วยข้อมูลตัวอย่าง เปรียบเทียบเอาต์พุตของแต่ละโมเดลเทียบกันบน UI ของ MLflow และลงทะเบียนโมเดลที่เหมาะสมสำหรับกรณีการใช้งานของตน เมื่อลงทะเบียนโมเดลแล้ว วิศวกร ML จะสามารถนำโมเดลไปใช้จริงกับการอนุมานของ SageMaker ได้
คุณไม่จำเป็นต้องจัดการโครงสร้างพื้นฐานใด ๆ ที่จำเป็นต่อการโฮสต์ MLflow นักวิทยาศาสตร์ข้อมูลสามารถใช้ความสามารถโอเพนซอร์ส MLflow ทั้งหมดได้โดยที่ผู้ดูแลระบบไม่ต้องกังวลเกี่ยวกับค่าโสหุ้ยของโครงสร้างพื้นฐาน ซึ่งช่วยประหยัดเวลาและค่าใช้จ่ายเมื่อตั้งค่าสภาพแวดล้อมด้านวิทยาศาสตร์ข้อมูล MLflow ผสานการทำงานกับ Amazon Identity and Access Management (IAM) ช่วยให้คุณสามารถตั้งค่า Role Based Access Control (RBAC) สำหรับเซิร์ฟเวอร์ติดตาม MLflow ได้
โมเดลที่ลงทะเบียนใน MLflow จะได้รับการลงทะเบียนในระเบียนโมเดลของ Amazon SageMaker พร้อมการ์ดโมเดล Amazon SageMaker ที่เกี่ยวข้อง การดำเนินการนี้ช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถส่งต่อโมเดลของตนไปให้วิศวกร ML เพื่อนำไปใช้จริงในการผลิตโดยไม่ต้องเปลี่ยนบริบท วิศวกร ML สามารถนำโมเดลจาก MLflow ไปใช้จริงในตำแหน่งข้อมูล SageMaker ได้โดยไม่ต้องสร้างคอนเทนเนอร์แบบกำหนดเองหรือบรรจุอาร์ทิแฟกต์โมเดล MLflow ใหม่
ในขณะที่โปรเจกต์ MLflow เปลี่ยนแปลงไปเรื่อย ๆ ลูกค้า SageMaker AI จะได้ประโยชน์จากนวัตกรรมโอเพนซอร์สจากชุมชน MLflow พร้อมทั้งสะดวกสบายไปกับการจัดการโครงสร้างพื้นฐานที่ AWS มอบให้

ติดตามการทดลองจากทุกที่

การทดลอง ML มีการดำเนินการในสภาพแวดล้อมที่หลากหลาย รวมถึงโน้ตบุ๊กภายในองค์กร, IDE, โค้ดการฝึกบนระบบคลาวด์ หรือ IDE ที่มีการจัดการใน Amazon SageMaker Studio เมื่อใช้ SageMaker AI และ MLflow คุณสามารถใช้สภาพแวดล้อมที่คุณต้องการเพื่อฝึกโมเดล ติดตามการทดลองของคุณใน MLflow และเปิดใช้งาน UI ของ MLflow โดยตรงหรือผ่าน SageMaker Studio เพื่อการวิเคราะห์ได้

บันทึกการทดลอง

ทำงานร่วมกันในการทดลองโมเดล

การทำงานร่วมกันเป็นทีมที่มีประสิทธิภาพเป็นสิ่งจำเป็นต่อความสำเร็จของโปรเจกต์วิทยาศาสตร์ข้อมูล SageMaker Studio ช่วยให้คุณสามารถจัดการและเข้าถึงเซิร์ฟเวอร์ติดตาม MLflow และการทดลองได้ ทำให้สมาชิกในทีมสามารถแชร์ข้อมูลและตรวจสอบความสม่ำเสมอของผลการทดลองได้ ทำให้การทำงานร่วมกันง่ายขึ้น

จัดการข้อมูลเมตาการทดลอง ML จากส่วนกลาง

ประเมินการทดลอง

การระบุโมเดลที่ดีที่สุดจากการทำซ้ำหลายครั้งต้องมีการวิเคราะห์และเปรียบเทียบประสิทธิภาพของโมเดล MLflow มีการแสดงภาพ เช่น แผนภูมิกระจาย แผนภูมิแท่ง และฮิสโตแกรมเพื่อเปรียบเทียบการทำซ้ำการฝึกอบรม นอกจากนี้ MLflow ยังช่วยให้สามารถประเมินโมเดลในด้านอคติและความเป็นธรรมได้อีกด้วย

ประเมินการทดลอง ML ของคุณ

จัดการโมเดล MLflow จากส่วนกลาง

หลายทีมมักใช้ MLflow เพื่อจัดการการทดลอง โดยมีโมเดลไม่กี่รายการเท่านั้นที่จะได้รับเลือก องค์กรต้องการวิธีง่าย ๆ ในการติดตามโมเดลที่เป็นตัวเลือกทั้งหมดเพื่อตัดสินใจโดยมีข้อมูลประกอบเกี่ยวกับโมเดลที่จะดำเนินการผลิต MLflow ผสานการทำงานกับระเบียนโมเดล SageMaker ได้อย่างราบรื่น ทำให้องค์กรเห็นโมเดลที่ลงทะเบียนใน MLflow ปรากฏขึ้นโดยอัตโนมัติในระเบียนโมเดล SageMaker พร้อมกับการ์ดโมเดล SageMaker สำหรับการกำกับดูแล การผสานการทำงานนี้ช่วยให้นักวิทยาศาสตร์ข้อมูลและวิศวกร ML สามารถใช้เครื่องมือที่แตกต่างกันสำหรับงานที่เกี่ยวข้องได้ ซึ่งได้แก่ MLflow สำหรับการทดลอง และระเบียน SageMaker สำหรับการจัดการวงจรการผลิตด้วยเส้นทางขั้นตอนของโมเดลที่ครอบคลุม

แชร์การอัปเดตและผลลัพธ์

นำโมเดล MLflow ไปใช้จริงกับตำแหน่งข้อมูล SageMaker

การนำโมเดลจาก MLflow ไปใช้จริงกับตำแหน่งข้อมูล SageMaker นั้นเรียบง่าย โดยไม่จำเป็นต้องสร้างคอนเทนเนอร์แบบกำหนดเองสำหรับการจัดเก็บโมเดล การผสานการทำงานนี้ช่วยให้ลูกค้าสามารถใช้ประโยชน์จากคอนเทนเนอร์การอนุมานที่ได้รับการปรับให้เหมาะสมของ SageMaker ในขณะที่ยังคงรักษาประสบการณ์ที่ใช้งานง่ายของ MLflow สำหรับการบันทึกและลงทะเบียนโมเดล

ทำซ้ำและตรวจสอบการทดลอง ML