Apache Hadoop บน Amazon EMR

Amazon EMR ติดตั้งและกำหนดค่าแอปพลิเคชันในโปรเจกต์ Hadoop ตามโปรแกรมซึ่งได้แก่ Hadoop MapReduce, YARN, HDFS และ Apache Tez ในโหนดต่าง ๆ ในคลัสเตอร์ของคุณ

กลไกดำเนินการ Hadoop MapReduce และ Tez ในระบบนิเวศของ Hadoop จะประมวลผลปริมาณงานโดยใช้เฟรมเวิร์กซึ่งแบ่งงานออกเป็นงานชิ้นเล็กๆ ที่สามารถกระจายไปยังโหนดต่างๆ ในคลัสเตอร์ Amazon EMR ได้ โดยกลไกเหล่านี้สร้างขึ้นโดยคาดว่าแมชชีนในคลัสเตอร์ของคุณอาจทำงานล้มเหลวได้ทุกเมื่อและออกแบบให้มีความทนทานต่อความเสียหาย หากเซิร์ฟเวอร์ที่รันงานอยู่ขัดข้อง Hadoop ก็จะรันงานดังกล่าวบนแมชชีนเครื่องอื่นอีกครั้งจนกว่าจะดำเนินการสำเร็จ

คุณสามารถเขียนโปรแกรม MapReduce และ Tez ได้เป็นภาษา Java โดยใช้การสตรีมผ่าน Hadoop เพื่อใช้สคริปต์แบบกำหนดเองแบบพร้อมๆ กัน ใช้ประโยชน์จาก Hive และ Pig เพื่อกำหนดสาระสำคัญระดับสูงใน MapReduce รวมทั้ง Tez หรือเครื่องมืออื่นๆ เพื่อโต้ตอบกับ Hadoop

นับตั้งแต่ Hadoop 2 เป็นต้นไป การจัดการทรัพยากรจะทำโดย Yet Another Resource Negotiator (YARN) YARN จะติดตามทรัพยากรทั้งหมดในคลัสเตอร์ของคุณ และช่วยตรวจสอบให้แน่ใจว่า ทรัพยากรเหล่านี้จะได้รับการจัดสรรแบบไดนามิกเพื่อบรรลุงานต่างๆ ในงานประมวลผลของคุณ YARN ยังสามารถจัดการปริมาณงาน MapReduce และ Tez รวมทั้งเฟรมเวิร์กแบบกระจายอื่นๆ เช่น Apache Spark

เมื่อใช้ EMR File System (EMRFS) ในคลัสเตอร์ Amazon EMR คุณจะสามารถใช้ประโยชน์จาก Amazon S3 เป็นเลเยอร์ข้อมูลสำหรับ Hadoop ได้ Amazon S3 สามารถปรับขนาดได้ในระดับสูง มีค่าใช้จ่ายต่ำ และออกแบบมาให้มีความคงทน ซึ่งทำให้กลายเป็นพื้นที่จัดเก็บข้อมูลที่ยอดเยี่ยมสำหรับการประมวลผล Big Data เมื่อจัดเก็บข้อมูลใน Amazon S3 คุณจะแยกแยะเลเยอร์การประมวลผลจากเลเยอร์พื้นที่จัดเก็บได้ ซึ่งทำให้คุณสามารถปรับขนาดคลัสเตอร์ Amazon EMR ตามจำนวน CPU และหน่วยความจำที่ต้องการสำหรับปริมาณงาน แทนที่จะต้องมีโหนดเพิ่มเติมในคลัสเตอร์เพื่อเพิ่มพื้นที่จัดเก็บในคลัสเตอร์ให้ได้มากที่สุด นอกจากนี้ คุณยังสามารถยกเลิกคลัสเตอร์ Amazon EMR ได้เมื่อไม่ได้ใช้งานเพื่อประหยัดค่าใช้จ่าย ขณะเดียวกันข้อมูลของคุณก็จะยังคงอยู่ใน Amazon S3

EMRFS ได้รับการปรับให้เหมาะสมกับ Hadoop เพื่ออ่านและเขียนไปยัง Amazon S3 ได้โดยตรงพร้อมๆ กันอย่างมีประสิทธิภาพ และสามารถประมวลผลอ็อบเจ็กต์ที่เข้ารหัสด้วยการเข้ารหัสฝั่งเซิร์ฟเวอร์และฝั่งไคลเอ็นต์ของ Amazon S3 ได้ EMRFS ช่วยให้คุณใช้ Amazon S3 เป็น Data Lake ได้ และยังสามารถใช้ Hadoop ใน Amazon EMR เป็นเลเยอร์การสืบค้นแบบยืดหยุ่นได้ด้วย

Hadoop ยังประกอบด้วยระบบพื้นที่จัดเก็บแบบกระจาย นั่นคือ Hadoop Distributed File System (HDFS) ซึ่งจะจัดเก็บข้อมูลทั่วดิสก์ในระบบของคลัสเตอร์ให้เป็นบล็อกขนาดใหญ่ HDFS มีปัจจัยการจำลองที่กำหนดค่าได้ (มีค่าเริ่มต้น 3 เท่า) ซึ่งทำให้มีความพร้อมใช้งานและความคงทนเพิ่มขึ้น HDFS จะตรวจสอบการจำลองและสร้างสมดุลให้ข้อมูลในโหนดต่างๆ เมื่อโหนดทำงานล้มเหลวและมีการเพิ่มโหนดใหม่

HDFS ได้รับการติดตั้งไว้ใน Hadoop ในคลัสเตอร์ Amazon EMR โดยอัตโนมัติ และคุณจะใช้ HDFS ร่วมกับ Amazon S3 เพื่อจัดเก็บข้อมูลอินพุตและเอาต์พุตได้ คุณสามารถเข้ารหัส HDFS ได้อย่างง่ายดายโดยใช้การกำหนดค่าความปลอดภัยของ Amazon EMR นอกจากนี้ Amazon EMR ยังกำหนดค่า Hadoop ให้ใช้ HDFS และดิสก์ภายในเครื่องสำหรับข้อมูลระดับปานกลางที่สร้างขึ้นในระหว่างงานของ Hadoop MapReduce แม้ว่าข้อมูลอินพุตจะอยู่ใน Amazon S3 ก็ตาม

คุณสามารถเริ่มใช้คลัสเตอร์ Hadoop ใหม่แบบไดนามิกได้อย่างรวดเร็ว หรือเพิ่มเซิร์ฟเวอร์ไปยังคลัสเตอร์ Amazon EMR ที่คุณมีอยู่แล้วเพื่อลดเวลาในการทำให้ทรัพยากรพร้อมใช้งานสำหรับผู้ใช้หรือ Data Scientist ลงได้อย่างมาก การใช้ Hadoop บนแพลตฟอร์ม AWS สามารถเพิ่มความคล่องตัวในองค์กรได้อย่างมากโดยการลดค่าใช้จ่ายและเวลาที่ใช้ในการจัดสรรทรัพยากรสำหรับการทดลองและพัฒนา

การกำหนดค่า การจัดเครือข่าย การติดตั้งเซิร์ฟเวอร์ การกำหนดค่าความปลอดภัย และการบำรุงรักษาเพื่อดูแลระบบอย่างต่อเนื่องสำหรับ Hadoop อาจเป็นกิจกรรมที่ซับซ้อนและท้าทาย ในฐานะบริการที่มีการจัดการ Amazon EMR จะแก้ไขปัญหาเกี่ยวกับข้อกำหนดโครงสร้างพื้นฐาน Hadoop เพื่อให้คุณมุ่งความสนใจไปที่ธุรกิจหลักได้

คุณสามารถผสานรวมสภาพแวดล้อม Hadoop เข้ากับบริการอื่น ๆ เช่น Amazon S3, Amazon Kinesis, Amazon Redshift และ Amazon DynamoDB เพื่อเปิดใช้การเคลื่อนย้ายข้อมูล เวิร์กโฟลว์ และการวิเคราะห์ในบริการที่หลากหลายมากบนแพลตฟอร์ม AWS นอกจากนี้ คุณยังสามารถใช้แคตตาล็อกข้อมูลของ AWS Glue เป็นคลังข้อมูลเมตาที่มีการจัดการสำหรับ Apache Hive และ Apache Spark ได้อีกด้วย

งาน Hadoop ต่างๆ จะมีความไม่แน่นอนโดยธรรมชาติ ตัวอย่างเช่น งาน ETL อาจรันเป็นรายชั่วโมง รายวัน หรือรายเดือน ในขณะที่งานสร้างโมเดลสำหรับบริษัทด้านการเงินหรือการจัดลำดับทางพันธุกรรมอาจเกิดขึ้นเพียงไม่กี่ครั้งต่อปี การใช้ Hadoop บน Amazon EMR ช่วยให้คุณเร่งความเร็วของคลัสเตอร์ปริมาณงานเหล่านี้ได้อย่างง่ายดาย บันทึกผลลัพธ์ และปิดใช้งานทรัพยากร Hadoop เมื่อไม่ต้องการอีกต่อไป เพื่อหลีกเลี่ยงค่าใช้จ่ายอันเกิดจากโครงสร้างพื้นฐานที่ไม่จำเป็น EMR 6.x สนับสนุน Hadoop 3 ซึ่งช่วยให้ YARN NodeManager สามารถเปิดใช้งานคอนเทนเนอร์ได้ทั้งโดยตรงบนโฮสต์คลัสเตอร์ EMR และภายในคอนเทนเนอร์ Docker โปรดดูข้อมูลเพิ่มเติมจากเอกสารประกอบของเรา

เมื่อใช้ Hadoop บน Amazon EMR คุณจะมีความยืดหยุ่นในการเปิดใช้คลัสเตอร์จำนวนใดก็ได้ใน Availability Zone และในรีเจี้ยน AWS ใดก็ได้ตามต้องการ สามารถหลีกเลี่ยงปัญหาหรือภัยคุกคามที่อาจเกิดขึ้นในภูมิภาคหรือโซนหนึ่งได้อย่างง่ายดายโดยการเปิดใช้คลัสเตอร์ในอีกโซนหนึ่งได้ภายในไม่กี่นาที

บ่อยครั้งที่การวางแผนความจุล่วงหน้าก่อนการปรับใช้สภาพแวดล้อม Hadoop อาจส่งผลให้เกิดทรัพยากรที่ไม่ได้ใช้งานซึ่งมีราคาแพง รวมถึงข้อจำกัดด้านทรัพยากร เมื่อใช้ Amazon EMR คุณสามารถสร้างคลัสเตอร์ตามความจุที่ต้องการได้ในไม่กี่นาที และใช้ EMR Managed Scaling เพื่อเพิ่มและลดขนาดโหนดได้แบบไดนามิก