OpenSearch คืออะไร
OpenSearch คือชุดการค้นหาและการวิเคราะห์แบบกระจายศูนย์ที่ขับเคลื่อนด้วยชุมชน ได้รับสิทธิ์การใช้งาน Apache 2.0 และเป็นโอเพนซอร์ส 100% ซึ่งนำไปใช้ได้หลากหลายรูปแบบ เช่น การติดตามตรวจสอบแอปพลิเคชันแบบเรียลไทม์ การวิเคราะห์ข้อมูลบันทึก และการค้นหาเว็บไซต์ OpenSearch ช่วยให้ระบบปรับขนาดได้สูงซึ่งทำให้เข้าถึงและตอบสนองต่อข้อมูลปริมาณมากได้อย่างรวดเร็วด้วยเครื่องมือแสดงข้อมูลด้วยภาพแบบผสานรวมอย่าง OpenSearch Dashboards ที่ช่วยให้ผู้ใช้ค้นหาข้อมูลของตนเองได้ง่าย OpenSearch ขับเคลื่อนโดยไลบรารีการค้นหา Apache Lucene และรองรับความสามารถในการค้นหาและวิเคราะห์จำนวนมาก เช่น การค้นหา k-nearest neighbors (KNN), SQL, Anomaly Detection, Machine Learning Commons, Trace Analytics, การค้นหาข้อความทั้งหมด และอื่นๆ
เพราะเหตุใดฉันจึงควรใช้ OpenSearch
OpenSearch ช่วยให้คุณนำเข้า รักษาความปลอดภัย ค้นหา รวบรวม ดู และวิเคราะห์ข้อมูลสำหรับกรณีการใช้งานต่างๆ เช่น การวิเคราะห์ข้อมูลบันทึก การค้นหาแอปพลิเคชัน การค้นหาองค์กร และอื่นๆ ได้อย่างง่ายดาย OpenSearch ช่วยให้คุณได้รับประโยชน์จากการมีผลิตภัณฑ์โอเพนซอร์ส 100% ที่สามารถใช้ แก้ไข ขยาย สร้างรายได้ และจำหน่ายต่อได้ตามที่คุณต้องการ มีพาร์ทเนอร์ OpenSearch Project เพิ่มจำนวนมากขึ้นเรื่อยๆ ที่ให้บริการหลากหลายรูปแบบ เช่น การสนับสนุนอย่างมืออาชีพ คุณสมบัติที่ปรับปรุงใหม่ และบริการ OpenSearch ที่ได้รับการจัดการ OpenSearch Project ยังคงให้บริการชุดการค้นหาและการวิเคราะห์ที่ปลอดภัยและมีคุณภาพสูง พร้อมแผนการที่สมบูรณ์สำหรับฟังก์ชันการทำงานใหม่ที่ล้ำสมัย
ทำไมจึงสร้าง OpenSearch ขึ้นมา
นักพัฒนาหลายคนชอบใช้ซอฟต์แวร์โอเพนซอร์สเนื่องด้วยหลายเหตุผล ซึ่งหนึ่งในเหตุผลที่สำคัญที่สุดคือ อิสระในการใช้งานซอฟต์แวร์ตามที่ตนต้องการ เมื่อวันที่ 21 มกราคม 2021 Elastic NV ได้ประกาศว่าพวกเขาจะเปลี่ยนกลยุทธ์การอนุญาตให้ใช้สิทธิ์ซอฟต์แวร์และไม่เผยแพร่เวอร์ชันใหม่ของ ElasticSearch และ Kibana ภายใต้ Apache License เวอร์ชัน 2.0 (ALv2) ที่ได้รับอนุญาต แต่ Elastic จะเผยแพร่ Elasticsearch และ Kibana แทน ซึ่งมีซอร์สโค้ดภายใต้ใบอนุญาต Elastic หรือ Server Side Public License (SSPL) ใบอนุญาตเหล่านี้ไม่ใช่แบบโอเพนซอร์สและไม่ได้ให้อิสระแก่ผู้ใช้เช่นที่ผ่านมา เนื่องจากนักพัฒนาบางส่วนต้องการให้ซอฟต์แวร์ของตนเองเป็นโอเพนซอร์ส และเพราะนักพัฒนาเหล่านี้ต้องการหลีกเลี่ยงการผูกมัดกับผู้ค้าเพียงรายเดียว เราจึงตัดสินใจสร้างและรักษาส่วนที่แตกแขนงจาก ALv2 เวอร์ชันล่าสุดของ Elasticsearch และ Kibana ส่วนแตกแขนงนั้นเรียกว่า OpenSearch และอยู่ภายใต้ ALv2
OpenSearch เกี่ยวข้องกับ Amazon OpenSearch Service อย่างไร
Amazon OpenSearch Service คือบริการที่จัดการโดย AWS ซึ่งช่วยให้คุณเรียกใช้และปรับขนาดคลัสเตอร์ OpenSearch ได้โดยไม่ต้องกังวลเรื่องการจัดการ การติดตามตรวจสอบ และการบำรุงรักษาโครงสร้างพื้นฐาน หรือต้องมีความเชี่ยวชาญเชิงลึกเพื่อใช้งานคลัสเตอร์ OpenSource เราเริ่มรองรับ OpenSearch บน Amazon OpenSearch Service ในเดือนกันยายน 2021 โดยเริ่มที่เวอร์ชัน 1.0 และเปลี่ยนชื่อบริการจาก Amazon Elasticsearch Service เป็น Amazon OpenSearch Service นับจากวันนี้ บริการได้รองรับคุณสมบัติใหม่ๆ มากมายที่เราเพิ่มลงใน OpenSearch หลากหลายเวอร์ชัน ตัวอย่างบางส่วน ได้แก่ การรองรับการจำลองแบบข้ามคลัสเตอร์, การวิเคราะห์การติดตาม, Data Stream, การแปลง, อินเทอร์เฟซผู้ใช้ความสามารถในการสังเกตใหม่ และสมุดบันทึกใน OpenSearch Dashboards นอกเหนือจากนี้ ยังมีการปรับปรุงครั้งใหญ่กับ k-NN, การตรวจจับความผิดปกติ, PPL, SQL และการแจ้งเตือน แม้ว่า Amazon OpenSearch Service จะยังคงรองรับ Elasticsearch โอเพนซอร์สในเวอร์ชันเก่า (จนถึง 7.10) เราขอแนะนำเป็นอย่างยิ่งให้คุณใช้ OpenSearch กับบริการเพื่อรับประโยชน์จากคุณสมบัติใหม่ที่สร้างมาเป็นส่วนหนึ่งของ OpenSearch เวอร์ชันโอเพนซอร์ส
Amazon OpenSearch Service จะรองรับ Elasticsearch เวอร์ชันที่ใหม่กว่า 7.10 หรือไม่
ไม่ Elasticsearch เวอร์ชันที่ใหม่กว่า 7.10 ไม่ได้เป็นโอเพนซอร์ส และจะไม่ออกภายใต้ใบอนุญาตใช้งาน ALv2 แม้ว่า Amazon OpenSearch Service จะยังคงรอบรับ Elasticsearch โอเพนซอร์สจนถึงเวอร์ชัน 7.10 แต่ในอนาคต เราจะใช้เวอร์ชันใหม่ของ OpenSearch ที่เป็นโอเพนซอร์สเพื่อมอบคุณสมบัติและนวัตกรรมต่างๆ แก่ลูกค้าที่ใช้ Amazon OpenSearch Service ในกรณีใช้งานต่างๆ เช่น การวิเคราะห์ข้อมูลบันทึก การค้นหา และความสามารถในการสังเกต
OpenSearch จะยังคงรักษาความเข้ากันได้และคุณสมบัติที่เทียบเท่ากับ Elasticsearch เวอร์ชันใหม่หรือไม่
แผนการรับรองสำหรับ OpenSearch จะขับเคลื่อนโดยชุมชนและองค์กรต่างๆ รวมถึง AWS เพื่อสนับสนุนคุณสมบัติใหม่ๆ ให้กับโค้ดที่เป็นพื้นฐานของโอเพนซอร์ส OpenSearch สามารถนำไปใช้ได้หลากหลายรูปแบบ เช่น การตรวจสอบแอปพลิเคชันแบบเรียลไทม์ การวิเคราะห์ข้อมูลบันทึก และการค้นหาเว็บไซต์ แผนการรับรองสำหรับ OpenSearch เป็นมุมมองแยกเป็นอิสระจาก Elasticsearch และจุดสำคัญสำหรับ OpenSearch คือการจัดเตรียมคุณสมบัติและนวัตกรรมใหม่ที่ชุมชนและลูกค้าร้องขอ แม้ว่า OpenSearch อาจมีคุณสมบัติที่คล้ายกับคุณสมบัติใหม่ๆ ใน Elasticsearch (และเช่นเดียวกันในทางกลับกัน) การปรับใช้คุณสมบัติทั้งหมดระหว่าง 2 โปรเจกต์จะไม่เกี่ยวข้องกัน เป้าหมายหลักของ OpenSearch คือการสร้างสิ่งที่เหมาะสมกับความต้องการของชุมชน OpenSearch และลูกค้าของเรามากที่สุด
คุณสมบัติบางส่วนที่ OpenSearch นำเสนอมีอะไรบ้าง
| คุณสมบัติ |
ประโยชน์ |
| มีคุณสมบัติด้านการเข้ารหัส การรับรองความถูกต้อง การอนุญาต และการตรวจสอบ รวมถึงการผสานรวมกับ Active Directory, LDAP, SAML, Kerberos, JSON web tokens และอื่นๆ นอกจากนั้น OpenSearch ยังให้การควบคุมการเข้าถึงดัชนี เอกสาร และช่องข้อมูลตามบทบาทอย่างละเอียดอีกด้วย |
|
| นำเสนอคุณสมบัติมากมายที่จะช่วยคุณให้ปรับแต่งประสบการณ์การค้นหาของคุณ เช่น การสืบค้นข้อความทั้งหมด การเติมข้อความอัตโนมัติ การค้นหาแบบเลื่อน การให้คะแนนและการจัดอันดับที่ปรับแต่งได้ และอื่นๆ |
|
| มอบวากยสัมพันธ์การสืบค้นของ SQL ที่คุ้นเคย ใช้การรวบรวม จัดกลุ่มตาม และส่วนคำสั่งเพื่อตรวจสอบข้อมูลของคุณ อ่านข้อมูลเป็นเอกสาร JSON หรือตาราง CSV เพื่อให้คุณมีความยืดหยุ่นในการใช้รูปแบบที่เหมาะสมที่สุดสำหรับคุณ |
|
| ช่วยให้คุณใช้วากยสัมพันธ์การสืบค้นของ SQL ที่คุ้นเคยในขณะที่เข้าถึงชุดความสามารถที่หลากหลายในการค้นหา เช่น การจับคู่ฟัซซี, Boosting, การจับคู่วลี และอื่นๆ |
|
| Data Prepper คือตัวรวบรวมข้อมูลฝั่งเซิร์ฟเวอร์ที่สามารถกรอง เพิ่มคุณค่า แปลงสภาพ ทำให้เป็นมาตรฐาน และรวมข้อมูลสำหรับการวิเคราะห์และการแสดงภาพดาวน์สตรีม Data Prepper ช่วยให้ผู้ใช้สร้างไปป์ไลน์การทำงานที่กำหนดเองเพื่อปรับปรุงมุมมองการทำงานของแอปพลิเคชันให้ดีขึ้น |
|
| Trace Analytics มอบวิธีการนำเข้าและแสดงภาพข้อมูล OpenTelemetry ใน OpenSearch ข้อมูลนี้จะช่วยให้คุณค้นหาและแก้ไขปัญหาด้านประสิทธิภาพในแอปพลิเคชันแบบกระจาย |
|
| ใช้การวิเคราะห์แอปพลิเคชันเพื่อสร้างแอปพลิเคชันที่มีความสามารถในการสังเกตแบบกำหนดเองเพื่อดูสถานะความพร้อมของระบบ ซึ่งคุณสามารถรวมเหตุการณ์ในข้อมูลบันทึกกับข้อมูลการติดตามและการตรวจวัดเป็นมุมมองสถานะระบบมุมมองเดียวได้ ซึ่งช่วยให้คุณปรับเปลี่ยนระหว่างข้อมูลบันทึก การติดตาม และการวัดผล เพื่อเจาะลึกลงต้นตอของปัญหาได้ |
|
| Piped Processing Language มีวากยสัมพันธ์การสืบค้นที่คุ้นเคยพร้อมชุดคำสั่งที่ครอบคลุมซึ่งคั่นด้วยเครื่องหมายขีดตั้ง (|) เพื่อสืบค้นข้อมูล |
|
| สร้างแผงการดำเนินงานเพื่อจัดระเบียบการแสดงภาพความสามารถในการสังเกตที่สร้างขึ้นโดยใช้ Piped Processing Language (PPL) |
|
| ใช้การสืบค้น Piped Processing Language (PPL) เพื่อสร้างและดูการแสดงข้อมูลของคุณด้วยภาพในแบบต่างๆ ในรูปแบบอินเทอร์แอคทีฟ รวมถึงความสัมพันธ์ของข้อมูลบันทึกการติดตามด้วย |
|
| ใช้อัลกอริทึมแมชชีนเลิร์นนิงมากมาย เช่น kmeans และการตรวจจับความผิดปกติ เพื่อฝึกรูปแบบและคาดการณ์แนวโน้มในข้อมูลของคุณ ML Commons จะผสานรวมเข้าโดยตรงกับ PPL และ REST API |
|
| กำหนดเวลา ส่งออก และแชร์รายงานจากแดชบอร์ด การค้นหาที่บันทึกไว้ การแจ้งเตือน และการแสดงข้อมูลด้วยภาพ |
|
| ใช้การตรวจหาสิ่งผิดปกติด้วยแมชชีนเลิร์นนิงที่อิงตามอัลกอริทึม Random Cut Forest (RCF) เพื่อตรวจหาสิ่งผิดปกติโดยอัตโนมัติระหว่างนำเข้าข้อมูล ร่วมกับการแจ้งเตือน เพื่อติดตามตรวจสอบข้อมูลแบบใกล้เคียงเรียลไทม์และส่งการแจ้งเตือนโดยอัตโนมัติ |
|
| กำหนดนโยบายเองเพื่อให้การจัดการดัชนีที่ดำเนินเป็นประจำเป็นไปโดยอัตโนมัติ เช่น การโรลโอเวอร์และการลบ และนำไปใช้กับดัชนีและรูปแบบดัชนีต่างๆ |
|
| สร้างมุมมองสรุปของข้อมูลที่มีศูนย์กลางอยู่ที่ฟิลด์บางอย่าง เพื่อให้คุณเห็นภาพหรือวิเคราะห์ข้อมูลในรูปแบบต่างๆ ตัวอย่างเช่น สมมติว่าคุณมีข้อมูลสายการบินที่กระจัดกระจายอยู่ในหลายฟิลด์และหลายหมวดหมู่ และคุณต้องการดูข้อมูลสรุปที่จัดเรียงตามสายการบิน ไตรมาส และราคา คุณสามารถใช้งานการแปลงเพื่อสร้างดัชนีสรุปใหม่ ซึ่งจะจัดระเบียบตามหมวดหมู่เฉพาะเหล่านั้น |
|
| เลือกฟิลด์ที่คุณสนใจและใช้ค่าสะสมดัชนีเพื่อสร้างดัชนีใหม่ที่มีเฉพาะฟิลด์เหล่านั้นรวมเป็นบัคเก็ตเวลาที่หยาบกว่า คุณสามารถจัดเก็บข้อมูลในอดีตเป็นเดือนหรือเป็นปีได้ในราคาเพียงเล็กน้อยโดยมีประสิทธิภาพการสืบค้นเท่ากัน |
|
| สืบค้นการรวบรวมและมาตรวัดประสิทธิภาพของคลัสเตอร์จำนวนมาก ใช้ PerfTop ซึ่งเป็นอินเทอร์เฟซบรรทัดคำสั่ง (CLI) เพื่อแสดงและวิเคราะห์มาตรวัดเหล่านั้นอย่างรวดเร็ว ใช้เฟรมเวิร์กการวิเคราะห์สาเหตุของปัญหา (RCA) เพื่อตรวจสอบปัญหาด้านประสิทธิภาพและความน่าเชื่อถือในคลัสเตอร์ต่างๆ |
|
| เรียกใช้การสืบค้นแบบซับซ้อนโดยไม่ต้องกังวลว่าการสืบค้นจะหมดเวลาและทำการสืบค้นแบบอะซิงโครนัสในพื้นหลัง ติดตามความคืบหน้าของการสืบค้นและเรียกดูผลลัพธ์บางส่วนเมื่อพร้อมใช้งาน |
|
| นำเข้าและแสดงภาพข้อมูล OpenTelemetry สำหรับแอปพลิเคชันแบบกระจายศูนย์ แสดงภาพโฟลว์เหตุการณ์ระหว่างแอปพลิเคชันเหล่านี้เพื่อระบุปัญหาด้านประสิทธิภาพ |
|
| ตรวจสอบข้อมูลและส่งการแจ้งเตือนโดยอัตโนมัติไปยังผู้มีส่วนได้เสีย อินเทอร์เฟซที่ใช้งานง่ายและ API ประสิทธิภาพสูงช่วยให้สามารถตั้งค่า จัดการ และตรวจสอบการแจ้งเตือนได้ง่าย สร้างเงื่อนไขการแจ้งเตือนที่เจาะจงเป็นพิเศษโดยใช้คุณสมบัติข้อความและสคริปต์การสืบค้นเต็มรูปแบบของ OpenSearch |
|
| สร้างนโยบายการแจ้งเตือนที่จะแจ้งเตือนแนวโน้มในข้อมูลของคุณโดยจัดเป็นกลุ่ม ยกตัวอย่าง คุณสามารถแจ้งเตือนแต่ละโฮสต์ที่มี CPU เฉลี่ยสูงกว่าเกณฑ์ที่คุณต้องการ |
|
| การจำลองแบบดัชนี การแมป และข้อมูลเมตาจากคลัสเตอร์หนึ่งของ OpenSearch ไปยังอีกคลัสเตอร์หนึ่งเพื่อสร้างข้อมูลสำรองข้ามคลัสเตอร์หรือลดภาระการสืบค้นรายงานไปยังคลัสเตอร์รอง |
|
| เมื่อใช้แมชชีนเลิร์นนิ่ง ให้เรียกใช้อัลกอริทึมการค้นหาเพื่อนบ้านที่ใกล้ที่สุด (Nearest Neighbor) กับเอกสารหลายพันล้านฉบับจากมิติข้อมูลนับพันได้อย่างง่ายดายเหมือนกับการเรียกใช้การสืบค้นทั่วไปของ OpenSearch ใช้การวบรรวมและการคัดกรองเพื่อปรับแต่งการดำเนินการค้นหาความคล้ายคลึงกันเพิ่มเติม คุณสมบัติการค้นหาความคล้ายคลึงกันของ k-NN ใช้ในกรณีต่างๆ เช่น คำแนะนำผลิตภัณฑ์ การตรวจจับการฉ้อโกง การค้นหารูปภาพและวิดีโอ การค้นหาเอกสารที่เกี่ยวข้อง และอื่นๆ |
|
| รวมแดชบอร์ด การแสดงข้อมูลด้วยภาพ ข้อความ และอื่นๆ เพื่อให้บริบทและคำอธิบายโดยละเอียดเมื่อวิเคราะห์ข้อมูล |
|
| OpenSearch รองรับหลากหลายไคลเอนต์ภาษามากมาย อาทิ Go, JavaScript, Python, Java และอื่นๆ ใช้ไคลเอนต์เหล่านี้เพื่อสร้างแอปพลิเคชันที่ผสานรวมโดยตรงเข้ากับ OpenSearch |
ใครคือผู้สนับสนุนและบำรุงรักษา OpenSearch
หลายๆ องค์กร เช่น AWS, SAP, CapitalOne, RedHat, Logz.io, Aiven.io, Bonsai, Logit.io, InstaCluster และ BAInsight ต่างเปิดตัวว่าสนับสนุน OpenSearch แล้ว
เราขอแนะนำและยอมรับการบริจาคจากชุมชน และไม่ต้องการข้อตกลงสิทธิ์การใช้งานสำหรับผู้ให้การสนับสนุน (CLA) เพื่อทำเช่นนั้น นอกจากนี้ หากคุณเป็นผู้ร่วมให้การสนับสนุนและต้องการความรับผิดชอบในโปรเจกต์มากขึ้น เราได้กำหนดกระบวนการสำหรับพนักงานที่ไม่ใช่ AWS เพื่อขอรับสิทธิ์ผู้ดูแลในที่เก็บของโปรเจกต์ OpenSearch ได้ที่นี่
อนาคตของ OpenSearch เป็นอย่างไร
เราเปิดตัว OpenSearch เวอร์ชัน 1.0 ที่พร้อมใช้งานทั่วไปเป็นครั้งแรกในเดือนกรกฎาคม 2021 และตั้งแต่นั้นเป็นต้นมา เราได้เปิดตัวเวอร์ชันใหม่โดยมีรายละเอียดดังนี้ และเนื่องจากชุมชนให้ความสนใจและการสนับสนุนเป็นอย่างสูง เราจึงได้เปิดตัวคุณสมบัติใหม่หลายอย่างสำหรับกรณีการใช้งานสำคัญต่างๆ ที่เกี่ยวกับการวิเคราะห์ การค้นหา และการสังเกตข้อมูลบันทึก สิ่งเหล่านี้ยังคงเป็นหัวใจหลักต่อการปรับปรุงในอนาคตสำหรับทั้ง OpenSearch และ OpenSearch Dashboards สำหรับเลเยอร์การแสดงข้อมูลด้วยภาพของเรา โปรดดูแผนการรับรองสำหรับภาพรวมโดยสรุปของสิ่งสำคัญที่ OpenSearch เน้นความสนใจ
OpenSearch ให้สิทธิ์การใช้งานอย่างไร
ทุกซอฟต์แวร์ในโปรเจกต์ OpenSearch จะเผยแพร่ภายใต้สิทธิ์การใช้งาน Apache License เวอร์ชัน 2.0 (ALv2) ALv2 มอบสิทธิ์การใช้งานที่เข้าใจกันดีและได้รับอนุญาตตามสมควรซึ่งตรงกับอิสระที่ผู้คนคาดหวังกับซอฟต์แวร์โอเพนซอร์ส เช่น ความสามารถในการใช้งาน ปรับเปลี่ยน ขยาย สร้างรายได้ และขายต่อซอฟต์แวร์โอเพนซอร์สได้ทุกที่ทุกรูปแบบที่ต้องการ สำหรับ OpenSearch เราเชื่อว่าใบอนุญาตนี้จะช่วยให้สามารถนำไปใช้ได้ในวงกว้างและสนับสนุนสมาชิกชุมชนทุกคน นอกจากนั้น เรายังเผยแพร่คู่มือการใช้งานที่อนุญาตตามสมควรสำหรับเครื่องหมายการค้า OpenSearch เพื่อให้คุณสามารถใช้ชื่อนี้ในการส่งเสริมข้อเสนอของคุณ
ฉันจะดูข้อมูลเพิ่มเติมเกี่ยวกับความเข้ากันได้ของไคลเอนต์และ API ของ OpenSearch ได้อย่างไร
โปรดดูคำถามที่พบบ่อยบนเว็บไซต์ OpenSearch โอเพนซอร์ส คำถามที่พบบ่อยยังเป็นแหล่งข้อมูลที่ยอดเยี่ยมเกี่ยวกับเครื่องมือและปลั๊กอิน การอัปเกรดความเข้ากันได้ ชุมชนโดยทั่วไป รวมถึงวิธีที่คุณสามารถมีส่วนร่วมและได้ประโยชน์จาก OpenSearch
ทรัพยากรเพิ่มเติม
- คำถามที่พบบ่อยเกี่ยวกับ OpenSearch »
- บล็อก: ก้าวขึ้นสู่ Elasticsearch แบบโอเพนซอร์สอย่างแท้จริงและการเรียนรู้เบื้องต้นเกี่ยวกับ OpenSearch »
OpenSearch ประกอบด้วยโค้ด Elasticsearch บางส่วนที่ได้รับอนุญาตจาก Apache ซึ่งมาจาก Elasticsearch B.V. และซอร์สโค้ดอื่น ๆ Elasticsearch B.V. ไม่ใช่แหล่งที่มาของซอร์สโค้ดอื่น ๆ เหล่านั้น ELASTICSEARCH เป็นเครื่องหมายการค้าจดทะเบียนของ Elasticsearch B.V.
