Amazon OpenSearch Hizmeti Özellikleri

Sıcak depolama, sık erişilen verilerin hızla alınmasına olanak tanır. UltraWarm, etkileşimli bir sorgulama deneyimi sunarken daha eski ve daha seyrek erişilen veriler için daha ucuz depolama sağlayarak OpenSearch Hizmeti sıcak depolama katmanını tamamlayan bir sıcak depolama katmanıdır. UltraWarm, verileri Amazon Simple Storage Hizmeti’nde (Amazon S3) depolar ve bu verileri hızlı bir şekilde önbelleğe almak, önceden getirmek ve sorgulamak için AWS Nitro Sistemi’nde özel, yüksek düzeyde optimize edilmiş düğümler kullanır.

UltraWarm ile tek bir OpenSearch Hizmeti kümesinde 3 PB'a kadar veriyi saklayabilir ve sıcak depolama katmanına kıyasla GB başına maliyeti yaklaşık %90 oranında azaltabilirsiniz. Ayrıca Kibana (sürüm 7.10 ve daha eski) veya OpenSearch Dashboards arabiriminizdeki verileri kolayca sorgulayabilir ve görselleştirebilirsiniz. Arşivlenmiş günlükleri geri yüklemek için saatler veya günler harcamadan hem son (haftalar) hem de geçmiş (aylar veya yıllar) günlük verilerinizi analiz edin.

UltraWarm, OpenSearch Hizmeti için tam olarak yönetilen, düşük maliyetli, yarı sıcak bir depolama katmanıdır. OpenSearch, Elasticsearch (7.10 sürümüne kadar), OpenSearch Dashboards ve Kibana (7.10 sürümüne kadar) ile uyumludur ve bugün OpenSearch Hizmeti'nin sağladığı araçları kullanarak verileri analiz etmenize yardımcı olur. UltraWarm, entegre uyarı, SQL sorgulama ve daha fazlası gibi mevcut OpenSearch Hizmeti özellikleriyle sorunsuz bir şekilde entegre olur. 

UltraWarm, OpenSearch Hizmeti'nde analiz etmek istediğiniz verileri uygun maliyetli bir şekilde genişletmenize yardımcı olur. Daha önce silinmiş veya arşivlenmiş olabilecek veriler hakkında değerli bilgiler edinebilirsiniz. UltraWarm sayesinde artık verilerinizin daha büyük bir kısmını ekonomik olarak saklayabilir ve istediğiniz zaman etkileşimli bir şekilde analiz edebilirsiniz.

OpenSearch Hizmeti, sıcak ve UltraWarm olmak üzere iki tümleşik depolama katmanını destekler. Etkin katman, indeksleme, güncelleme ve verilere en hızlı erişimi sağlamak için kullanılan veri düğümleri tarafından desteklenmektedir. UltraWarm düğümleri, daha eski ve daha seyrek erişilen veriler için düşük maliyetli, salt okunur bir katman sağlayarak etkin katmanı tamamlar.

UltraWarm, depolama için yüzde 99,999999999 dayanıklılık için tasarlanmış ve sıcak verileriniz için bir Elasticsearch replikası yapılandırma ihtiyacını ortadan kaldıran Amazon S3'ü kullanır. Ek olarak, bir düğüm hatasıyla karşılamanız durumunda, birden fazla UltraWarm düğümünüz varsa diğer UltraWarm düğümleri gereken verilere otomatik olarak erişir.

UltraWarm, 3 PB'a kadar birincil veriyi destekler. UltraWarm, bu depolamanın %100'ünü tam olarak kullanmanıza izin verecek şekilde tasarlanmıştır. Ayrıca UltraWarm, verileri dayanıklılık için Amazon S3'te depoladığından Elasticsearch replikaları için ek depolama kullanmanız gerekmez.

UltraWarm, yerel depolama alanının kullanıldığı yüksek yoğunluklu bulut sunucularına benzer bir performans ortaya koymak için ayrıntılı G/Ç önbelleğe alma, önceden getirme ve sorgu altyapısı optimizasyonları uygulayarak OpenSearch Dashboards ve Kibana'da etkileşimli bir deneyim sunar.

UltraWarm'u kullanmaya başlamak için konsol, CLI veya API'ler aracılığıyla UltraWarm'un etkinleştirildiği yeni bir OpenSearch Hizmeti etki alanı oluşturun. Etki alanınız oluşturulduktan sonra OpenSearch/Elasticsearch API'lerini kullanarak verileri sıcaktan UltraWarm'a taşıyabilirsiniz. Daha fazla bilgi için OpenSearch Hizmeti Geliştirici Kılavuzu’na bakın.

Soğuk depolama, OpenSearch Hizmeti için en düşük maliyetli depolama seçeneğidir ve Amazon S3'te nadiren erişilen verileri saklamanıza ve yalnızca ihtiyaç duyduğunuzda bilgi işlem için ödeme yapmanıza olanak tanır. Soğuk depolama, verileri Amazon S3'te depolayan özel düğümler sağlayan ve etkileşimli bir deneyim sunmak için gelişmiş bir önbelleğe alma çözümü kullanan UltraWarm'a dayanır. Soğuk depolama, bilgi işlem kaynaklarını depolamadan ayırarak OpenSearch Hizmeti etki alanınızdaki herhangi bir miktarda veriyi saklamanıza yardımcı olurken GB başına maliyeti neredeyse Amazon S3 depolama fiyatlarına düşürür. Kullanmadığınızda eski veya sık erişilmeyen yarı sıcak verileri ayırın ve işlem kaynaklarını boşa çıkararak maliyetleri azaltmaya yardımcı olun. Seçtiğiniz Kibana (sürüm 7.10 ve daha eski) veya OpenSearch Dashboards arabirimi ve kullanımı kolay API'ler ile soğuk verilerinizi saniyeler içinde keşfedin ve etki alanınızın UltraWarm düğümlerine seçerek ekleyin. Soğuk depolamada, yarı sıcak verilerinizdekine benzer bir etkileşimli deneyim ve performans ile ekli soğuk verileri sorgulayabilirsiniz.

OpenSearch, Elasticsearch B.V.'den Apache lisanslı belirli Elasticsearch kodu ve başka kaynak kodu içerir. Söz konusu diğer kaynak kodun kaynağı Elasticsearch B.V. değildir. ELASTICSEARCH, Elasticsearch B.V.'nin tescilli ticari markasıdır.

Soğuk depolama, isteğe bağlı olarak geçmiş günlüklerinizi güvenli bir şekilde depolamanızı ve analiz etmenizi kolaylaştıran, OpenSearch Hizmeti için tam olarak yönetilen en düşük maliyetli bir depolama katmanıdır. Soğuk depolama, aktif olarak veri analizi yapmadığınız zamanlarda depolamayı bilgi işlemden tamamen ayırmanıza yardımcı olur ve verilerinizi düşük maliyetle hazır hâlde tutmanıza olanak tanır. Soğuk depolama verileri, UltraWarm düğümleriniz aracılığıyla OpenSearch Service etki alanında kullanılabilir. Soğuk depolama, OpenSearch ve OpenSearch Dashboards'un yanı sıra Elasticsearch (7.9 ve 7.10 sürümleri) ve Kibana (7.9 ve 7.10 sürümleri) ile sorunsuz bir şekilde entegre olur. Bugün OpenSearch Hizmeti'nin sağladığı araçları kullanarak verileri analiz etmenize yardımcı olur.

Soğuk depolama, OpenSearch Hizmeti’nde analiz etmek istediğiniz verileri uygun maliyetli bir şekilde genişletmenize ve daha önce silinmiş veya arşivlenmiş olabilecek veriler hakkında değerli bilgiler edinmenize yardımcı olur. Eski verileriniz üzerinde araştırma veya adli analiz yapma gereksiniminiz varsa ve bunu yapmak için OpenSearch Hizmeti'nin tüm özelliklerini uygun bir fiyata kullanmak istiyorsanız soğuk depolama çok uygundur. Soğuk depolama, ölçek için oluşturulmuştur ve Amazon S3 tarafından desteklenmektedir. İhtiyacınız olan verileri bulun ve keşfedin, kümenizdeki UltraWarm düğümlerine ekleyin ve saniyeler içinde analiz için kullanılabilir hâle getirin. Eklenen soğuk veriler; dizin, belge ve alan düzeyinde erişimi sınırlandıran mevcut ayrıntılı erişim denetimi politikalarına tabidir.

OpenSearch Hizmeti, soğuk depolama ile üç entegre depolama katmanını destekler: sıcak, UltraWarm ve soğuk. Sıcak katman, verileri dizine eklemek, güncellemek ve verilere en hızlı erişimi sunmak için kullanılır. Şu anda tek bir etki alanı içerisinde 3 PB'a kadar veri destekleyen UltraWarm, Amazon S3'te dayanıklı bir şekilde depolanan ve kalıcı bir şekilde erişilebilir olması gereken veriler için yüksek performansa sahip, etkileşimli bir deneyim sağlayan işlem düğümleri sunarak sıcak katmanın sorunsuz bir uzantısı olarak faaliyet gösterir. Soğuk depolamada, kullanmadığınız dizinleri UltraWarm'dan çıkarabilir ve işlem kaynaklarını boşa çıkararak maliyetleri azaltmaya yardımcı olabilirsiniz. Soğuk depolama API'leri ve OpenSearch Dashboards ve Kibana arayüzü ile analiz için ihtiyaç duyduğunuz şeyi kolayca bulmak için indeks modellerine ve veri zaman damgalarına dayalı indeksleri keşfedebilirsiniz. Bu veriler daha sonra etki alanına eklenebilir ve saniyeler içinde analize hazır hâle gelir. Analiziniz bittiğinde bilgisayarınızda tekrar yer açmak için verileri ayırmanız yeterlidir. 

Soğuk depolama, ölçek için oluşturulmuştur. Sıcak ve yarı sıcak veriler için depolama limitleri 3 PB'de kalırken istediğiniz miktarda veriyi soğuk depolamada saklayabilirsiniz.

Soğuk depolama, verileri Amazon S3'te depolayan özel düğümler sağlayan ve etkileşimli bir deneyim sunmak için gelişmiş bir önbelleğe alma çözümü kullanan UltraWarm'a dayanır. Soğuk veriler, önce OpenSearch Hizmeti etki alanınızın UltraWarm düğümlerine eklenmelidir. Eklendikten sonra bu verilere ilişkin sorgular sıcak verilerinizle aynı performansı sunan mevcut UltraWarm düğümleri tarafından desteklenir. İstenen veriler için yeterli UltraWarm alanı varsa soğuk dizinleri etki alanınıza eklemek saniyeler sürer. Daha fazla alana ihtiyaç duyarsanız UltraWarm veri düğümleri eklemeniz gerekir. Bu işlem, birkaç dakika sürebilir.

OpenSearch Hizmeti, veri tabanı aramasının ötesine uzanan, gerçek zamanlı belge arama özellikleri sağlar. Tam olarak yönetilen bu hizmet, arama için OpenSearch altyapısını kullanır. OpenSearch; anahtar kelime aramayı, doğal dilde aramayı, eş anlamlı sözcükleri, birden fazla dili ve daha fazlasını destekleyen tam özellikli, Lucene tabanlı, taşınabilir, platformdan bağımsız açık kaynaklı bir arama altyapısıdır. Temel arama yetenekleri şunları içerir:

• Bir veri tabanından veya içerik yönetim sisteminden, bir web veya intranet gezgininden veya bir akış hizmetinden veri alır
• Arama hizmetlerinin üstünde bir ön uç oluşturmak için arama API'leri sağlar
• Aramaları birçok öznitelikte destekler
• İleriye dönük arama (süzme) sayesinde, kaydedilmiş sorgular kümesiyle eşleşen yeni belgeler bulur
• Kullanım örüntülerini değerlendirir ve OpenSearch Hizmeti izleme özellikleriyle kapasite planlaması ve maliyet tahmini gerçekleştirir
• Vektör araması, benzerlik araması, anlamsal arama ve daha fazlasını gerçekleştirmek için k-en yakın komşu (k-NN) araması için yerleşik makine öğrenimi (ML) algoritmalarını kullanır
• Alaka düzeyi puanlarını hesaplamak için Sıralama Amaçlı Öğrenme için yerleşik makine öğrenimi algoritmalarını kullanır
• ML ile arttırılmış arama deneyimlerini ve üretici yapay zekâ uygulamalarını desteklemek için basit, ölçeklenebilir ve yüksek performanslı vektör depolama ve arama sağlar
• SQL dâhil olmak üzere birden fazla sorgu dili kullanır

Arama kaynakları

Video: AWS On Air for search 

Video: LexisNexis on ML-driven search 

Demo: Improve search results with Amazon OpenSearch Service 

Atölye: Improve search relevance with ML in Amazon OpenSearch Service

Blog: Novartis AG uses OpenSearch Service k-NN and SageMaker to power search and recommendation

Referans mimarisi diyagramı: Arama destekli uygulamalar

Güvenlik operasyonları (SecOps) ekiplerinizin potansiyel tehditleri hızlı bir şekilde tespit etmesine yardımcı olurken, tümü düşük veri saklama maliyetleriyle güvenlik soruşturmalarına yardımcı olacak araçlara sahip olun. İş verilerinizi güvence altına alın ve olası güvenlik tehditlerini hızla tespit edin. OpenSearch Hizmeti, güvenlik bulgularını filtreleyerek potansiyel güvenlik tehditlerini tespit etmek için 2.200'den fazla açık kaynaklı Sigma güvenlik kuralı için kullanıma hazır destek sağlar. Potansiyel güvenlik tehditlerini hızlı bir şekilde tespit etmek ve önceden seçilmiş bir hedefe uyarılar göndermek için varsayılan Sigma kurallarını bile özelleştirebilir veya kullanabilirsiniz. Windows, Netflow, AWS CloudTrail, DNS ve daha fazlası dâhil olmak üzere birden çok günlük kaynağı için kullanıma hazır destekten yararlanın. 

OpenSearch güvenlik analizi, iş açısından kritik işlevlerin operasyonlarını tehlikeye atabilecek güvenlik tehditlerini araştırmaya, tespit etmeye, analiz etmeye ve bunlara yanıt vermeye yardımcı olmak için tasarlanmıştır. Bu tehditlerden bazıları gizli verilerin olası açığa çıkması, siber saldırılar ve diğer olumsuz güvenlik olaylarıdır. Algılama parametrelerini tanımlamak, uyarılar oluşturmak ve olası tehditlere etkili bir şekilde yanıt vermek için gerekli araçları ve özellikleri içerir.

Şu anda NetFlow, DNS günlükleri, Apache erişim günlükleri, Windows günlükleri, AD/LDAP günlükleri, Linux sistem günlükleri, AWS CloudTrail günlükleri ve Amazon S3 erişim günlükleri dahil olmak üzere sekiz günlük türünü destekliyoruz.

Biçimlendirilmiş JSON verilerini OpenSearch'e gönderen mevcut alma işlem hatlarınızı kullanabilirsiniz.

Evet, OpenSearch güvenlik analizi, farklı türdeki güvenlik algılayıcılarıyla 2,200'den fazla kullanıma hazır Sigma güvenlik kuralı içerir. Günlük kaynağı hakkında minimum yapılandırma sağladığınızda bu kurallar önceden seçilir.

Evet, yukarıdaki desteklenen günlük türleri için özel kurallar eklenebilir. Bu kurallar, Sigma kural biçiminde olmalıdır ve bir güvenlik algılayıcısıyla kullanmadan önce OpenSearch'e aktarılabilir.

Evet, günlüklerin JSON biçiminde olması gerekir. Bunları ECS (Esnek Ortak Şema) biçiminde göndermenizi öneririz.

OpenSearch güvenlik analizi, ek maliyet veya lisans ücretleri olmadan kullanımınıza sunulur. OpenSearch Hizmeti'ne diğer verileri alırken ödediğiniz aynı ücretleri ödersiniz.

Güvenlik Analizi, OpenSearch 2.5 veya üzeri bir sürümü çalıştıran OpenSearch Hizmeti ile önceden yüklenmiş olarak sunulur.

Amazon Güvenlik Gölü; bulut, şirket içi ve özel kaynaklardan gelen güvenlik verilerini hesabınızda depolanan amaca yönelik oluşturulmuş bir veri gölünde otomatik olarak merkezileştirir. Bu toplanan veriler, S3 klasörlerinde saklanan ortak bir biçimde normalleştirilir. Bu veriler, raporları görselleştirmenize, sorgulamanıza ve oluşturmanıza izin veren OpenSearch Hizmeti'ne alınabilir. Güvenlik analizi, olası güvenlik olaylarını tespit etmenize ve uyarıda bulunmanıza yardımcı olabilecek bir güvenlik kuralları altyapısı sağlamanın yanı sıra bunları, araştırmanıza yardımcı olacak şekilde ilişkilendirmenize yardım eder.

Evet, Güvenlik Gölü'nden OpenSearch'e ek günlükler getirebilirsiniz ve alınan günlüklerde ilgili kuralları çalıştırmak için bir algılayıcı oluşturabilirsiniz.

OR1, dahili karşılaştırmalarda mevcut bulut sunucularına göre %30'a kadar fiyat-performans iyileşmesi sağlayan ve 11 9 saniyelik dayanıklılık için Amazon S3'ü kullanan OpenSearch Optimize Edilmiş Bulut Sunucusu ailesidir. OR1 ile Amazon OpenSearch Hizmeti, verilerin bulutta nasıl dizine eklendiğini ve depolandığını yeniden tasarlamak için OpenSearch inovasyonunu ve AWS teknolojilerini kullanır. OR1, müşterilerin bekledikleri etkileşimli analiz deneyiminden ödün vermeden OpenSearch dağıtımlarını daha ekonomik ve güvenilir bir şekilde ölçeklendirmelerini sağlar. 

OR1, dahili karşılaştırmalarda mevcut bulut sunucularına göre %30'a kadar fiyat-performans iyileşmesi sağlayan ve 11 9 saniyelik dayanıklılık için Amazon S3'ü kullanan Amazon OpenSearch Hizmeti tarafından yönetilen kümeler için OpenSearch Optimize Edilmiş Bulut Sunucusu ailesidir. OR1 ile Amazon OpenSearch Hizmeti, verilerin bulutta nasıl dizine eklendiğini ve depolandığını yeniden tasarlamak için OpenSearch inovasyonunu ve AWS teknolojilerini kullanır. OR1, müşterilerin bekledikleri etkileşimli analiz deneyiminden ödün vermeden OpenSearch dağıtımlarını daha ekonomik ve güvenilir bir şekilde ölçeklendirmelerini sağlar. OR1, tedarik edilmiş bulut sunucusu (sunucuları) ve depolama alanı için basit bir saatlik ücret ile kullandığın kadar öde ve ayrılmış bulut sunucusu fiyatlandırması sunar.

Müşteriler, yüksek hacimli verileri alma ve aynı zamanda bu veriler üzerinde zengin ve etkileşimli analizler sağlama yeteneği nedeniyle operasyonel günlük analizinde Amazon OpenSearch Hizmeti'ni yaygın olarak kullanır. OR1, dahili karşılaştırmalarda mevcut bulut sunucularına göre %30'a kadar fiyat-performans iyileşmesi sağlayan ve 11 9 saniyelik dayanıklılık için Amazon S3'ü kullanan OpenSearch Optimize Edilmiş Bulut Sunucusu ailesidir. Dizine alma bakımından yoğun operasyonel analiz iş yükleriyle çalışıyorsanız gelişmiş performans ve gelişmiş işlem verimliliğinden yararlanabilirsiniz. Ayrıca bir sorun olması durumunda, OpenSearch en son başarılı işleme kadar otomatik veri kurtarma işlemi gerçekleştirebilir ve etki alanının güvenilirliğini artırabilir.

Amazon OpenSearch Hizmeti iki çoğaltma stratejisini destekler: Mantıksal (belge) ve fiziksel (segment) çoğaltma. Mantıksal çoğaltmada veriler tüm kopyalarda ayrı ayrı dizine alınır ve bu da ek çoğaltma eforuna yol açar. Fiziksel çoğaltmada ise veriler yalnızca birincil kopya üzerinde dizine alınır ve birincil kopyadan veri kopyalanarak ek kopyalar oluşturulur. Amazon OpenSearch Hizmeti tarafından yönetilen kümelerin yeni bulut sunucuları olan OR1, Amazon S3 tabanlı uzak depolama alanına veri yazmak için fiziksel çoğaltmayı kullanır. Son derece dayanıklı bir veri deposu olan Amazon S3 deposu, tüm çoğaltma ve kurtarma işlemleri için doğruluk kaynağı görevi görür. Yenilikçi tasarım, dizine ekleme performansı iyileştirmelerini ve Amazon OpenSearch Hizmeti etki alanları için yüksek dayanıklılığı beraberinde getirir.

Amazon OpenSearch Hizmeti, küme yöneticisi düğümlerini (ana düğümler), veri düğümlerini ve sıcak düğümleri destekler. Veri düğümleri için müşteriler, rol ve iş yükü özelliklerine bağlı olarak genel amaçlı, bellek için optimize edilmiş bilgi işlem için optimize edilmiş, depolama için optimize edilmiş ve artık OpenSearch için optimize edilmiş bulut sunucuları arasından seçim yapılabilir. Sıcak düğümler için Amazon OpenSearch Hizmeti, sıcak verilerin depolanma maliyetini düşürmek için optimize edilmiş ultra sıcak bulut sunucularını sağlar. OR1, yeni OpenSearch Optimize Edilmiş bulut sunucusu ailesindeki ilk bulut sunucusu seçeneğidir. OR1 bellek yönünden optimize edilmiştir ve veri düğümleri olarak kullanılabilir. OR1, standart bellek için optimize edilmiş bulut sunucularına göre daha iyi dizin oluşturma aktarım hızı sağlar. Ayrıca OR1, anlık yedeklere güvenmeden veri dayanıklılığı sağlar ve hızlı otomatik kurtarma sağlar. Hem OR1 hem de Ultrawarm bulut sunucuları, verileri depolamak için yerel bir depolama alanı (EBS) ve bir uzak depolama alanı (Yönetilen Depolama - Amazon S3 tabanlı) kullanır. OR1 için verilerin bir kopyası hem yerel depolama alanında hem de uzak depolama alanında tutulurken, Ultrawarm'da depolama maliyetlerini azaltmak için veriler öncelikle uzak depolama alanında tutulur ve erişim düzenine bağlı olarak veriler yerel depolama alanına taşınır. 

OR1 bulut sunucuları yerel depolama alanı olarak EBS'yi ve uzak depolama alanı olarak Amazon S3'ü kullanır. Tüm veriler, %99,999999999 (11 9s) veri dayanıklılığı sağlamak üzere tasarlanmış Amazon S3'e senkronize olarak yazılır.

OR1 bulut sunucuları, OpenSearch 2.11 veya sonraki sürümlerinde oluşturulan tüm yeni Amazon OpenSearch Hizmeti tarafından yönetilen kümeler için veri düğümleri olarak kullanılabilir ve bekleme sırasında şifreleme etkinleştirilmiştir. Başlatma sırasında OR1 bulut sunucuları, veri düğümleri için diğer bulut sunucuları kullanılarak oluşturulan yönetilen kümeler için kullanılamayacaktır. OR1'de küme yöneticileri için Graviton bulut sunucularını sağlamanız gerekir.

Bir kırmızı dizin olması durumunda, OR1 bulut sunucuları uzaktaki depolama alanından (Amazon S3) eksik parçaları otomatik olarak geri yükler. Kurtarma süresi, kurtarılacak veri hacmine göre değişir. 

Referans mimarisi e-kitabı

Video: Tools for data transformation