Günlük analizi nedir?
Uygulamalar, sunucular, bulut altyapıları, IoT ve mobil cihazlar, DevOps, mikro hizmet mimarileri gibi en büyük işletme ve BT trendleri hem operasyonları hem de müşteri deneyimini eşi benzeri görülmemiş şekilde iyileştirmemize yardımcı olmaktadır. Ancak bu trendler, makine tarafından oluşturulan verilerde büyük bir artışa neden olmuştur. Bu verilere örnek olarak kullanıcı işlemleri, müşteri davranışı, sensör etkinliği, makine davranışı ve güvenlik tehditleri gibi günlükler ve ölçümler verilebilir. Bu veriler, karmaşık olmalarına rağmen BT, güvenlik ve işletmelere yönelik operasyonel zeka içerdiğinden son derece değerlidir.
Günlük analizi, BT sistemlerinizin ve teknoloji altyapınızın oluşturduğu makine verilerinin operasyonel öngörüler elde etmek amacıyla aranmasını, analiz edilmesini ve görselleştirilmesini içerir. Geleneksel veri analiz araçları hızla artan makine verilerinin çeşitliliğini ve hacmini kaldırabilecek bir tasarıma sahip değildir.
Günlük analizi neden önemli?
Günlük verilerinin hacmi sürekli olarak artmaktadır. Bütüncül, maliyet bilinçli bir çözüm kullanılmadığında maliyetler kontrolsüz bir şekilde artmaya devam edecektir. İnsan verileri ve makineler tarafından oluşturulan veriler devasa bir hızla artmaya devam ediyor. Öyle ki insanlar tarafından oluşturulan veriler, muhafazakar bir tahminle bile, genel olarak işletme verilerinden 10 kat daha yüksek bir büyüme oranına sahip. Ayrıca makineler tarafından oluşturulan verilerin daha da artacağı öngörülüyor.
Günlük analizinin tarihçesi nedir?
Bilgisayar tarafından oluşturulan kayıtlar oluşturmaya başladığımızdan beri bu kayıtları toplu olarak analiz etmeye çalışıyoruz. Cihazlar, uygulamalar, ağlar vb. kaynaklardan alınan bu kayıtlar daha sonra oluşturulma sıralarına göre günlüklere aktarılmaktadır. Günlüklerin çoğu durumda tam olarak belgelenmemiş olması ve uygulamalar veya cihazlar genelinde tutarlı bir yapıyla oluşturulmamış olması da günlük analizine duyulan ihtiyacın gerekçelerinden biridir.
Günlük analizi piyasası nasıl bir yol izleyecek?
Günlük verileri nadiren ortadan kaybolur, sadece farklı şekillerde depolanıp erişilir. Veri hacmi büyüdükçe verileri depolayabilmek ve verilerden anlamlı yorumlar çıkarabilmek için daha gelişmiş yöntemlere ihtiyaç duyarız. Bu gibi büyüyen veri yığınlarından anlamlı düzenler çıkarabilmek için makine öğreniminden yararlanılıyor olsa da güvenlik analizi, dolandırıcılık algılama, anormallik algılama vb. süreçleri desteklemek için yapılabilecek çok daha fazla şey var.
Günlük analizinin avantajları nelerdir?
Günlük analizi aşağıda listelenenler gibi önemli operasyonel analiz sorularına cevap bulmanızı sağlar. Şu sorulara gerçek zamanlı olarak cevap bulabildiğinizi düşünün:
- Altyapım çalışıyor mu?
- Gecikme süresi ve hata oranı ne?
- Uygulamamdaki soruna yol açan şey ne?
- Herhangi bir şüpheli kimlik doğrulaması etkinliği var mı?
- Bu IP adresi hangi verilere erişti?
- Dolandırıcılık olayları var mı?
- Kullanıcılarım hangi içerik/ürünler ile ilgileniyor?
- En çok veya en az kullanılan özellikler neler?
- En aktif kullanıcı kim ve neden öyle?
Günlük analizinin avantajlarına ilişkin daha ayrıntılı bir inceleme için Omdia tarafından hazırlanan bu yazıya göz atın.
Günlük analizinin zorlukları nelerdir?
Günlük analizi araçlarının karşılaştığı başlıca zorluklar şunlardır:
-
Veri çeşitliliği ve veri birimlerinin hızla artması
- Güvenlik ve maliyetin kritik gereksinimler olması
- Gerçek zamanlı ve tahmini sonuçların eski mimarilere kolayca eklenememesi
Günlük analizini kimler kullanır?
Günlük analizinin birincil kullanıcıları; DevOps mühendisleri, site güvenilirliği çalışanları ve kurum mimarlarıdır.
Günlük analizi ne işe yarar?
Gerçek zamanlı uygulama ve altyapı izleme
Uygulamalarınızdan ve BT silolarınızdan tüm günlükleri yakalayıp merkezileştirerek uygulama ve altyapı yığınınıza ilişkin ayrıntılı görünürlük elde edin ve çalışma süresini güvence altına alın. Verileri dizinleyerek gerçek zamanlı analize hazır hale getirmeniz gerekir. Böylece performans ölçümlerini gerçek zamanlı olarak görselleştirebilirsiniz.
Temel neden analizi
Ortamınız (sunucular, kod) genelindeki sorunları hızlıca tespit ederek ortalama tanımlama süresini (MTTI) ve ortalama çözüm süresini (MTTR) kısaltın. Görselleştirme araçlarıyla milyonlarca olay arasında arama yaparak ve olayları hem uygulamalarınız hem de altyapınız ile ilişkilendirerek sorunların temel nedenini hızlıca teşhis edebilir ve çalışma süresini iyileştirebilirsiniz.
Tıklama akışı analizi
Web içeriğinizin performansına ve kullanıcıların hem uygulamalarınız hem de web siteleriniz ile kurduğu etkileşimle ilgili kullanıcı davranışları, harcanan süre, popüler içerikler vb. gibi ayrıntılara ilişkin gerçek zamanlı bir bakış elde edin. Müşterilerinizi daha iyi anlamak için tıklama akışı günlüklerinizi zahmetsizce birleştirip analiz edebilirsiniz.
Güvenlik zekası ve olay yönetimi (SIEM)
Ağınızdaki tüm kötü amaçlı veya şüpheli etkinlikleri tanımlamak için uygulamalar, ağlar ve işletim sistemleri dahil olmak üzere tüm ortamınız genelinde meydana gelen olayları merkezileştirip analiz edin. Verileri alır almaz dizine ekleyerek birden çok kaynaktan gelen verileri anında analiz edebilir ve tehditleri daha hızlı bir şekilde tespit edip önleyebilirsiniz.
Günlük analizi stratejisi oluşturma
Günlük analizi stratejinizin; veri alma, dönüştürme ve zenginleştirme, dizin oluşturma ve parçalama stratejisi, altyapı planlaması ve son olarak veri yaşam döngüsü ve verilerin arşivlenmesini ele alması gerekir. Atmanız gereken genel adımlar şunlardır:
-
İlk olarak, veri hareketlerini veya veri alımını tanımlamanız gerekir. Temelde, bir alım yolu bulmanız gerekir.
-
İkinci olarak, günlük satırları veya dizelerinin yer aldığı bir veri dönüşümü oluşturmanız gerekir. Günlük analizi, çoğu zaman JSON ile çalışır. Bir şeyin, gerektiğinde verileri uygun şekilde dönüştürmesi ve zenginleştirmesi gerekir.
-
Üçüncü olarak, bir dizine ekleme ve parça stratejisi bulmanız gerekir. Dizinlerin doğru şekilde oluşturulması son derece önemlidir.
-
Dördüncü olarak, bulut sunucusu türünü ve kaç adet bulut sunucusuna ihtiyacınız olduğunu belirlemek için bir takım altyapı planlaması da yapmanız gerekir.
-
Son olarak, günlük boyutunu ve maliyetini kontrol etmek amacıyla veri yaşam döngüsü ve arşivleme için bütünsel bir stratejiye ihtiyacınız vardır.
Günlük verilerimi nerede depolamalıyım?
Amazon OpenSearch Hizmeti, günlük verileriniz için çeşitli depolama katmanları sağlar. Sorgu gerekliliklerinize uygun bir depolama katmanı (Hot, UltraWarm ve Cold Storage) seçebilirsiniz.
Günlük analizine yönelik AWS teklifleri nelerdir?
Kolayca dağıtılır ve yönetilir
Amazon OpenSearch Hizmeti; donanım tedariki, yazılım yükleme ve düzeltme eki uygulama, hata kurtarma, yedekleme ve izleme gibi yönetim görevleriyle ilişkili karmaşıklığı ortadan kaldırarak hem kümenizi kurmanızı ve dağıtmanızı kolaylaştırır hem de operasyonel iş yükünü azaltmanıza ve temel iş gereksinimlerinize odaklanmanıza olanak sağlar.
Ölçeklenebilirlik ve güvenilirlik edinin
Tek bir etki alanında 3 PB'a kadar bulut sunucusu depolama alanı sunan Amazon OpenSearch Hizmeti, bulut sunucularını herhangi bir kesinti süresi olmadan kolayca ekleyip kaldırmanızı sağlar. Ayrıca hizmet kapsamında sunulan bekleme ve taşıma durumunda yerleşik şifreleme, kullanıcı kimlik doğrulaması ve VPC desteği sayesinde verilerinizi güvende tutabilirsiniz.
Diğer AWS hizmetleriyle kolayca entegre edin
Amazon OpenSearch Hizmeti; Kinesis Data Firehose, Kafka İçin Yönetilen Akış, IoT, CloudWatch Günlükleri, KMS, Cognito ve IAM gibi diğer AWS hizmetleriyle yerleşik entegrasyon sunar. Böylece tüm kaynaklardan verileri güvenli bir şekilde alabilir, analiz edebilir ve görselleştirebilirsiniz.
Maliyetlerinizi azaltın
Amazon OpenSearch Hizmeti'nde yalnızca kullandığınız kadar ödersiniz. Peşin ücret veya kullanım gereksinimi yoktur. 7/24 izleme ve AWS desteği sayesinde altyapınızın ölçeklendirilmesi, güvenli hale getirilmesi ve izlenmesi için Elasticsearch uzmanlarından oluşan bir ekibe gereksinim duymazsınız ve bunun sonucunda toplam operasyon maliyetiniz düşer.
Günlük analizi, AWS ile nasıl çalışır?
Günlük verilerinizi etkili şekilde birleştirmek, izlemek ve analiz etmek için AWS ile farklı çözümler oluşturabilirsiniz. Bu çözümler, gerçek zamanlı operasyonel zeka için size uygulamalarınızın, sistemlerinizin ve AWS günlük bilgilerinin basitleştirilmiş bir görünümünü sunar.
Amazon OpenSearch Hizmeti kullanarak merkezi günlük kaydı
Amazon OpenSearch Hizmeti tarafından desteklenen bu çözüm diğer AWS hizmetleriyle birlikte kullanıldığında, AWS ortamınızı ve uygulamalarınızı hızla günlüğe kaydedip analiz etmeye başlamanız için size yüksek oranda erişilebilir, kullanıma hazır bir ortam sunar. Amazon OpenSearch Hizmeti'ni kullanmaya başlayın »
Aşağıdaki diyagram, merkezi günlük kaydı mimarisini sunar. Daha fazla bilgi edinmek için merkezi günlük kaydı çözüm özetini okuyun.
Amazon Kinesis'i kullanarak gerçek zamanlı izleme
AWS CloudTrail ve Amazon CloudWatch'un yanı sıra Amazon Kinesis'i kullanan bu çözüm, uygulamalarınızı gerçek zamanlı izlemeniz için sunucusuz bir çözüm oluşturmanızı sağlar. Amazon Kinesis'i kullanmaya başlayın »
Aşağıdaki diyagram, gerçek zamanlı uygulama izleme mimarisini sunar. Daha fazla bilgi edinmek için bu uygulamalı öğreticiyi izleyin.
Müşteriler günlük analizlerini nasıl uyguluyor?
Gerçek zamanlı uygulama ve altyapı izleme
Uygulamalarınızdan ve BT silolarınızdan tüm günlükleri yakalayıp merkezileştirerek uygulama ve altyapı yığınınıza ilişkin ayrıntılı görünürlük elde edin ve çalışma süresini güvence altına alın. Amazon OpenSearch Hizmeti, verileri dizinler, gerçek zamanlı olarak analize hazırlar ve Kibana panolarını kullanarak performans ölçümlerini gerçek zamanlı olarak görselleştirmenizi sağlar.
Dünyanın lider seyahat şirketlerinden biri olan Expedia Group, uygulama izlemesi için Amazon OpenSearch Hizmeti'ni kullanmaktadır. Amazon OpenSearch Hizmeti, Expedia'nın yüksek hacimli Docker günlüklerini uygun maliyetli bir şekilde izlemesine, sorunları gerçek zamanlı olarak tespit edip gidermesine, ölçeği ek günlük kaynakları için yeterli olacak şekilde kolayca büyütmesine ve operasyonel iş yükünü boşaltmasına imkan tanıyor. Daha fazla bilgi edinin »
Temel neden analizi
Ortamınız (sunucular, kod) genelindeki sorunları hızlıca tespit ederek ortalama tanımlama süresini (MTTI) ve ortalama çözüm süresini (MTTR) kısaltın. Yerleşik Kibana sayesinde, Amazon OpenSearch Hizmeti milyonlarca olay arasında arama yaparak ve olayları hem uygulamalarınız hem de altyapınız ile ilişkilendirerek sorunların temel nedenini hızlıca teşhis etmenize ve çalışma süresini iyileştirmenize olanak sağlar.
Önde gelen 3B tasarım ve mühendislik yazılımı sağlayıcısı olan Autodesk, uygulama sorunlarını daha hızlı tespit edip çözmek ve müşteri deneyimini iyileştirmek için Amazon OpenSearch Hizmeti, Amazon Kinesis Data Firehose ve Amazon Kinesis Veri Analizi dahil olmak üzere AWS hizmetlerini kullanmaktadır. Daha fazla bilgi edinin »
Tıklama akışı analizi
Web içeriğinizin performansına ve kullanıcıların hem uygulamalarınız hem de web siteleriniz ile kurduğu etkileşimle ilgili kullanıcı davranışları, harcanan süre, popüler içerikler vb. gibi ayrıntılara ilişkin gerçek zamanlı bir bakış elde edin. Amazon OpenSearch Hizmeti ile Amazon Kinesis Data Firehose'u ya da Kafka İçin Amazon Yönetilen Akış'ı kullanarak tıklama akışı günlüklerinizi zahmetsizce birleştirip analiz etmek suretiyle müşterilerinizi daha iyi anlayabilirsiniz.
Büyük bir medya şirketi olan Hearst Corporation günde 30 terabayt veri aktarmak ve işlemek için Amazon OpenSearch Hizmeti, Amazon Kinesis Akışları ve Amazon Kinesis Firehose'u kullanarak bir tıklama akışı analiz platformu oluşturdu. Bu platform sayesinde Hearst, web sitesi tıklamalarından toplanan verilere kadar veri akışının tamamını dakikalar içinde editörlerin erişimine açabiliyor. Daha fazla bilgi edinin »
Güvenlik zekası ve olay yönetimi (SIEM)
Ağınızdaki tüm kötü amaçlı veya şüpheli etkinlikleri tanımlamak için uygulamalar, ağlar ve işletim sistemleri dahil olmak üzere tüm ortamınız genelinde meydana gelen olayları merkezileştirip analiz edin. Amazon OpenSearch Hizmeti, verileri alır almaz dizine eklemenize imkan tanıyarak birden çok kaynaktan gelen verileri anında analiz etmenizi ve tehditleri daha hızlı bir şekilde tespit edip önlemenizi sağlar.
AWS günlük analizi için sonraki adımlar
Önerilen şu kaynaklara göz atın:
- Ücretsiz Amazon OpenSearch Hizmeti denemenizi başlatın
- Bir günlük analizi çözümü oluşturma atölyesine katılın
- Amazon OpenSearch Hizmeti'nin ücretsiz kullanımından yararlanarak ücretsiz olarak kullanmaya başlayabilirsiniz. AWS Ücretsiz Kullanım ile t2 ve t3 small.search bulut sunucularında ayda 750 saate kadar kullanın.