Was ist der ELK-Stack? - Elasticsearch, Logstash, Kibana-Stack erklärt

Was ist der ELK Stack?

Der ELK-Stack ist ein Akronym zur Beschreibung eines Stacks, der aus drei beliebten Projekten besteht: Elasticsearch, Logstash und Kibana. Der ELK-Stack, der oft auch als Elasticsearch bezeichnet wird, bietet Ihnen die Möglichkeit, Protokolle von all Ihren Systemen und Anwendungen zu sammeln, diese Protokolle zu analysieren und Visualisierungen für die Überwachung von Anwendungen und Infrastrukturen, eine schnellere Fehlerbehebung, Sicherheitsanalysen und vieles mehr zu erstellen.

E = Elasticsearch

Elasticsearch ist eine verteilte Such- und Analysemaschine, die auf Apache Lucene basiert. Die Unterstützung verschiedener Sprachen, hohe Leistung und schemafreie JSON-Dokumente machen Elasticsearch zu einer idealen Wahl für verschiedene Anwendungsfälle der Protokollanalyse und Suche.

Weitere Informationen finden Sie unter Was ist Elasticsearch?

Am 21. Januar 2021 kündigte Elastic NV an, dass sie ihre Softwarelizenzierungsstrategie ändern und neue Versionen von Elasticsearch und Kibana nicht mehr unter der freizügigen Apache-Lizenz, Version 2.0 (ALv2), veröffentlichen werden. Stattdessen werden neue Versionen der Software unter der Elastic-Lizenz angeboten, wobei der Quellcode unter der Elastic-Lizenz oder der SSPL verfügbar ist. Diese Lizenzen sind nicht Open Source und bieten den Nutzern nicht die gleichen Freiheiten. Für eine sichere, qualitativ hochwertige, vollständig quelloffene Such- und Analytik-Suite können Sie das OpenSearch-Projekt verwenden, ein von der Community betriebener, ALv2-lizenzierten Zweig von Open-Source-Elasticsearch und Kibana.

L = Logstash

Logstash ist ein Open-Source-Tool für die Datenaufnahme, mit dem Sie Daten aus einer Vielzahl von Quellen sammeln, umwandeln und an das gewünschte Ziel senden können. Mit vorgefertigten Filtern und der Unterstützung von über 200 Plugins ermöglicht Logstash den Benutzern die einfache Aufnahme von Daten unabhängig von der Datenquelle oder dem Datentyp.

Logstash ist eine leichtgewichtige, quelloffene, serverseitige Datenverarbeitungspipeline, die es Ihnen ermöglicht, Daten aus einer Vielzahl von Quellen zu sammeln, sie im laufenden Betrieb umzuwandeln und sie an das gewünschte Ziel zu senden. Am häufigsten wird es als Datenpipeline für Elasticsearch, eine Open-Source-Analyse- und Suchmaschine, verwendet. Aufgrund der engen Integration mit Elasticsearch, der leistungsstarken Protokollverarbeitungsfunktionen und der über 200 vorgefertigten Open-Source-Plugins, mit denen Sie Ihre Daten leicht indizieren können, ist Logstash eine beliebte Wahl für das Laden von Daten in Elasticsearch.

Einfaches Laden unstrukturierter Daten

Mit Logstash können Sie auf einfache Weise unstrukturierte Daten aus einer Vielzahl von Datenquellen aufnehmen, darunter Systemprotokolle, Website-Protokolle und Anwendungsserver-Protokolle.

Vorgefertigte Filter

Logstash bietet vorgefertigte Filter, so dass Sie gängige Datentypen problemlos transformieren, in Elasticsearch indizieren und mit der Abfrage beginnen können, ohne eigene Datenumwandlungspipelines erstellen zu müssen.

Flexible Plugin-Architektur

Mit über 200 Plugins, die bereits auf GitHub verfügbar sind, ist es wahrscheinlich, dass jemand bereits das Plugin gebaut hat, das Sie für die Anpassung Ihrer Datenpipeline benötigen. Wenn es aber keine gibt, die Ihren Anforderungen entspricht, können Sie sie leicht selbst erstellen.

K = Kibana

Kibana ist ein Tool zur Datenvisualisierung und -exploration, das für Protokoll- und Zeitreihenanalysen, Anwendungsüberwachung und Operational-Intelligence-Anwendungen verwendet wird. Es bietet leistungsstarke und benutzerfreundliche Funktionen wie Histogramme, Liniendiagramme, Kuchendiagramme, Heatmaps und integrierte Geodatenunterstützung. Außerdem bietet es eine enge Integration mit Elasticsearch, einer beliebten Analytik- und Suchmaschine, was Kibana zur Standardwahl für die Visualisierung von in Elasticsearch gespeicherten Daten macht.

Am 21. Januar 2021 kündigte Elastic NV an, dass sie ihre Softwarelizenzierungsstrategie ändern und neue Versionen von Elasticsearch und Kibana nicht mehr unter der freizügigen Apache-Lizenz, Version 2.0 (ALv2), veröffentlichen werden. Stattdessen werden neue Versionen der Software unter der Elastic-Lizenz angeboten, wobei der Quellcode unter der Elastic-Lizenz oder der SSPL verfügbar ist. Diese Lizenzen sind nicht Open Source und bieten den Nutzern nicht die gleichen Freiheiten. Um sicherzustellen, dass die Open-Source-Community und unsere Kunden weiterhin über eine sichere, qualitativ hochwertige und vollständig quelloffene Such- und Analyse-Suite verfügen, haben wir das OpenSearch-Projekt eingeführt, einen von der Community betriebenen, ALv2-lizenzierten Fork von Open Source Elasticsearch und Kibana. Die OpenSearch-Suite besteht aus einer Suchmaschine, OpenSearch, und einer Visualisierungs- und Benutzeroberfläche, OpenSearch Dashboards.

Sie können Kibana lokal, auf Amazon Elastic Compute Cloud (Amazon EC2) oder auf lizenzierten Apache 2.0-Versionen (bis Version 7.10.2) von Amazon OpenSearch Service ausführen. OpenSearch Dashboards ist eine Open-Source-Alternative zu Kibana, die auch zur Selbstverwaltung verfügbar ist. Es wurde von der letzten Open-Source-Version von Kibana (7.10.2) abgeleitet. Es enthält viele Verbesserungen und wird durch das OpenSearch-Projekt gut unterstützt. Bei on-premises oder Amazon-EC2-Bereitstellungen sind Sie für die Bereitstellung der Infrastruktur, die Installation von Kibana oder der OpenSearch-Dashboards-Software und die Verwaltung der Infrastruktur verantwortlich. Mit OpenSearch Service werden Kibana oder OpenSearch Dashboards automatisch mit Ihrer Domain als vollständig verwalteter Service bereitgestellt, der sich automatisch um alle schwierigen Aufgaben zur Verwaltung des Clusters kümmert.

Interaktive Diagramme

Kibana bietet intuitive Diagramme und Berichte, mit denen Sie interaktiv durch große Mengen von Protokolldaten navigieren können. Sie können Zeitfenster dynamisch verschieben, in bestimmte Datenuntergruppen hinein- und herauszoomen und Berichte aufschlüsseln, um umsetzbare Erkenntnisse aus Ihren Daten zu gewinnen.

Mapping-Unterstützung

Kibana verfügt über leistungsstarke geospatiale Funktionen, mit denen Sie geografische Informationen nahtlos in Ihre Daten einfügen und die Ergebnisse auf Karten visualisieren können.

Vorgefertigte Aggregationen und Filter

Mit den vorgefertigten Aggregationen und Filtern von Kibana können Sie eine Vielzahl von Analysen wie Histogramme, Top-N-Abfragen und Trends mit nur wenigen Schritten ausführen.

Leicht zugängliche Dashboards

Sie können ganz einfach Dashboards und Berichte einrichten und diese mit anderen teilen. Sie benötigen lediglich einen Browser, um die Daten anzuzeigen und zu erkunden.

Wie funktioniert der ELK-Stack?

Logstash erfasst die Daten, wandelt sie um und sendet sie an das richtige Ziel.
Elasticsearch indexiert, analysiert und durchsucht die erfassten Daten.
Kibana visualisiert die Ergebnisse der Analyse.

Was macht der ELK-Stack?

Der ELK-Stack wird eingesetzt um eine breite Palette an Problemen zu lösen, dazu gehören Protokollanalyse, Dokumentensuche, Sicherheitsinformationen und Ereignismanagement (SIEM) und Beobachtbarkeit. Er liefert die Such- und Analysemaschine, Datenerfassung und Visualisierung.

Warum ist der ELK-Stack so wichtig?

Der ELK-Stack erfüllt einen Bedarf im Bereich der Protokollanalyse. Da immer mehr Ihrer IT-Infrastruktur in öffentliche Clouds verlagert wird, benötigen Sie eine Protokollverwaltungs- und Analyselösung zur Überwachung dieser Infrastruktur sowie zur Verarbeitung von Serverprotokollen, Anwendungsprotokollen und Clickstreams. Der ELK-Stack bietet Ihren Entwicklern und DevOps-Ingenieuren eine einfache und dennoch robuste Lösung für die Protokollanalytik, mit der sie wertvolle Erkenntnisse über Fehlerdiagnose, Anwendungsleistung und Infrastrukturüberwachung gewinnen können – und das zu einem Bruchteil des Preises.

Wie kann ich die richtige Lösung für den ELK-Stack auswählen?

Bei AWS können Sie wählen, ob Sie den ELK-Stack selbst auf EC2 bereitstellen und verwalten möchten. Aber die Skalierung nach oben und unten, um den Anforderungen Ihres Unternehmens gerecht zu werden oder Sicherheit und Compliance zu gewährleisten, ist bei der selbstverwalteten Option eine Herausforderung. Wenn Sie es vorziehen, dass Ihre Entwickler oder DevOps-Techniker ihre Zeit damit verbringen, innovative Anwendungen zu entwickeln oder betriebliche Aufgaben wie Bereitstellung, Upgrades, Softwareinstallation und -patching, Backups und Überwachung zu verwalten, ist OpenSearch Service eine vollständig verwaltete Open-Source-Alternative, die es einfacher macht, OpenSearch-Cluster sicher und kostengünstig auf AWS bereitzustellen, zu betreiben und zu skalieren.

Welche AWS-Angebote unterstützen Ihren ELK-Stack?

OpenSearch Service unterstützt mehrere Versionen von Elasticsearch mit Apache 2.0-Lizenz (Versionen 1.5 bis 7.10) und Kibana (Versionen 1.5 bis 7.10). OpenSearch Service unterstützt auch die Integration mit Logstash, um Daten aus Ihren Quellen zu sammeln und zu transformieren und sie dann in den Service zu laden.

Welche Erfassungs-Tools bietet AWS an?

AWS verfügt über diverse Datenerfassungstools, wie Amazon Kinesis Data Firehose, Amazon CloudWatch Logs und AWS IoT integrieren, so dass Sie flexibel das Tool für die Datenerfassung auswählen können, das Ihren Anforderungen für den Anwendungsfall entspricht. Weitere Informationen finden Sie unter Amazon OpenSearch Service Integrations.

OpenSearch enthält bestimmte von Apache lizenzierten Elasticsearch-Codes von Elasticsearch B.V. und anderen Quellcodes. Elasticsearch B.V. ist nicht die Quelle dieses anderen Quellcodes. ELASTICSEARCH ist eine eingetragene Marke von Elasticsearch B.V.

Was ist ELK Stack?