Cos'è lo stack ELK?

Lo stack ELK è un acronimo usato per descrivere uno stack che comprende tre progetti noti: Elasticsearch, Logstash e Kibana. Spesso definito come Elasticsearch, la pila ELK ti dà la possibilità di aggregare i registri di tutti i tuoi sistemi e applicazioni, analizzare questi registri e creare visualizzazioni per il monitoraggio dell'applicazione e dell'infrastruttura, una risoluzione dei problemi più rapida, l'analisi dei dati della sicurezza e altro ancora.

E = Elasticsearch

Elasticsearch è un motore di ricerca e analisi dei dati distribuito basato su Apache Lucene. Il supporto per varie lingue, le elevate prestazioni e i documenti JSON senza schema rendono Elasticsearch la scelta ideale per varie analisi dei dati di registro e casi d’uso di ricerca.

Per ulteriori informazioni, consulta Cos'è Elasticsearch?

Il 21 gennaio 2021, Elastic NV ha annunciato che avrebbe cambiato la propria strategia di licenza software e non avrebbe rilasciato nuove versioni di Elasticsearch e Kibana con la licenza permissiva Apache License Version 2.0 (ALv2). Invece, le nuove versioni del software saranno offerte con la Licenza Elastic, con il codice fonte disponibile con la Licenza Elastic o SSPL. Queste licenze non sono open source e non offrono agli utenti le stesse libertà. Per una suite di ricerca e analisi dei dati sicura, di alta qualità e completamente open source, puoi utilizzare il progetto OpenSearch, un fork con licenza ALv2 guidato dalla community di Elasticsearch e Kibana open source.

L = Logstash

Logstash è uno strumento di importazione dei dati open source che permette di raccogliere dati da una varietà di origini, trasformarli e inviarli alla destinazione desiderata. Con filtri predefiniti e supporto per oltre 200 plugin, Logstash permette agli utenti di importare facilmente i dati indipendentemente dall'origine o dal tipo di dati.

Logstash è una pipeline di elaborazione dati lato server leggera e open source che permette di raccogliere dati da una varietà di origini, trasformarli al volo e inviarli alla destinazione desiderata. Viene spesso utilizzato come pipeline di dati per Elasticsearch, un motore di ricerca e analisi dei dati open source. Grazie alla sua stretta integrazione con Elasticsearch, potenti capacità di elaborazione dei log e oltre 200 plugin open source predefiniti che possono aiutarti a indicizzare facilmente i tuoi dati, Logstash è una scelta popolare per il caricamento dei dati in Elasticsearch.

Carica facilmente dati non strutturati

Logstash ti permette di importare facilmente dati non strutturati da una varietà di origini dati, inclusi log di sistema, log di siti Web e log del server dell’applicazione.

Filtri predefiniti

Logstash offre filtri predefiniti, in modo da poter trasformare facilmente i tipi di dati comuni, indicizzarli in Elasticsearch e avviare l'esecuzione di query senza dover costruire pipeline di trasformazione dei dati personalizzate.

Architettura plug-in flessibile

Con oltre 200 plugin già disponibili su GitHub, è probabile che qualcuno abbia già creato il plugin di cui hai bisogno per personalizzare la tua pipeline di dati. Ma se nessuno tra quelli disponibili soddisfa le tue esigenze, puoi facilmente crearne uno tu stesso.

K = Kibana

Kibana è uno strumento di visualizzazione ed esplorazione dei dati utilizzato per analisi dei dati dei registri e serie temporali, monitoraggio delle applicazioni e casi d'uso di intelligenza operativa. Offre caratteristiche potenti e di facile utilizzo come istogrammi, grafici a linee, grafici a torta, mappe di calore e supporto geospaziale integrato. Inoltre, fornisce una stretta integrazione con Elasticsearch, un popolare motore di analisi dei dati e ricerca, che rende Kibana la scelta di default per la visualizzazione dei dati archiviati in Elasticsearch.

Il 21 gennaio 2021, Elastic NV ha annunciato che avrebbe cambiato la propria strategia di licenza software e non avrebbe rilasciato nuove versioni di Elasticsearch e Kibana con la licenza permissiva Apache License Version 2.0 (ALv2). Invece, le nuove versioni del software saranno offerte con la Licenza Elastic, con il codice fonte disponibile con la Licenza Elastic o SSPL. Queste licenze non sono open source e non offrono agli utenti le stesse libertà. Per garantire che la community open source e i nostri clienti continuino a disporre di una suite di ricerca e analisi sicura, di alta qualità e completamente open source, abbiamo introdotto il progetto OpenSearch, un fork con licenza ALv2 guidato dalla community di Elasticsearch e Kibana open source. La suite OpenSearch è costituita da un motore di ricerca, OpenSearch, e da un'interfaccia di visualizzazione e utente, OpenSearch Dashboards.

Puoi eseguire Kibana in locale, su Amazon Elastic Compute Cloud (Amazon EC2) o su versioni con licenza Apache 2.0 (fino alla versione 7.10.2) del servizio OpenSearch di Amazon. OpenSearch Dashboards è un'alternativa open source a Kibana, disponibile anche per l'autogestione. È stato derivato dall'ultima versione open source di Kibana (7.10.2). Contiene molti progressi ed è ben supportato dal progetto OpenSearch. Con le implementazioni on-premise o Amazon EC2, sei responsabile dell'effettuazione del provisioning dell'infrastruttura, dell'installazione del software Kibana o OpenSearch Dashboards e della gestione dell'infrastruttura. Con il servizio OpenSearch, Kibana o OpenSearch Dashboards vengono implementati automaticamente con il tuo dominio sotto forma di servizio completamente gestito che si occupa automaticamente di tutte le attività pesanti per gestire il cluster.

Grafici interattivi

Kibana offre grafici e report intuitivi che è possibile utilizzare per navigare in modo interattivo tra grandi quantità di dati di log. È possibile trascinare dinamicamente le finestre temporali, zoomare avanti e indietro su specifici sottoinsiemi di dati e approfondire i report per estrarre dai dati informazioni dettagliate utili.

Supporto per la mappatura

Kibana è dotato di potenti funzionalità geospaziali, che permettono di sovrapporre facilmente le informazioni geografiche ai dati e visualizzare i risultati sulle mappe.

Aggregazioni e filtri predefiniti

Utilizzando le aggregazioni e i filtri predefiniti di Kibana, puoi eseguire varie analisi come istogrammi, query principali e tendenze in pochi passaggi.

Pannelli di controllo facilmente accessibili

È possibile impostare facilmente pannelli di controllo e report e condividerli con altri. Tutto ciò di cui hai bisogno è un browser per visualizzare ed esplorare i dati.

Come funziona lo stack ELK?

Logstash importa, trasforma e invia i dati alla destinazione corretta.
Elasticsearch indicizza, analizza e ricerca i dati importati.
Kibana visualizza i risultati dell'analisi.

Qual è la funzione dello stack ELK?

Lo stack ELK viene utilizzato per risolvere un'ampia gamma di problemi, tra cui l'analisi dei dati di log, la ricerca dei documenti, la gestione delle informazioni di sicurezza e gestione degli eventi (SIEM) e l'osservabilità. Fornisce il motore di ricerca e di analisi, l'importazione dei dati e la visualizzazione.

Perché lo stack ELK è importante?

Lo stack ELK soddisfa un'esigenza nello spazio di analisi dei dati di log. Poiché sempre più infrastrutture IT passano ai cloud pubblici, è necessaria una soluzione di gestione e analisi dei dati dei log per monitorare questa infrastruttura ed elaborare tutti i log del server, i log delle applicazioni e i clickstream. Lo stack ELK fornisce una soluzione di analisi dei log semplice ma robusta per gli sviluppatori e ingegneri DevOps per ottenere preziose informazioni dettagliate sulla diagnosi degli errori, sulle prestazioni delle applicazioni e sul monitoraggio dell'infrastruttura, a prezzo ridotto.

Come posso scegliere la soluzione giusta per lo stack ELK?

In AWS, puoi scegliere di distribuire e gestire lo stack ELK autonomamente o su EC2. Tuttavia, i processi di aumento e riduzione per soddisfare i requisiti aziendali o per ottenere sicurezza e conformità costituiscono una sfida specifica della gestione autonoma. Se preferisci che gli sviluppatori o ingegneri DevOps dedichino il loro tempo alla creazione di applicazioni innovative o alla gestione di attività operative come implementazione, aggiornamenti, installazione e patch del software, backup e monitoraggio, il servizio OpenSearch è un'alternativa open source completamente gestita che semplifica l'implementazione, il funzionamento e il dimensionamento dei cluster OpenSearch in modo sicuro ed economico su AWS.

Quali offerte AWS supportano il tuo stack ELK?

Il servizio OpenSearch supporta diverse versioni di Elasticsearch con licenza Apache 2.0 (versioni da 1.5 a 7.10) e Kibana (versioni da 1.5 a 7.10). Il servizio OpenSearch supporta anche l'integrazione con Logstash per raccogliere e trasformare i dati dalle origini, per poi caricarli sul servizio.

Quali strumenti di importazione sono offerti da AWS?

AWS dispone di diversi strumenti di importazione dei dati come Amazon Kinesis Data Firehose, i File di log Amazon CloudWatch e AWS IoT per offrirti la flessibilità necessaria per selezionare lo strumento di importazione dei dati che soddisfa i requisiti dei tuoi casi d'uso. Per ulteriori informazioni, consulta le integrazioni al servizio OpenSearch di Amazon.

OpenSearch include alcuni codici Elasticsearch con licenza Apache di Elasticsearch B.V. e altri codici sorgente. Elasticsearch B.V. non è la fonte dell’altro codice sorgente. ELASTICSEARCH è un marchio registrato di Elasticsearch B.V.

Cos'è ELK Stack?