Amazon Data Firehose

Carica in modo affidabile flussi in tempo reale su data lake, warehouse e servizi di analisi dei dati

Inizia con Firehose

Acquisisci, trasforma e carica facilmente dati in streaming. Crea un flusso di consegna, seleziona una destinazione e avvia lo streaming dei dati in tempo reale in pochi clic.

Effettua automaticamente il provisioning e il dimensionamento delle risorse di calcolo, di memoria e di rete senza la necessità di un'amministrazione manuale.

Trasforma i dati in streaming non elaborati in formati come Apache Parquet e suddividili in maniera dinamica senza dover creare pipeline di elaborazione apposite.

Come funziona

Amazon Data Firehose fornisce un'opzione semplice per acquisire, trasformare e distribuire flussi di dati a data lake, data warehouse e servizi di analisi in pochi secondi. Per utilizzare Amazon Data Firehose, è necessario configurare un flusso definendo una sorgente, una destinazione e le trasformazioni necessarie. Amazon Data Firehose elabora continuamente il flusso, si dimensiona automaticamente in base alla quantità di dati disponibili e lo distribuisce in pochi secondi.

Fonte

Seleziona la fonte per il flusso di dati, ad esempio un argomento nello Streaming gestito da Amazon per Kafka (MSK), un flusso in Kinesis Data Streams o inserisci dati utilizzando l'API PUT diretto di Firehose. Amazon Data Firehose è integrato in oltre 20 servizi AWS, quindi è possibile configurare un flusso da fonti come File di log Amazon CloudWatch, log di ACL web AWS WAF, log di Firewall di rete AWS, Amazon SNS o AWS IoT.

Trasformazione dei dati (facoltativo)

È possibile specificare se si desidera convertire il flusso di dati in formati come Parquet o ORC, decomprimere i dati, eseguire trasformazioni personalizzate dei dati utilizzando la propria funzione AWS Lambda o ripartire dinamicamente i record di input in base agli attributi per distribuirli in posizioni diverse.

Destinazione

Seleziona una destinazione per il flusso, ad esempio Amazon S3, il servizio OpenSearch di Amazon, Amazon Redshift, Splunk, Snowflake o un endpoint HTTP personalizzato.

Per ulteriori informazioni su Amazon Data Firehose, consulta la documentazione di Amazon Data Firehose.

Diagramma che mostra come impostare i flussi di consegna dei dati con Amazon Firehose. Descritto al link "Enlarge and read image description" (Ingrandisci e leggi la descrizione dell'immagine).

Casi d'uso

Trasmetti in data lake e warehouse

Trasmetti dati in streaming in Amazon S3 e converti i dati nei formati richiesti per l'analisi senza costruire pipeline di elaborazione.

Aumenta la sicurezza

Monitora la sicurezza della rete in tempo reale e crea avvisi quando si verificano potenziali minacce utilizzando gli strumenti SIEM (Security Information and Event Management) supportati.

Costruisci applicazioni di streaming ML

Arricchisci i tuoi flussi di dati con modelli di machine learning (ML) per analizzare i dati e prevedere gli endpoint di inferenza mentre i flussi si spostano verso la loro destinazione.