« Análise

Amazon Data Firehose

Faça uma transmissão de carga em tempo real de maneira confiável para data lakes e serviços de análises

Comece a usar o Firehose

Capture, transforme e carregue dados da transmissão com facilidade. Crie uma entrega de transmissão, selecione o destino e inicie a transmissão de dados em tempo real com apenas alguns cliques.

Faça o provisionamento automático e escale recursos de computação, memória e rede sem administração contínua.

Transforme a transmissão de dados brutos em formatos como o Apache Parquet e particione a transmissão de dados sem construir as suas próprias pipelines de processamento.

Como funciona?

O Amazon Data Firehose oferece a maneira mais fácil de adquirir, transformar e entregar fluxos de dados em segundos para data lakes, data warehouses e serviços de análise. Para usar o Amazon Data Firehose, configure um fluxo com a origem, o destino e as transformações necessárias. O Amazon Data Firehose processa continuamente o fluxo, escala automaticamente com base na quantidade de dados disponíveis e o entrega em segundos.

Fonte

Selecione a origem do seu fluxo de dados, como um tópico no Amazon Managed Streaming for Kafka (MSK), um fluxo no Kinesis Data Streams ou grave dados usando a API Direct PUT do Firehose. O Amazon Data Firehose é integrado a mais de 20 serviços da AWS, para que você possa configurar um fluxo a partir de fontes como Amazon CloudWatch Logs, logs de ACL web do AWS WAF, logs do AWS Network Firewall, Amazon SNS ou AWS IoT.

Transformação de dados (opcional)

Especifique se você deseja converter seu fluxo de dados em formatos como Parquet ou ORC, descompactar os dados, realizar transformações de dados personalizadas usando sua própria função do AWS Lambda ou particionar dinamicamente registros de entrada com base em atributos para entregar em diferentes locais.

Destino

Selecione um destino para seu stream, como Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake ou um endpoint HTTP personalizado.

Para obter mais informações sobre o Amazon Data Firehose, consulte a documentação do Amazon Data Firehose.

Diagrama que mostra como configurar streams de entrega de dados com o Amazon Firehose. Descrito no link “Amplie e leia a descrição da imagem”.

Casos de uso

Transmita em data lakes e armazéns

Transmita dados para o Amazon S3 e converta dados nos formatos requeridos para a análise sem criar pipelines de processamento.

Intensifique a segurança

Monitore a segurança de rede em tempo real e crie alertas por meio de ferramentas compatíveis com informações de segurança e gerenciamento de eventos (SIEM) quando as ameaças potenciais surgirem.

Crie aplicações de transmissão de ML

Enriqueça os fluxos de dados com modelos de machine learning (ML) para analisar e prever endpoints de inferência, conforme as transmissões são deslocadas para o destino.