Amazon Data Firehose

以可靠方式将实时数据流加载到数据湖、数据仓库和分析服务中

Firehose 入门
获取更多信息

优势

轻松捕获、转换和加载流数据。只需单击几下，即可创建传输流，选择目的地，然后开始流式传输实时数据。

无需持续管理即可自动预置和扩缩计算、内存和网络资源。

将原始流数据转换为 Apache Parquet 等格式，同时动态分区流数据，而无需构建自己的处理管道。

工作原理

Amazon Data Firehose 提供了在几秒钟内获取、转换数据流并将其传输到数据湖、数据仓库和分析服务的最简单的方法。要使用 Amazon Data Firehose，您可设置一个包含源、目标和所需转换的流。Amazon Data Firehose 会持续处理数据流，根据可用数据量自动扩展，并在几秒钟内传输。

选择数据流的来源，例如 Amazon Managed Streaming for Kafka（MSK）中的主题、Kinesis Data Streams 中的流，或使用 Firehose Direct PUT API 写入数据。Amazon Data Firehose 已集成到 20 多项 AWS 服务中，因此您可以从数据库（预览版）、Amazon CloudWatch Logs、AWS WAF Web ACL 日志、AWS Network Firewall 日志、Amazon SNS 或 AWS IoT 等来源设置流。

指定是否要将数据流转换为 Parquet 或 ORC 等格式，解压缩数据，使用您自己的 AWS Lambda 函数执行自定义数据转换，或者根据属性动态分区输入记录以传输到不同位置。

选择流目标，例如 Amazon S3、Amazon OpenSearch Service、Amazon Redshift、Splunk、Snowflake、Apache Iceberg Tables、Amazon S3 表类数据存储服务（预览版）或自定义 HTTP 端点。

有关 Amazon Data Firehose 的更多信息，请参阅 Amazon Data Firehose 文档。

使用案例

可将数据流式传输到 Amazon S3，并且可将数据转换为所需格式用于分析，而不必构建处理管道。

可以使用受支持的安全信息和事件管理 (SIEM) 工具实时监控网络安全性，并且可在出现潜在威胁时创建提示。

借助机器学习 (ML) 模型，可以丰富您的数据流，以在流迁移至其目标过程中分析数据并预测推理终端节点。

深入了解 AWS