ストリーミングデータを簡単にキャプチャ、変換、およびロードします。数回クリックするだけで、配信ストリームを作成し、送信先を選択して、リアルタイムデータのストリーミングを開始できます。
継続的な管理なしで、コンピューティング、メモリ、およびネットワークリソースを自動的にプロビジョニングおよびスケールします。
生のストリーミングデータを Apache Parquet などの形式に変換し、ストリーミングデータを動的に分割します。独自の処理パイプラインを構築する必要はありません。
仕組み
Amazon Data Firehose は、データストリームを数秒以内に取得および変換し、データレイク、データウェアハウス、分析サービスに配信するための極めて簡単な方法を提供します。Amazon Data Firehose を利用するには、ソース、宛先、および必要な変換を使用してストリームを設定します。Amazon Data Firehose はストリームを継続的に処理し、利用可能なデータ量に基づいて自動的にスケールして、数秒以内に配信します。
ソース
Amazon Managed Streaming for Kafka (MSK) のトピック、Kinesis Data Streams のストリームなどのデータストリームのソースを選択するか、または Firehose Direct PUT API を使用してデータを書き込みます。Amazon Data Firehose は 20 以上の AWS サービスに統合するため、Amazon CloudWatch Logs、AWS WAF ウェブ ACL ログ、AWS Network Firewall ログ、Amazon SNS、AWS IoT などのソースからストリームを設定できます。
データ変換 (オプション)
Parquet や ORC などの形式へのデータストリームの変換、データの解凍、独自の AWS Lambda 関数を使用したカスタムデータ変換の実行、または別の場所に配信することを目的とした、属性に基づく入力レコードの動的パーティショニングのいずれかを指定します。
送信先
Amazon S3、Amazon OpenSearch Service、Amazon Redshift、Splunk、Snowflake、カスタム HTTP エンドポイントなど、ストリームの宛先を選択します。
Amazon Data Firehose の詳細については、Amazon Data Firehose のドキュメントをご覧ください。
ユースケース
データレイクとウェアハウスにストリーミングする
データを Amazon S3 にストリーミングし、分析に必要な形式にデータを変換します。処理パイプラインを構築する必要はありません。
セキュリティを強化する
サポートされている Security Information and Event Management (SIEM) ツールを使用して、ネットワークセキュリティをリアルタイムでモニタリングし、潜在的な脅威が発生したときにアラートを作成します。
機械学習ストリーミングアプリケーションを構築する
機械学習 (ML) モデルを使用してデータストリームを強化し、データを分析して、ストリームが送信先に移動する際に推論エンドポイントを予測します。
最初に行うべきこと
デベロッパーガイドを確認する
Amazon Data Firehose の詳細をご覧ください。
エキスパートとつながる
概念実証または評価のサポートを受けましょう。
料金を詳しく確認する
4 種類のオンデマンド利用料金についてご覧ください。