概要
Amazon Kinesis 向けストリーミングデータソリューションには、4 つのデプロイオプションと付属の AWS CloudFormation テンプレートが含まれています。これらのテンプレートは、ダッシュボードやアラームによるデータモニタリングやデータセキュリティなど、ストリーミングデータのベストプラクティスを適用するように設定されています。
ストリーミングデータは、データプロデューサーから送り込まれる大量のデータを処理できる、規模の大きいスケーラブルなストレージによって永続的にキャプチャされる必要があります。プロデューサーは数千のデータソースであり、それぞれが継続的にストリーミングデータを生成し、通常は、同時に小さなサイズ (キロバイト単位) でレコードを送信します。この AWS ソリューションを使用すると、モバイルまたはウェブアプリケーションを使用して顧客が生成したログファイルなど、さまざまなストリーミングデータを管理、保護、保存できます。また、次のようなストリーミングデータもサポートしています。e コマースの購入。ゲーム内のプレイヤーアクティビティ。ソーシャルネットワーク、金融取引フロア、地理空間サービスからの情報。接続されたデバイスやデータセンターの計装からのテレメトリ。
メリット
技術的な詳細情報
このアーキテクチャは、実装ガイドとそれに付属する 4 種類の AWS CloudFormation テンプレートを使用して自動的にデプロイできます。
-
オプション 1
-
オプション 2
-
オプション 3
-
オプション 4
-
オプション 1
-
Amazon API Gateway と AWS Lambda を使用した AWS CloudFormation テンプレート
ステップ 1
Amazon API Gateway REST API は、Amazon Kinesis Data Streams のプロキシとして機能し、個々のデータレコードまたはデータレコードのリストを追加します。ステップ 2
Amazon Cognito のユーザープールは、REST API メソッドを呼び出すことができるユーザーを制御するために使用されます。ステップ 3
受信したストリーミングデータを保存する Kinesis Data Streams。ステップ 4
AWS Lambda 関数は、データストリームからのレコードを処理します。ステップ 5
Lambda の処理中に発生したエラーと失敗したレコードには注釈が付けられ、イベントは Amazon Simple Queue Service (Amazon SQS) に保存されます。
キューには失敗したバッチレコードと Lambda エラーのメタデータが保存され、お客様がこれらのレコードを取得して、問題を解決するための次のステップを決定できるようになります。
-
オプション 2
-
Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、Amazon CloudWatch を使用した AWS CloudFormation テンプレート
ステップ 1
Amazon Elastic Compute Cloud (Amazon EC2) インスタンスは、Amazon Kinesis Producer Library (KPL) を使用してデータを生成します。ステップ 2
Data Streams は、受信したデータストリームを保存します。ステップ 3
Amazon Managed Service for Apache Flink Studio は、着信レコードを処理し、処理されたデータを Amazon Simple Storage Service (Amazon S3) バケットに保存します。ステップ 4
Amazon CloudWatch ダッシュボードは、アプリケーションの状態、進行状況、リソース使用率、イベント、およびエラーをモニタリングします。 -
オプション 3
-
Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、および Amazon S3 を使用した AWS CloudFormation テンプレート
ステップ 1
Data Streams は、受信したストリーミングデータを保存します。ステップ 2
Amazon Kinesis Data Firehose では、S3 バケットに出力を配信する前に、データがバッファされます。データのスループットに応じて自動的にスケールされるフルマネージドサービスであり、継続的な管理は不要です。ステップ 3
CloudWatch ダッシュボードは、データの取り込みとバッファリングをモニタリングします。CloudWatch アラームは、Kinesis Data Firehose の重要なメトリクスに設定されます。 -
オプション 4
-
Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink、および Amazon API Gateway を使用した AWS CloudFormation テンプレート
ステップ 1
KPL を使用してデータを生成する EC2 インスタンス。ステップ 2
Kinesis Data Streams は、受信したストリーミングデータを保存します。ステップ 3
Managed Service for Apache Flink は、着信レコードを処理し、外部エンドポイントを非同期的に呼び出します。ステップ 4
デモアプリケーションは、Lambda 関数を呼び出します。ステップ 5
外部 API は、API Gateway でサポートされている任意の統合 (例えば、Amazon SageMaker のエンドポイント) とすることができます。ステップ 6
CloudWatch ダッシュボードは、アプリケーションの状態、進行状況、リソース使用率、イベント、およびエラーをモニタリングします。
関連コンテンツ
この記事では、様々な AWS のサービスを使って、ストリーミングデータのリアルタイム推論を実現するためのアーキテクチャを紹介します。また、基本的なサービスやデータベースを非同期的に呼び出す Amazon Managed Service for Apache Flink の統合についても説明します。
このコースでは Amazon Kinesis Analytics の概要について解説します。SQL を使用したストリーミングデータのクエリやストリーミングアプリケーションの構築に役立ちます。
このセルフペースコースでは、データ分析ソリューションを計画するプロセスと、関連するさまざまなデータ分析プロセスについて学びます。