概觀
Streaming Data Solution for Amazon Kinesis 提供四種部署選項及其隨附的 AWS CloudFormation 範本，這些範本可設定運用串流資料的最佳實務，包括透過儀表板和警示來監控資料，以及資料安全性。
串流資料必須由可大規模擴展的儲存體持久擷取，能夠處理來自資料產生者的大量資料。產生者可以是成千上萬的資料來源，每個資料來源持續產生資料，並且通常會同時以較小的大小 (KB) 提交記錄。此 AWS 解決方案可協助您管理、保護和存放各種串流資料，例如客戶使用行動或 Web 應用程式產生的日誌檔案。它還支援串流電子商務採購、遊戲中的玩家活動、來自社交網路、金融交易所或地理空間服務的資訊，以及來自連線裝置或資料中心儀器的遙測結果中的資料。
優勢
技術詳細資訊
您可以使用實作指南和四個隨附的 AWS CloudFormation 範本自動部署此架構。
-
選項 1
-
選項 2
-
選項 3
-
選項 4
-
選項 1
-
使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
按一下以放大使用 Amazon API Gateway 和 AWS Lambda 的 AWS CloudFormation 範本
步驟 1
Amazon API Gateway REST API 充當 Amazon Kinesis Data Streams 的代理，新增單個資料記錄或資料記錄清單。步驟 2
Amazon Cognito 使用者集區，用於控制可以叫用 REST API 方法的對象。步驟 3
Kinesis Data Streams，用於存放傳入串流資料。步驟 4
AWS Lambda 函數處理來自資料串流的記錄。步驟 5
在 Lambda 處理期間發生的錯誤和失敗的記錄會被標記，並將事件存放在 Amazon Simple Queue Service (Amazon SQS) 中。
佇列儲存失敗的批次處理記錄和 Lambda 錯誤的中繼資料，讓客戶能夠擷取這些記錄，並確定解決它們的後續步驟。
步驟 1
Amazon API Gateway REST API 充當 Amazon Kinesis Data Streams 的代理，新增單個資料記錄或資料記錄清單。步驟 2
Amazon Cognito 使用者集區，用於控制可以叫用 REST API 方法的對象。步驟 3
Kinesis Data Streams，用於存放傳入串流資料。步驟 4
AWS Lambda 函數處理來自資料串流的記錄。步驟 5
在 Lambda 處理期間發生的錯誤和失敗的記錄會被標記，並將事件存放在 Amazon Simple Queue Service (Amazon SQS) 中。
佇列儲存失敗的批次處理記錄和 Lambda 錯誤的中繼資料，讓客戶能夠擷取這些記錄，並確定解決它們的後續步驟。
-
選項 2
-
使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon CloudWatch 的 AWS CloudFormation 範本
按一下以放大使用 Amazon EC2、Amazon Kinesis Producer Library、Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon CloudWatch 的 AWS CloudFormation 範本
步驟 1
Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。步驟 2
Data Streams 存放傳入資料串流。步驟 3
Amazon Managed Service for Apache Flink Studio 將處理傳入的記錄，並將處理的資料儲存至 Amazon Simple Storage Service (Amazon S3) 儲存貯體。步驟 4
Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。步驟 1
Amazon Elastic Compute Cloud (Amazon EC2) 執行個體使用 Amazon Kinesis Producer Library (KPL) 產生資料。步驟 2
Data Streams 存放傳入資料串流。步驟 3
Amazon Managed Service for Apache Flink Studio 將處理傳入的記錄，並將處理的資料儲存至 Amazon Simple Storage Service (Amazon S3) 儲存貯體。步驟 4
Amazon CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。 -
選項 3
-
使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
按一下以放大使用 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon S3 的 AWS CloudFormation 範本
步驟 1
Data Streams 存放傳入資料串流資料。步驟 2
Amazon Kinesis Data Firehose 將輸出交付至 S3 儲存貯體之前，會將資料放到緩衝區。這是一項全受管服務，可自動擴展以因應資料的輸送量，而且不用全程管理。步驟 3
CloudWatch 儀表板監控資料擷取和緩衝。CloudWatch 警示針對 Kinesis Data Firehose 的基本指標設定。步驟 1
Data Streams 存放傳入資料串流資料。步驟 2
Amazon Kinesis Data Firehose 將輸出交付至 S3 儲存貯體之前，會將資料放到緩衝區。這是一項全受管服務，可自動擴展以因應資料的輸送量，而且不用全程管理。步驟 3
CloudWatch 儀表板監控資料擷取和緩衝。CloudWatch 警示針對 Kinesis Data Firehose 的基本指標設定。 -
選項 4
-
使用 Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon API Gateway 的 AWS CloudFormation 範本
按一下以放大使用 Amazon Kinesis Data Streams、Amazon Managed Service for Apache Flink 和 Amazon API Gateway 的 AWS CloudFormation 範本
步驟 1
使用 KPL 產生資料的 EC2 執行個體。步驟 2
Kinesis Data Streams 存放傳入資料串流資料。步驟 3
Managed Service for Apache Flink 處理傳入的記錄並非同步調用外部端點。步驟 4
示範應用程式調用 Lambda 函數。步驟 5
外部 API 可以是 API Gateway 支援的任何整合 (例如，Amazon SageMaker 端點)。步驟 6
CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。步驟 1
使用 KPL 產生資料的 EC2 執行個體。步驟 2
Kinesis Data Streams 存放傳入資料串流資料。步驟 3
Managed Service for Apache Flink 處理傳入的記錄並非同步調用外部端點。步驟 4
示範應用程式調用 Lambda 函數。步驟 5
外部 API 可以是 API Gateway 支援的任何整合 (例如，Amazon SageMaker 端點)。步驟 6
CloudWatch 儀表板將會監控應用程式的運作狀態、進度、資源使用率、事件和錯誤。
相關內容
這篇文章概述了使用各種 AWS 服務實現串流資料即時推理的架構。它還涵蓋了 Amazon Managed Service for Apache Flink 的整合，以非同步調用基礎服務或數據庫。
這是 Amazon Kinesis Analytics 的入門課程，可協助您使用 SQL 查詢串流資料或建置整個串流應用程式。