Übersicht
Die Streaming-Daten-Lösung für Amazon Kinesis umfasst vier Bereitstellungsoptionen und die zugehörigen AWS-CloudFormation-Vorlagen, die so konfiguriert sind, dass sie bewährte Methoden für Streaming-Daten anwenden, einschließlich Datenüberwachung durch Dashboards und Alarme sowie Datensicherheit.
Streaming-Daten müssen von einem extrem skalierbaren Speicher langfristig erfasst werden, der die hohen Datenvolumen der Datenproduzenten verarbeiten kann. Ein Produzent kann aus tausenden Datenquellen bestehen, die jeweils kontinuierlich Streaming-Daten generieren und die Datensätze typischerweise gleichzeitig und in kleinen Größen (Kilobyte) liefern. Mit dieser AWS-Lösung können Sie eine Vielzahl von Streaming-Daten verwalten, sichern und speichern, z. B. Protokolldateien, die von Ihren Kunden mithilfe von Mobil- oder Webanwendungen generiert wurden. Es unterstützt auch Streaming-Daten von E-Commerce-Käufen, Spieleraktivitäten im Spiel, Informationen aus sozialen Netzwerken, Finanzbörsen oder Geodiensten sowie Telemetrie von angeschlossenen Geräten oder Instrumenten in Rechenzentren.
Vorteile
Technische Details
Sie können diese Architektur mit dem Implementierungsleitfaden und den vier zugehörigen AWS-CloudFormation-Vorlagen automatisch bereitstellen.
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
AWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Zum Vergrößern klickenAWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Schritt 1
Eine Amazon API Gateway REST API fungiert als Proxy für Amazon Kinesis Data Streams und fügt entweder einen einzelnen Datensatz oder eine Liste von Datensätzen hinzu.Schritt 2
Ein Amazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.Schritt 3
Kinesis Data Streams zur Speicherung von eingehenden Streaming-Daten.Schritt 4
Eine AWS-Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.Schritt 5
Fehler und fehlgeschlagene Datensätze, die während der Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert.
Die Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.
Schritt 1
Eine Amazon API Gateway REST API fungiert als Proxy für Amazon Kinesis Data Streams und fügt entweder einen einzelnen Datensatz oder eine Liste von Datensätzen hinzu.Schritt 2
Ein Amazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.Schritt 3
Kinesis Data Streams zur Speicherung von eingehenden Streaming-Daten.Schritt 4
Eine AWS-Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.Schritt 5
Fehler und fehlgeschlagene Datensätze, die während der Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert.
Die Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.
Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 2
-
AWS-CloudFormation-Vorlage unter Verwendung von Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon CloudWatch
Zum Vergrößern klickenAWS-CloudFormation-Vorlage unter Verwendung von Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon CloudWatch
Schritt 1
Eine Amazon-Elastic-Compute-Cloud-Instance (Amazon EC2) verwendet Amazon Kinesis Producer Library (KPL) zum Generieren von Daten.Schritt 2
Data Streams speichert den eingehenden Datenstrom.Schritt 3
Amazon Managed Service für Apache Flink Studio verarbeitet die eingehenden Datensätze und speichert die verarbeiteten Daten in einem Amazon Simple Storage Service (Amazon S3)-Bucket.Schritt 4
Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.Schritt 1
Eine Amazon-Elastic-Compute-Cloud-Instance (Amazon EC2) verwendet Amazon Kinesis Producer Library (KPL) zum Generieren von Daten.Schritt 2
Data Streams speichert den eingehenden Datenstrom.Schritt 3
Amazon Managed Service für Apache Flink Studio verarbeitet die eingehenden Datensätze und speichert die verarbeiteten Daten in einem Amazon Simple Storage Service (Amazon S3)-Bucket.Schritt 4
Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 3
-
AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Zum Vergrößern klickenAWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Schritt 1
Data Streams speichert die eingehenden Streaming-Daten.Schritt 2
Amazon Kinesis Data Firehose puffert eingehende Daten, bevor dies Ausgabe an einen S3-Bucket geliefert wird. Diese Lösung ist ein vollständig verwalteter Service, der automatisch entsprechend dem Durchsatz Ihrer Daten skaliert wird und keine weitere Verwaltung erfordert.Schritt 3
Ein CloudWatch-Dashboard überwacht die Datenerfassung und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.Schritt 1
Data Streams speichert die eingehenden Streaming-Daten.Schritt 2
Amazon Kinesis Data Firehose puffert eingehende Daten, bevor dies Ausgabe an einen S3-Bucket geliefert wird. Diese Lösung ist ein vollständig verwalteter Service, der automatisch entsprechend dem Durchsatz Ihrer Daten skaliert wird und keine weitere Verwaltung erfordert.Schritt 3
Ein CloudWatch-Dashboard überwacht die Datenerfassung und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 4
-
AWS-CloudFormation-Vorlage unter Verwendung von Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon API Gateway
Zum Vergrößern klickenAWS-CloudFormation-Vorlage unter Verwendung von Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon API Gateway
Schritt 1
Eine EC2-Instance, die KPL zum Generieren von Daten verwendet.Schritt 2
Kinesis Data Streams speichert die eingehenden Streaming-Daten.Schritt 3
Managed Service für Apache Flink verarbeitet die eingehenden Datensätze und ruft asynchron einen externen Endpunkt auf.Schritt 4
Die Demo-Anwendung ruft eine Lambda-Funktion auf.Schritt 5
Eine externe API kann eine beliebige Integration sein, die von API Gateway unterstützt wird (beispielsweise ein Amazon-SageMaker-Endpunkt).Schritt 6
Ein CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.Schritt 1
Eine EC2-Instance, die KPL zum Generieren von Daten verwendet.Schritt 2
Kinesis Data Streams speichert die eingehenden Streaming-Daten.Schritt 3
Managed Service für Apache Flink verarbeitet die eingehenden Datensätze und ruft asynchron einen externen Endpunkt auf.Schritt 4
Die Demo-Anwendung ruft eine Lambda-Funktion auf.Schritt 5
Eine externe API kann eine beliebige Integration sein, die von API Gateway unterstützt wird (beispielsweise ein Amazon-SageMaker-Endpunkt).Schritt 6
Ein CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.Über diese BereitstellungDatum der Veröffentlichung- Datum der Veröffentlichung
BereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten
Ähnliche Inhalte
Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Er behandelt auch die Integration von Amazon Managed Service für Apache Flink, um zugrunde liegende Services oder Datenbanken asynchron aufzurufen.
Dies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.
In diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.