Solution de streaming de données pour Amazon MSK

Capturer en continu des données pour les traiter à l'aide d'un service de flux de données en temps réel évolutif et durable
Consulter le guide d’implémentation

Important : la solution de streaming de données pour Amazon MSK sera mise hors service le 18 janvier 2025. Passé ce délai, tous les déploiements existants continueront de fonctionner et les clients conserveront le contrôle total de leurs environnements et de leurs données. Toutefois, la solution ne sera plus prise en charge ni maintenue.

Présentation

La solution de streaming de données pour Amazon MSK vous permet de capturer des données en streaming à l’aide d’Amazon Managed Streaming for Apache Kafka (Amazon MSK), un service de stockage extrêmement évolutif capable de gérer un volume de données élevé provenant des producteurs de données. Un producteur peut être composé de milliers de sources de données, chacune générant en permanence des données de streaming. Ces sources soumettent généralement des enregistrements simultanément en petits formats (kilo-octets).

Les données de streaming comprennent de nombreuses sources tels que des fichiers journaux générés par les clients à l’aide d’applications mobiles ou Web, achats en ligne, activité des joueurs, informations provenant de réseaux sociaux, de salles de marché ou de services géospatiaux, télémétrie d’appareils ou d’instruments connectés dans des centres de données.

Cette solution AWS fournit quatre modèles AWS CloudFormation dans lesquels les données circulent à travers les producteurs, le stockage en continu, les consommateurs et les destinations. Comme pour la solution Streaming Data Solution for Amazon Kinesis, les modèles sont configurés de manière à appliquer les meilleures pratiques pour surveiller les fonctionnalités et sécuriser les données à l'aide de tableaux de bord et d'alarmes.

Cas d’utilisation de cette solution AWS
  • Titre
Plus...

Avantages

Configuration automatique
Configurez automatiquement les services AWS requis pour capturer, stocker, traiter et diffuser facilement des données de streaming.
Quatre options de modèles
Choisir parmi quatre options de modèles AWS CloudFormation différents. Testez les nouvelles combinaisons de service pour votre environnement de production et améliorez les applications existantes.
Cas d'utilisation en temps réel
Capturez des journaux d'applications à volume élevé, analysez les données de parcours de navigation, diffusez en continu vers un lac de données, et plus encore.
Code source personnalisable
Personnalisez le code standard de la solution, puis utilisez les fonctionnalités de surveillance afin d'effectuer rapidement la transition du test à la production.

Détails techniques

Vous pouvez déployer automatiquement cette architecture à l’aide du guide d’implémentation et des modèles AWS CloudFormation qui l’accompagnent.

Rubriques connexes

Blog sur l'architecture AWS
Sauvegarde Amazon MSK pour l'archivage, la relecture ou l'analyse

Cet article explique les modèles et les solutions qui peuvent être utilisés pour sauvegarder les rubriques MSK sur S3, ce qui permet aux clients de réduire les paramètres de rétention des données à long terme dans MSK. Certains clients stockent des données à long terme dans MSK pour les charges de travail de l'analyse des données et du Machine Learning. Nous partageons un modèle permettant de simplifier cette architecture en transférant les données des rubriques dans S3 et d'utiliser S3 pour l'analyse et le ML.

Lire le blog 
Formation
Data Analytics Fundamentals

Ce cours d'autoformation porte sur le processus de planification des solutions d'analyse des données et sur les divers processus d'analytique des données connexes.

S'inscrire maintenant 

Cette page vous a-t-elle été utile ?

 Commentaires