Intégration de données avec AWS

Vos données proviennent de nombreuses sources dans des formats variés : applications hébergées par des tiers, magasins de données sur site et magasins de données opérationnelles. Les services AWS se connectent à des centaines de sources de données, notamment des logiciels en tant que service (SaaS) tiers, sur site et dans d’autres clouds. Une fois que vous avez connecté ou déplacé des données vers des lacs de données, des entrepôts et des bases de données, vous pouvez les rendre disponibles en toute sécurité dans l’ensemble de votre organisation.

AWS Glue, l’un des nombreux services d’intégration de données AWS, regroupe les principales fonctionnalités d’intégration de données en un seul endroit, notamment la découverte, l’extraction, transformation et chargement (ETL), le nettoyage, la transformation et le catalogage centralisé. Il est sans serveur et peut automatiquement allouer et gérer les travailleurs en fonction des besoins.

AWS fournit des outils qui répondent aux besoins des ingénieurs de données, des développeurs ETL et des analystes commerciaux, en aidant les utilisateurs de tous les niveaux techniques à explorer et à travailler de manière interactive avec leurs données. Vous pouvez transformer visuellement les données à l’aide d’une interface glisser-déposer dans AWS Glue Studio, nettoyer et normaliser les données avec l’outil de préparation des données AWS Glue DataBrew, et tester les données à l’aide de votre environnement de développement intégré (IDE) ou bloc-notes préféré.

Les organisations doivent souvent prendre en charge divers cadres de traitement des données, tels que l’ETL, l’ETL inversé et l’extraction, chargement et transformation (ELT), ainsi que différentes charges de travail telles que les lots, les micro-lots et le streaming. AWS assure une prise en charge flexible de tous les cadres et charges de travail, et permet la portabilité en s’appuyant sur des normes open source.

AWS vous aide à accéder aux données et à les intégrer à partir de n’importe quel endroit où vous les stockez, ce qui permet à vos équipes d’intégration de données de se concentrer sur les activités à forte valeur ajoutée qui optimisent la valeur de vos données.

AWS Glue facilite la découverte, la préparation et l’intégration de toutes vos données à n’importe quelle échelle. AWS Database Migration Service aide à transférer les charges de travail de base de données et d’analyse vers AWS rapidement, en toute sécurité et avec un minimum de temps d’arrêt et aucune perte de données. Amazon Managed Workflows for Apache Airflow (MWAA) fournit une orchestration des flux de travail gérés sécurisée et hautement disponible pour Apache Airflow. AWS Data Exchange se connecte à des données tierces provenant de plus de 300 fournisseurs de données et de plus de 3 500 produits de données.

Pour les cas d’utilisation complexes dans lesquels vous devez transformer les données, les normaliser, vérifier leur qualité avant de les ingérer à partir d’un magasin de données brutes, ou réduire les colonnes et les lignes des tables, ou la taille des données, AWS Glue facilite la préparation et l’intégration des données.

Pour les cas d’utilisation courants où l’ETL se répète régulièrement, vous pouvez utiliser les capacités zéro ETL d’AWS, qui éliminent la nécessité de créer et de gérer des pipelines d’ETL. Grâce aux capacités zéro ETL d’AWS, vous pouvez directement ingérer des données en streaming depuis Amazon Managed Streaming for Apache Kafka vers Amazon Redshift, analyser les données Amazon Aurora avec Amazon Redshift en temps quasi réel, etc.

Les utilisateurs de l’entreprise ont des capacités techniques différentes pour interagir avec les données, et peuvent ne pas être en mesure de le faire sans les bons outils.

AWS fournit des interfaces spécifiques aux compétences et des outils de création de tâches pour tous les types d’utilisateurs, des développeurs aux utilisateurs métier. AWS Glue Studio génère automatiquement du code d’ETL et permet aux développeurs de l’ETL et aux analystes métier de transformer les données via une interface sans code. AWS Glue permet également aux développeurs et aux ingénieurs d’utiliser leur IDE, leur bloc-notes et leurs moteurs de traitement préférés. Amazon Managed Workflows pour Apache Airflow permet aux scientifiques et aux ingénieurs d’orchestrer des pipelines de données de bout en bout.

AWS assure la prise en charge de diverses charges de travail sans aucun verrouillage.

AWS Glue Studio vous aide à créer des jobs ETL hautement évolutifs sans devenir un expert d’Apache Spark, et à charger des données structurées et non structurées dans des entrepôts de données et des lacs de données. Amazon Managed Streaming for Apache Kafka (MSK) et Amazon Kinesis facilitent l’ingestion et le traitement des données de streaming en temps réel. Les autres charges de travail courantes incluent la transformation de données par lots, la réplication de bases de données, l’ingestion de données depuis le SaaS, le partage de données entre équipes et l’abonnement à des données tierces.