Pourquoi choisir l’intégration Amazon Redshift pour Apache Spark ?
L'intégration Amazon Redshift pour Apache Spark simplifie et accélère les applications Apache Spark accédant aux données Amazon Redshift à partir des services d'analytiques AWS tels qu'Amazon EMR, AWS Glue et Amazon SageMaker. À l'aide d'Amazon EMR, AWS Glue et SageMaker, vous pouvez créer rapidement des applications Apache Spark pour lire et écrire dans votre entrepôt des données Amazon Redshift, sans compromettre les performances ou la régularité transactionnelle. L'intégration d'Amazon Redshift pour Apache Spark utilise également des informations d'identification basées sur AWS Identity and Access Management (IAM) pour renforcer la sécurité. Avec l'intégration Amazon Redshift pour Apache Spark, il n'y a aucune configuration ou maintenance manuelle de versions non certifiées de connecteurs tiers à effectuer. Vous pouvez démarrer avec des tâches Apache Spark en utilisant des données d'Amazon Redshift en quelques secondes seulement. Cette nouvelle intégration améliore sensiblement les performances des applications Apache Spark utilisant les données Amazon Redshift.
Les avantages d'Amazon Redshift
Fonctionnement
Le diagramme est composé de trois colonnes principales. La colonne de gauche comprend trois cases disposées verticalement (de haut en bas) : AWS Glue, Amazon EMR et Amazon SageMaker. Ces cases pointent toutes vers la colonne/case centrale, qui indique « Accéder aux données dans Amazon Redshift via des applications Apache Spark. » La case centrale pointe vers une case à l'extrême droite qui indique « Amazon Redshift. »
Cas d'utilisation
Clients
Huron est une firme de services professionnels d'envergure internationale qui collabore avec ses clients afin d'élaborer des stratégies concrètes et des opérations d'optimisation, accélérer la transformation numérique et permettre aux entreprises et à leurs employés de prendre le contrôle de leur avenir.
« Nous donnons à nos ingénieurs les moyens de créer leurs pipelines de données et leurs applications avec Apache Spark via les langages Python et Scala. Nous recherchions une solution sur mesure simplifiant les opérations et optimisant le processus de livraison à nos clients. C'est ce que nous offre la nouvelle intégration Amazon Redshift pour Apache Spark. »
Corey Johnson, responsable de l'architecture de données - Huron Consulting
GE Aerospace est un fournisseur mondial de moteurs à réaction, de composants et de systèmes pour avions commerciaux et militaires. L'entreprise conçoit, développe et fabrique des moteurs à réaction depuis la Première Guerre mondiale.
« GE Aerospace utilise les analytiques AWS et Amazon Redshift pour obtenir des informations commerciales critiques sur lesquelles sont basées les décisions commerciales importantes. Grâce à la prise en charge de la copie automatique depuis Amazon S3, nous pouvons créer des pipelines de données plus simples pour déplacer les données d'Amazon S3 vers Amazon Redshift. Ainsi, nous optimisons la capacité de nos équipes de produits de données à accéder aux données et à fournir des informations aux utilisateurs finaux. Nous passons désormais plus de temps à ajouter de la valeur grâce aux données et moins de temps aux intégrations. »
Alcuin Weidus, architecte de données principal - GE Aerospace
Le groupe Goldman Sachs Group, Inc. est une institution financière mondiale de premier plan qui offre une large gamme de services financiers dans les domaines de la banque d'investissement, des valeurs mobilières, de la gestion des investissements et des services bancaires aux particuliers à une clientèle large et diversifiée comprenant des entreprises, des institutions financières, des gouvernements et des particuliers.
« Notre objectif est de fournir un accès en libre-service aux données pour l'ensemble de nos utilisateurs chez Goldman Sachs. Grâce à Legend, notre plateforme open source de gestion et de gouvernance des données, nous permettons aux utilisateurs de développer des applications centrées sur les données et obtenir des informations basées sur les données tout au long de notre collaboration dans l'industrie des services financiers. Avec l'intégration d'Amazon Redshift pour Apache Spark, notre équipe de plateforme de données aura accès aux données Amazon Redshift avec un minimum d'étapes manuelles, ce qui permettra des processus ETL sans code et augmentera la capacité de nos ingénieurs à se concentrer plus facilement sur le perfectionnement de leur flux au fur et à mesure qu'ils collectent des informations complètes et pertinentes. Nous nous attendons à constater une amélioration des performances des applications et une sécurité améliorée, car nos utilisateurs peuvent désormais accéder facilement aux dernières données Amazon Redshift. »
Neema Raphael, directeur des données – Goldman Sachs