Come usare Amazon EMR
- Sviluppa la tua applicazione di elaborazione dei dati. I linguaggi disponibili sono Java, Hive (un linguaggio simile a SQL), Pig (un linguaggio creato per l'elaborazione dei dati), Cascading, Ruby, Perl, Python, R, PHP, C++ o Node.js. Amazon EMR fornisce esempi di codice e tutorial per garantire la massima operatività il più rapidamente possibile.
- Carica la tua applicazione e i dati in Amazon S3. Se devi caricare grandi quantità di dati, puoi valutare se usare AWS Import/Export Snowball, per caricare i dati tramite dispositivi di storage fisici, oppure AWS Direct Connect, per stabilire una connessione di rete dedicata dal data center ad AWS. Se preferisci, puoi anche scrivere i tuoi dati direttamente in un cluster in esecuzione.
- Configura e avvia il cluster. Usando la Console di gestione AWS, l'interfaccia a riga di comando di AWS, gli SDK o le API, specifica il numero di istanze Amazon EC2 di cui effettuare il provisioning nel cluster, i tipi di istanze (standard, memoria elevata, CPU elevata, I/O elevato e così via), le applicazioni da installare (Apache Spark, Apache Hive, Apache HBase, Presto e così via) e la posizione della tua applicazione e dei dati. Per installare altri prodotti software o modificare le impostazioni predefinite, puoi usare Bootstrap Action.
- Monitora il cluster. Puoi monitorare lo stato e l'avanzamento del cluster tramite la Console di gestione, l'interfaccia a riga di comando, gli SDK o le API. Amazon EMR si integra con Amazon CloudWatch per sfruttarne le funzionalità di monitoraggio e di generazione di allarmi; inoltre supporta molte utility di monitoraggio come, ad esempio, Ganglia. Puoi aumentare o diminuire la capacità del cluster in qualsiasi momento, a seconda delle esigenze. Per risolvere i problemi, utilizza la semplice GUI di debug presente nella console di gestione.
- Recupera l'output. Puoi recuperare l'output generato da Amazon S3 o HDFS nel cluster. Visualizza i dati con strumenti quali Amazon QuickSight, Tableau e MicroStrategy. Amazon EMR terminerà automaticamente il cluster a elaborazione conclusa. In alternativa, puoi mantenere il cluster in esecuzione e assegnargli altre attività.
Sei pronto per avviare il tuo primo cluster?
Fai clic qui per avviare un cluster tramite la console di gestione di Amazon EMR. Nella pagina "Create Cluster" passa ad "Advanced cluster configuration" e fai clic sul pulsante grigio "Configure Sample Application" in alto a destra se desideri eseguire un'applicazione di esempio con dati di esempio.
Video
Rimani aggiornato con i webinar di AWS.
Tutorial
Spark
Elaborazione di flussi in tempo reale con Apache Spark Streaming e Apache Kafka in AWS
Scopri come configurare Apache Kafka in EC2, utilizzare Spark Streaming in EMR per elaborare i dati in entrata negli argomenti Apache Kafka e interrogare i flussi di dati mediante Spark SQL in EMR.
Machine Learning su larga scala con Spark su Amazon EMR
Scopri come Intent Media ha utilizzato Spark e Amazon EMR per i flussi di lavoro di modellizzazione.
HBase
SQL a bassa latenza e indici secondari con Phoenix e HBase
Scopri come connetterti a Phoenix utilizzando JDBC, creare una visualizzazione su una tabella HBase esistente e un indice secondario per prestazioni di lettura migliorate
Utilizzo di HBase con Hive per carichi di lavoro NoSQL e analisi.
Scopri come avviare un cluster EMR con HBase e ripristinare una tabella da uno snapshot in Amazon S3
Presto
Avvia un cluster Amazon EMR con Presto e Airpal
Scopri come impostare un cluster Presto e utilizzare Airpal per elaborare i dati archiviati in S3.
Hive
Utilizzo di HBase con Hive per carichi di lavoro NoSQL e analisi
Scopri come avviare un cluster EMR con HBase e ripristinare una tabella da uno snapshot in Amazon S3.
Elaborazione e analisi dei Big Data con Hive su Amazon EMR e la suite MicroStrategy
Scopri come connetterti a un flusso di lavoro Hive in esecuzione su Amazon Elastic MapReduce per creare una piattaforma sicura e dinamica per report e analisi.
Flink
Crea una pipeline di elaborazione di flussi in tempo reale con Apache Flink su AWS
Questo tutorial delinea un'architettura di riferimento per una pipeline di elaborazione di flussi consistente, dinamica e affidabile basata su Apache Flink utilizzando Amazon EMR, Amazon Kinesis, e Amazon Elasticsearch Service.
Impara seguendo il tuo ritmo con altri tutorial.
Formazione e assistenza
Impegni a breve termine
Hai bisogno di aiuto per la creazione di un proof of concept o per il tuning delle tue applicazioni EMR? AWS ha a disposizione un team di supporto globale specializzato in EMR. Se vuoi saperne di più riguardo agli impegni a breve termine (2-6 settimane) per il supporto a pagamento, contattaci.
Formazione di AWS sui Big Data
Il corso Big Data on AWS è progettato per offrirti formazione pratica su come usare Amazon Web Services per carichi di lavoro di Big Data. AWS ti mostrerà come eseguire processi Amazon EMR per elaborare i dati tramite il vasto ecosistema di strumenti Hadoop come Pig e Hive. Inoltre, AWS illustrerà come creare ambienti per i Big Data nel cloud impiegando Amazon DynamoDB e Amazon Redshift, saranno elencati i vantaggi di Amazon Kinesis e sarà spiegato come sfruttare le best practice di progettazione degli ambienti per i Big Data per ottenere analisi ottimali, sicurezza e costi ridotti. Per ulteriori informazioni sul corso sui Big Data, fai clic qui.
Formazione aggiuntiva
Scale Unlimited offre formazione in loco personalizzata per le società che devono imparare rapidamente a usare EMR e altre tecnologie per Big Data. Per saperne di più, fai clic qui.
Altre risorse
Crea un cluster Amazon EMR di esempio nella console di gestione AWS.
Ottieni l'accesso istantaneo al piano gratuito di AWS.
Scopri altre risorse per Amazon EMR