Replica degli oggetti esistenti nei bucket Amazon S3 con Amazon S3 Batch Replication
TUTORIAL
Panoramica
Questo tutorial mostra come replicare oggetti già esistenti nei bucket all'interno della stessa Regione AWS o in Regioni AWS diverse con Amazon Simple Storage Service (Amazon S3) Batch Replication.
Replica Amazon S3 è una funzionalità a basso costo, completamente gestita ed elastica che replica gli oggetti tra i bucket Amazon S3. Puoi replicare dati nuovi ed esistenti da un bucket di origine a più bucket di destinazione nella stessa Regione AWS o in Regioni AWS diverse. Sia che desideri conservare una copia secondaria dei dati per la relativa protezione o disporre di dati in più aree geografiche per fornire agli utenti la latenza più bassa, Replica S3 offre i controlli necessari per soddisfare le esigenze aziendali.
Puoi utilizzare Amazon S3 Batch Replication per riempire i bucket appena creati con oggetti esistenti, replicare nuovamente gli oggetti già replicati o che non era stato possibile replicare, eseguire la migrazione dei dati tra account o aggiungere nuovi bucket a un data lake. I processi di S3 Batch Replication vengono creati su una configurazione di replica esistente ed eseguiti per tutte le regole di replica abilitate per il bucket. Per ulteriori informazioni su Replica S3, visita la sezione Replica di oggetti nella Guida per l'utente di Amazon S3 e per un tutorial dettagliato sulla configurazione di Replica S3, visita Replicate data within and between AWS Regions using Amazon S3 Replication. Alla fine di questo tutorial, sarai in grado di replicare i dati esistenti all'interno e tra le Regioni AWS utilizzando Replica Amazon S3.
Obiettivi
In questo tutorial, imparerai a:
- Configurare Replica S3 sul bucket Amazon S3
- Creare due bucket S3
- Creare una regola Replica S3 sul bucket S3
- Scegliere un bucket S3 di destinazione
- Scegliere o creare ruoli IAM per la replica
- Specificare il tipo di crittografia (facoltativo)
- Scegliere la classe di archiviazione S3 di destinazione
- Abilitare le opzioni di replica aggiuntive (facoltativo)
- Configura S3 Batch Replication per gli oggetti esistenti nel bucket Amazon S3 nei seguenti modi:
- Crea un processo di S3 Batch Replication quando crei una nuova configurazione di replica nel bucket o quando aggiungi una nuova destinazione alla configurazione di replica esistente
- Crea un processo di S3 Batch Replication dalla pagina principale di Operazioni in batch S3 (consigliato)
- Crea un processo di S3 Batch Replication dalla pagina di configurazione della replica esistente
Prerequisiti
Prima di iniziare questo tutorial, avrai bisogno di:
- Un account AWS: se non ne sei ancora in possesso, segui il tutorial Configurazione dell'ambiente AWS per una panoramica rapida.
Esperienza AWS
Principiante.
Tempo per il completamento
20 minuti
Costo richiesto per il completamento
Meno di 1 USD
Per i dettagli, consulta la pagina dei prezzi di Amazon S3
Requisiti
Account AWS
Servizi utilizzati
Ultimo aggiornamento
30 giugno 2023
Implementazione
Fase 1: creazione di due bucket Amazon S3
1.1 Accedi alla Console di gestione AWS utilizzando le informazioni del tuo account. Nella barra di ricerca, inserisci S3, quindi seleziona S3 tra i risultati.
1.2 Nel pannello di navigazione sinistro della console S3, scegli Bucket, quindi Crea bucket.
1.3 Inserisci un nome univoco descrittivo per il bucket di origine. Seleziona la Regione AWS in cui desideri creare il bucket. In questo esempio, viene selezionata la regione UE (Francoforte) eu-central-1.
1.4 Abilita il controllo delle versioni del bucket. Il controllo delle versioni dei bucket è necessario sia per i bucket S3 di origine che per quelli di destinazione per Replica S3. Per ulteriori informazioni, consulta Utilizzo della funzione Controllo delle versioni nei bucket S3.
1.5 Puoi lasciare le opzioni rimanenti come predefinite. Scorri
fino in fondo alla pagina e seleziona Crea bucket.
1.6 Ripeti i passaggi precedenti per creare un altro bucket S3 che funga da bucket di destinazione. Questo nuovo bucket può esistere nella stessa Regione AWS del bucket di origine per la replica nella stessa Regione di S3 (S3 SRR) o in una Regione AWS diversa per la replica tra Regioni di S3 (S3 CRR). Assicurati di abilitare il Controllo delle versioni del bucket per il bucket S3 di destinazione e assegna al nuovo bucket un nome univoco.
Fase 2: creazione di una configurazione di Replica S3 sul bucket S3
2.1 Nell'elenco dei bucket S3, scegli il bucket S3 di origine. Viene visualizzata la pagina iniziale del bucket S3.
2.2 Nella pagina iniziale del bucket S3, puoi verificare Oggetti, Proprietà, Autorizzazioni, Parametri, Gestione e Punti di accesso per il bucket S3 selezionato.
Nella scheda Gestione, in Regole di replica, seleziona Crea regola di replica.
2.3 Inserisci un Nome della regola di replica e assicurati che sia selezionato Abilitato nella sezione Stato. Se la regola di replica è disabilitata, non viene eseguita.
NOTA: Amazon S3 tenta di replicare gli oggetti in base a tutte le regole di replica. Tuttavia, se esistono due o più regole con lo stesso bucket di destinazione, gli oggetti vengono replicati in base alla regola con la priorità più alta. Più basso è il numero, maggiore è la priorità. Puoi modificare la priorità di ogni regola di replica nella pagina di configurazione della replica.
2.4 Restringi l'ambito della replica definendo un Tipo di filtro (Prefisso o Tag) oppure scegli di replicare l'intero bucket. Ad esempio, se desideri replicare solo oggetti che includono il prefisso Finance specifica tale ambito. Per ulteriori informazioni sul filtraggio degli oggetti per la replica, consulta la documentazione sulla specifica di un filtro nella Guida per l'utente di S3.
2.5 Scegli il bucket di destinazione creato selezionando il pulsante Sfoglia S3 e inserendo il nome completo del bucket.
Non puoi creare un nuovo bucket S3 durante il processo di configurazione della replica.
2.6 Quando crei nuove regole di replica dallo stesso bucket di origine, assicurati che il ruolo AWS Identity and Access Management (IAM) associato a questa configurazione disponga delle autorizzazioni sufficienti per scrivere nuovi oggetti nel nuovo bucket di destinazione. Puoi scegliere se creare un nuovo ruolo IAM o selezionare un ruolo IAM esistente con il set di autorizzazioni corretto. Per ulteriori informazioni, consulta la documentazione sulla configurazione delle autorizzazioni per Replica S3.
2.7 (Facoltativo) Se i tuoi oggetti sono crittografati con chiavi di crittografia gestite da Amazon S3 (SSE-S3) o Servizio di gestione delle chiavi AWS (AWS KMS), specifica le opzioni di crittografia. Replica S3 supporta SSE-S3 (crittografia predefinita), crittografia lato server AWS KMS (SSE-KMS) e crittografia lato server con chiavi fornite dal cliente (SSE-C). Se scegli la crittografia AWS KMS, fornisci le chiavi AWS KMS da decrittografare nel bucket di origine e crittografare nuovamente nel bucket di destinazione. Per risparmiare sui costi di AWS KMS, puoi abilitare Amazon S3 Bucket Keys.
2.8 (Facoltativo) Scegli una classe di archiviazione S3 per gli oggetti replicati nel bucket di destinazione. Valuta la possibilità di scegliere classi di storage a basso costo adatte ai tuoi carichi di lavoro. Ad esempio, puoi scegliere Piano intelligente per ottimizzare i costi di archiviazione per i dati con modelli di accesso imprevedibili o mutevoli, Recupero istantaneo Glacier se gli oggetti replicati vengono utilizzati di rado ma devono essere recuperati in millisecondi oppure Deep Archive Glacier per archiviare i dati a cui bisogna accedere raramente. Per ulteriori informazioni, consulta la sezione sull'utilizzo delle classi di archiviazione Amazon S3.
2.9 Scegli le opzioni di replica aggiuntive necessarie:
- Controllo del tempo di replica (RTC): S3 RTC aiuta a soddisfare i requisiti aziendali e di conformità poiché fornisce uno SLA di 15 minuti per replicare il 99,99% degli oggetti. Puoi abilitare S3 RTC insieme a S3 CRR e S3 SRR. I parametri e le notifiche di replica sono abilitati per impostazione predefinita.
- Parametri e notifiche di replica: per le regole non RTC, puoi selezionare Parametri e notifiche di replica, che forniscono parametri dettagliati per monitorare l'avanzamento minuto per minuto dei byte in attesa, delle operazioni in sospeso, delle operazioni con esito negativo e della latenza di replica per la regola di replica.
- Replica dei contrassegni di eliminazione: selezionando Replica dei contrassegni di eliminazione, le eliminazioni nel bucket di origine vengono replicate nel bucket di destinazione. Questa opzione dovrebbe essere abilitata se desideri mantenere sincronizzati i bucket di origine e destinazione, ma non se l'obiettivo è proteggere da eliminazioni accidentali o dolose.
- Sincronizzazione delle modifiche alla replica : per stabilire la replica bidirezionale tra due bucket S3, crea regole di replica bidirezionali (da A a B e da B ad A) e abilita la Sincronizzazione delle modifiche alla replica per le regole di replica nei bucket S3 di origine e di destinazione. Questo aiuta a mantenere sincronizzati i metadati degli oggetti come tag, ACL e impostazioni di blocco oggetti tra le repliche e gli oggetti di origine.
S3 RTC, Parametri e notifiche di replica e Sincronizzazione delle modifiche alla replica non sono supportati durante la replica degli oggetti esistenti con S3 Batch Replication.
Dopo aver configurato la replica, scegli Salva.
2.10 Quando crei la prima regola in una nuova configurazione di replica per il tuo bucket S3 o aggiungi una nuova Regione AWS di destinazione a una configurazione esistente, puoi abilitare la replica di oggetti esistente per tale regola di replica. Per replicare gli oggetti esistenti, scegli Sì, replica oggetti esistenti, quindi Invia.
Viene visualizzata la pagina Crea processo di Operazioni in batch.
Fase 3: replica degli oggetti esistenti durante la creazione di una nuova configurazione di replica
Nella pagina Crea processo di Operazioni in batch, puoi esaminare il processo di Operazioni in batch S3
impostazioni come le opzioni di esecuzione del processo, l'ambito dei report di completamento di S3 e le autorizzazioni.
3.1 Configura le opzioni di esecuzione del processo. Se desideri che il processo di S3 Batch Replication venga eseguito immediatamente, puoi scegliere Esegui automaticamente il processo quando è pronto. Se desideri attendere l'esecuzione del processo quando è pronto, puoi salvare il manifesto di Operazioni in batch per esaminare l'elenco degli oggetti da replicare.
3.2 Configura le opzioni del manifesto di Operazioni in batch. Il file manifesto generato da Amazon S3 utilizza lo stesso bucket di origine, prefisso e tag della configurazione di replica per elencare tutte le versioni idonee alla replica degli oggetti. Consigliamo di scegliere sempre Salva manifesto Operazioni in batch in modo da poter verificare l'elenco degli oggetti prima dell'inizio della replica. Puoi salvare il manifesto nello stesso account AWS o in un altro, ma il file manifesto deve essere archiviato nella stessa Regione AWS del bucket di origine.
In questo esempio, abbiamo scelto il bucket "aws-s3-tutorial-batch-replication-manifest-destination" per salvare il file manifesto, che si trova nello stesso account AWS del bucket di origine.
3.3 Per una maggiore sicurezza, è necessario crittografare il file manifesto utilizzando le chiavi gestite da Amazon S3 (SSE-S3) o con la chiave Servizio di gestione delle chiavi AWS (SS3-KMS).
3.4 Finché Operazioni in batch S3 elabora correttamente almeno un oggetto, Amazon S3 genera un report di completamento dopo la conclusione, l'esito negativo o l'annullamento del processo di replica in batch. Il report di completamento contiene informazioni aggiuntive per ogni attività, inclusi il nome e la versione della chiave dell'oggetto, lo stato, i codici di errore e le descrizioni di eventuali errori. Consigliamo di scegliere Genera report di completamento per Tutte le attività in modo da poter verificare lo stato di tutti gli oggetti che vengono replicati con questo processo. Per gli esempi di report di completamento, consulta Esempi: report di completamento delle Operazioni in batch S3.
3.5 Assicurati che il ruolo IAM associato a questo processo di Batch Replication disponga di autorizzazioni sufficienti per eseguire Operazioni in batch S3 per tuo conto. Per ulteriori informazioni, consulta la documentazione sulla configurazione delle policy IAM per Batch Replication e sulla concessione delle autorizzazioni per Operazioni in batch Amazon S3.
Verifica la configurazione e seleziona Salva.
Viene visualizzata la pagina principale di Operazioni in batch.
3.6 Seleziona l'ID del nuovo processo per verificare la relativa configurazione. Inoltre, puoi monitorare lo stato del processo di Batch Replication.
Fase 4: replica degli oggetti esistenti con la configurazione di replica esistente
Oltre a creare un processo di replica per una nuova regola di replica come descritto nel passaggio precedente, puoi anche creare un processo di S3 Batch Replication per le regole di replica esistenti nei bucket S3. A tale scopo, torna alla pagina iniziale della console Amazon S3.
4.1 Nel pannello di navigazione sinistro della pagina iniziale della console, scegli Operazioni in batch, quindi Crea processo.
4.2 Nella pagina Crea processo, seleziona la Regione AWS in cui desideri creare il processo di Batch Replication. Devi creare il processo nella stessa Regione AWS in cui si trova il bucket S3 di origine.
4.3 Fornisci l'elenco degli oggetti da replicare. Puoi aggiungere un manifesto generato dagli utenti sotto forma di report di inventario Amazon S3 o di file CSV. Il manifesto deve disporre di tutte le versioni dell'oggetto che devono essere replicate. Amazon S3 può anche generare un manifesto utilizzando la configurazione di Replica S3 esistente nel bucket di origine.
NOTA: in questo esempio, abbiamo scelto Crea manifesto utilizzando la configurazione di Replica S3 per consentire ad Amazon S3 di generare un manifesto per nostro conto e abbiamo scelto "aws-s3-replication-tutorial-source-bucket" come bucket di origine. Se scegli di consentire ad Amazon S3 di generare un manifesto, puoi visualizzare anche filtri aggiuntivi come la data di creazione dell'oggetto e lo stato della replica per ridurre l'ambito del processo.
4.4 (Facoltativo) Se scegli di salvare il manifesto di Operazioni in batch, crittografa il file manifesto utilizzando le chiavi gestite da Amazon S3 (SSE-S3) o utilizzando la chiave Servizio di gestione delle chiavi AWS (SSE-KMS) per ulteriore sicurezza e controllo degli accessi.
- Se non specifichi una modalità di crittografia, Amazon S3 utilizza le impostazioni di crittografia predefinite nel bucket di destinazione del manifesto per crittografare il file manifesto.
- Se non è abilitata la crittografia predefinita sul bucket di destinazione, Amazon S3 utilizza SSE-S3 per crittografare il file manifesto.
4.5 Scegli Avanti per andare alla pagina Scegli operazione.
4.6 Se hai scelto Crea manifesto utilizzando la configurazione di Replica S3 nella pagina precedente, l'unica opzione disponibile in Operazione è Replica. Questo perché la replica è l'unica operazione consentita quando si utilizza un manifesto generato da S3. Seleziona Replica, quindi scegli Avanti.
4.7 Configura opzioni aggiuntive:
- Inserisci una Descrizione per definire al meglio lo scopo del processo.
- Seleziona una Priorità per indicare la priorità relativa a questo processo rispetto agli altri eseguiti nell'account. Un numero più alto indica una priorità più alta. Ad esempio, un processo con priorità 2 ha la priorità rispetto a un processo con priorità 1. Operazioni in batch S3 assegna la priorità ai processi in base ai numeri di priorità, ma non è garantito un ordine rigoroso. Pertanto, non è consigliato utilizzare le priorità dei processi per garantire che un processo inizi o termini prima di qualsiasi altro. Se devi garantire un ordine rigoroso, attendi il termine di un processo prima di iniziare il successivo.
4.8 Scegli se desideri generare un report di completamento.
4.9 Scegli un ruolo IAM di Operazioni in batch valido per concedere ad Amazon S3 le autorizzazioni per eseguire azioni per tuo conto.
Inoltre, devi collegare una policy IAM Batch Replication al ruolo IAM di Operazioni in batch. Per creare un ruolo e una policy IAM validi, consulta Configurazione delle policy IAM per Batch Replication.
4.10 Aggiungi Tag del processo al processo di Batch Replication, quindi scegli Avanti per verificarne la configurazione.
4.11 Nella pagina Verifica, scegli Modifica per apportare modifiche, quindi Avanti per salvare le modifiche e tornare alla pagina Verifica.
Quando il processo è pronto, scegli Crea processo.
4.12 Dopo la creazione del processo di Batch Replication, Operazioni in batch elabora il manifesto. In caso di esito positivo, lo stato del processo cambia in In attesa della conferma dell'esecuzione. Devi confermare i dettagli del processo prima di eseguirlo.
Quando il processo viene eseguito correttamente, viene visualizzato un banner nella parte superiore della pagina Operazioni in batch.
Fase 5: Creazione di un processo di Batch Replication nella pagina di configurazione di Replica S3
5.1 Dall'elenco dei bucket S3, scegli quello che desideri configurare come origine per la replica.
Viene visualizzata la pagina iniziale del bucket S3.
5.2 Verifica Oggetti, Proprietà, Autorizzazioni, Parametri, Gestione e Punti di accesso per il bucket S3 selezionato.
5.3 Nella scheda Gestione, in Regole di replica, seleziona Visualizza configurazione della replica.
5.4 Nella pagina iniziale della configurazione della replica per il bucket di origine, scegli Crea processo di replica per accedere alla pagina Crea processo per Operazioni in batch S3. Ripeti i passaggi precedenti per creare un processo di Batch Replication dalla configurazione di replica esistente.
Fase 6: monitoraggio dell'avanzamento di un processo di S3 Batch Replication
Dopo la creazione e l'esecuzione di un processo di Batch Replication, quest'ultimo procede attraverso una serie di stati. Puoi monitorare l'avanzamento di un processo di Batch Replication facendo riferimento a questi stati nella pagina iniziale di Operazioni in batch.
Ad esempio, un processo si trova nello stato Nuovo quando viene creato, passa allo stato Preparazione quando Amazon S3 sta elaborando il manifesto e altri parametri del processo, quindi passa allo stato Pronto quando è pronto per l'esecuzione, Attivo quando è in corso e infine Completato al termine dell'elaborazione. Per un elenco completo degli stati dei processi, consulta Stati dei processi di Operazioni in batch.
Puoi scegliere di generare un report di completamento quando crei il processo di Batch Replication per monitorare lo stato della replica degli oggetti. Il report di completamento è un file CSV generato da Amazon S3 dopo il completamento, l'esito negativo o l'annullamento di un processo, a condizione che almeno un'attività sia stata richiamata con successo con Operazioni in batch S3.
Inoltre, se hai abilitato i Parametri di replica o il controllo del tempo di replica di S3 (S3 RTC) per la regola di replica, puoi verificare il numero di operazioni con esito negativo al minuto sulla console Amazon S3 e sulla console Amazon CloudWatch con il parametro Operazioni di replica con esito negativo. Per ulteriori informazioni, consulta Report di completamento delle Operazioni in batch S3 e il Monitoraggio dell'avanzamento con i parametri di Replica S3.
Fase 7: Eliminazione delle risorse
Elimina gli oggetti di test
- Se hai eseguito la disconnessione dalla sessione della Console di gestione AWS, accedi di nuovo.
- Passa alla console S3 e seleziona la voce di menu Bucket.
- Per prima cosa devi eliminare l'oggetto di test dal bucket di test. Seleziona il bucket con cui hai lavorato per questo tutorial.
- Seleziona l'oggetto di test, quindi scegli Elimina.
- Nella pagina Elimina oggetti, verifica di aver selezionato l'oggetto corretto da eliminare, digita elimina nel campo di conferma, quindi scegli Elimina oggetto.
Un banner nella parte superiore della pagina indica che l'eliminazione è avvenuta correttamente.
Elimina i bucket di test
- Torna all'elenco dei bucket nel tuo account.
- Seleziona il pulsante alla sinistra del bucket di origine creato per questo tutorial, quindi scegli Elimina.
- Inserisci il nome del bucket nel campo di conferma e scegli Elimina bucket.
- Ripeti questi passaggi per eliminare il bucket di destinazione creato come parte di questo tutorial.
Un banner nella parte superiore della pagina indica che l'eliminazione è avvenuta correttamente.
Conclusioni
Congratulazioni! Hai imparato a utilizzare S3 Batch Replication replicando oggetti esistenti dai bucket S3 di origine a quelli di destinazione per riempire i bucket appena creati con oggetti esistenti, replicare oggetti che sono stati replicati in precedenza e replicare oggetti che non sono stati replicati in passato. Quando utilizzi S3 Batch Replication, consigliamo di utilizzare un manifesto generato da S3 per elencare automaticamente gli oggetti da replicare. Suggeriamo inoltre di salvare il manifesto di replica per una verifica e un'analisi future. Infine, consigliamo di generare report di completamento per monitorare lo stato degli oggetti che vengono replicati con S3 Batch Replication.
Fasi successive
Per ulteriori informazioni su Replica S3, visita le seguenti risorse.
Documentazione su S3 Batch Replication
Domande frequenti su Replica S3
Replica degli oggetti esistenti con il blog Amazon S3 Batch Replication
Replica i dati all'interno e tra le Regioni AWS utilizzando Replica Amazon S3