Panoramica
Il trasferimento dei dati di vault di Amazon S3 Glacier ad Amazon S3 ripristina, copia e trasferisce gli archivi conservati in un vault di Amazon Simple Storage Service Glacier (Amazon S3 Glacier) in un bucket S3 e in una classe di archiviazione a scelta, incluse le classi di archiviazione S3 Glacier. Questa soluzione AWS semplifica l'uso dei dati automatizzando il processo di trasferimento e rendendo i dati archiviati più accessibili ed economici.
Nota:
Le classi di archiviazione Amazon S3 Glacier, tra cui Deep Archive Glacier, recupero flessibile Glacier e recupero istantaneo Glacier, sono diverse dalle classi di archiviazione S3. Visita questa pagina web per ulteriori informazioni su queste classi di archiviazione.
Vantaggi
L'automazione consente di risparmiare tempo e riduce al minimo la probabilità di errore umano durante il processo di trasferimento dei dati, contribuendo a garantire un funzionamento più affidabile e coerente.
Il trasferimento dei dati dai vault di Amazon S3 Glacier ai bucket S3 facilita l'analisi e l'utilizzo dei dati. I dati sono più facilmente accessibili per le applicazioni e gli strumenti di analisi, senza tempi di ripristino prolungati.
Le classi di archiviazione Amazon S3 consentono l'applicazione di tag e un accesso più rapido ai dati. I vantaggi dell'applicazione di tag includono la classificazione dei dati, il controllo granulare degli accessi, la gestione del ciclo di vita e l'allocazione dei costi.
Per i dati a cui si accede raramente, la classe di archiviazione Deep Archive Amazon S3 Glacier consente di risparmiare quasi il 75% per l'archiviazione nella regione AWS degli Stati Uniti orientali (Ohio) rispetto a un vault S3 Glacier.
Dettagli tecnici
Questa architettura può essere implementata automaticamente consultando la Guida all'implementazione e il modello AWS CloudFormation allegato.
Fase 1
Richiama un flusso di lavoro di trasferimento utilizzando un documento AWS Systems Manager (documento SSM).
Fase 2
Il documento SSM avvia il flusso di lavoro dell'orchestratore AWS Step Functions.
Fase 3
Il flusso di lavoro dell'orchestratore Step Functions avvia un flusso di lavoro annidato di Step Functions Get Inventory per recuperare il file di inventario.
Fase 4
Al termine del recupero dell'inventario, la soluzione richiama il flusso di lavoro annidato di Step Functions Initiate Retrieval.
Fase 5
Quando un lavoro è pronto, Amazon S3 Glacier invia una notifica a un argomento Amazon Simple Notification Service (Amazon SNS) che indica il completamento del lavoro.
Fase 6
La soluzione archivia tutte le notifiche di completamento dei lavori nella coda delle notifiche di Amazon Simple Queue Service (Amazon SQS).
Fase 7
Quando un processo di archiviazione è pronto, la coda delle notifiche di Amazon SQS richiama la funzione AWS Lambda Notifications Processor. Questa funzione Lambda prepara i passaggi iniziali per il recupero dell'archivio.
Fase 8
La funzione Lambda Notifications Processor inserisce i messaggi di recupero dei blocchi nella coda di recupero di Amazon SQS Chunks per l'elaborazione dei blocchi.
Fase 9
La coda Amazon SQS Chunks Retrieval richiama la funzione Lambda Chunk Retrieval per elaborare ogni blocco.
Fase 10
La funzione Lambda Chunk Retrieval scarica il blocco dal vault Amazon S3 Glacier.
Fase 11
La funzione Lambda Chunk Retrieval carica una parte di caricamento in più parti su Amazon Simple Storage Service (Amazon S3).
Fase 12
Dopo aver scaricato un nuovo blocco, la soluzione archivia i metadati dei blocchi in Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Fase 13
La funzione Lambda Chunk Retrieval verifica se tutti i blocchi di quell'archivio sono stati elaborati. In caso affermativo, inserisce un evento nella coda di Amazon SQS Validation per richiamare la funzione Lambda Validate.
Fase 14
La funzione Lambda Validate esegue un controllo di integrità, quindi chiude il caricamento in più parti su Amazon S3.
Fase 15
Un flusso DynamoDB richiama la funzione Lambda Metrics Processor per aggiornare le metriche del processo di trasferimento a DynamoDB.
Fase 16
Il flusso di lavoro dell'orchestratore Step Functions prevede un'attesa asincrona, che si interrompe fino alla conclusione del flusso di lavoro di recupero dell'archivio prima di avviare il flusso di lavoro di pulizia Step Functions.
Fase 17
Il flusso DynamoDB richiama la funzione Lambda Async Facilitator, che sblocca le attese asincrone in Step Functions.
Fase 18
Le regole di Amazon EventBridge avviano periodicamente i flussi di lavoro Step Functions Extend Download Window e Update Amazon CloudWatch Dashboard.
Fase 19
Monitora l'avanzamento del trasferimento utilizzando il pannello di controllo di CloudWatch.
Fase 1
Richiama un flusso di lavoro di trasferimento utilizzando un documento AWS Systems Manager (documento SSM).
Fase 2
Il documento SSM avvia il flusso di lavoro dell'orchestratore AWS Step Functions.
Fase 3
Il flusso di lavoro dell'orchestratore Step Functions avvia un flusso di lavoro annidato di Step Functions Get Inventory per recuperare il file di inventario.
Fase 4
Al termine del recupero dell'inventario, la soluzione richiama il flusso di lavoro annidato di Step Functions Initiate Retrieval.
Fase 5
Quando un lavoro è pronto, Amazon S3 Glacier invia una notifica a un argomento Amazon Simple Notification Service (Amazon SNS) che indica il completamento del lavoro.
Fase 6
La soluzione archivia tutte le notifiche di completamento dei lavori nella coda delle notifiche di Amazon Simple Queue Service (Amazon SQS).
Fase 7
Quando un processo di archiviazione è pronto, la coda delle notifiche di Amazon SQS richiama la funzione AWS Lambda Notifications Processor. Questa funzione Lambda prepara i passaggi iniziali per il recupero dell'archivio.
Fase 8
La funzione Lambda Notifications Processor inserisce i messaggi di recupero dei blocchi nella coda di recupero di Amazon SQS Chunks per l'elaborazione dei blocchi.
Fase 9
La coda Amazon SQS Chunks Retrieval richiama la funzione Lambda Chunk Retrieval per elaborare ogni blocco.
Fase 10
La funzione Lambda Chunk Retrieval scarica il blocco dal vault Amazon S3 Glacier.
Fase 11
La funzione Lambda Chunk Retrieval carica una parte di caricamento in più parti su Amazon Simple Storage Service (Amazon S3).
Fase 12
Dopo aver scaricato un nuovo blocco, la soluzione archivia i metadati dei blocchi in Amazon DynamoDB (etag, checksum_sha_256, tree_checksum).
Fase 13
La funzione Lambda Chunk Retrieval verifica se tutti i blocchi di quell'archivio sono stati elaborati. In caso affermativo, inserisce un evento nella coda di Amazon SQS Validation per richiamare la funzione Lambda Validate.
Fase 14
La funzione Lambda Validate esegue un controllo di integrità, quindi chiude il caricamento in più parti su Amazon S3.
Fase 15
Un flusso DynamoDB richiama la funzione Lambda Metrics Processor per aggiornare le metriche del processo di trasferimento a DynamoDB.
Fase 16
Il flusso di lavoro dell'orchestratore Step Functions prevede un'attesa asincrona, che si interrompe fino alla conclusione del flusso di lavoro di recupero dell'archivio prima di avviare il flusso di lavoro di pulizia Step Functions.
Fase 17
Il flusso DynamoDB richiama la funzione Lambda Async Facilitator, che sblocca le attese asincrone in Step Functions.
Fase 18
Le regole di Amazon EventBridge avviano periodicamente i flussi di lavoro Step Functions Extend Download Window e Update Amazon CloudWatch Dashboard.
Fase 19
Monitora l'avanzamento del trasferimento utilizzando il pannello di controllo di CloudWatch.
Contenuto correlato
S3 Glacier è un servizio sicuro e durevole per l'archiviazione dei dati a basso costo e il backup a lungo termine tramite vault.
Questo workshop di autoapprendimento fornisce una guida dettagliata per il lancio della soluzione AWS, Trasferimento dati da vault da vault Amazon S3 Glacier ad Amazon S3, nel tuo account AWS.
- Data di pubblicazione