Dropbox risparmia milioni di dollari creando uno storage di metadati scalabile su Amazon DynamoDB e Amazon S3

Fondato nel 2007 da due studenti del Massachusetts Institute of Technology, Dropbox è uno strumento di collaborazione globale e un servizio di condivisione di file. È diventata una delle startup di maggior successo al mondo, con oltre 600 milioni di utenti che caricano più di 400 miliardi di contenuti.

Gli archivi di metadati di Dropbox erano originariamente ospitati esclusivamente nell'archivio dati principale dell'azienda, Edgestore, ospitato in un database distribuito on-premise costruito su cluster MySQL partizionati. A metà del 2018, la rapida crescita dei metadati "inattivi", dati a cui si accede di rado ma che devono essere archiviati in modo duraturo e disponibili istantaneamente, era a meno di 2 anni dal sovraccarico di Edgestore. Tuttavia, aumentare la capacità del database on-premise avrebbe richiesto la suddivisione delle partizioni esistenti e l'acquisto di nuove macchine per ospitarle, il che avrebbe raddoppiato il costo di Edgestore aggiungendo milioni di dollari all'anno. Inoltre, non aveva più senso archiviare i metadati inattivi nello stesso database dei metadati "attivi", ovvero utilizzati frequentemente. "Se scrivi dati che non sono pensati per essere letti spesso, è estremamente costoso utilizzarli, per non dire insensato archiviarli, in supporti ottimizzati per la velocità di recupero", afferma Jonathan Lee, responsabile tecnico del team Alki di Dropbox.

Di conseguenza, due dipendenti si sono separati dal team del database per creare Alki, la soluzione in grado di archiviare i metadati in modo conveniente. Si sono concentrati in particolare sui dati di registrazione degli audit, il principale caso d'uso dei metadati inattivi di Edgestore. Poiché il piccolo team di Alki ha dovuto affrontare una scadenza ravvicinata che, in caso di mancato rispetto, avrebbe potuto portare alla perdita dei metadati degli utenti, è stato deciso di implementare servizi gestiti da AWS. Utilizzando Amazon DynamoDB e Amazon S3, Dropbox ha rapidamente realizzato il prototipo e distribuito un archivio di metadati inattivi su AWS in appena un anno. AWS Solutions Architects ha funzionato come un'estensione del team Alki di Dropbox, fornendo indicazioni prescrittive e assistenza per l'implementazione.

"Quando si crea un sistema di archiviazione, è necessario pensare a molti componenti tra cui replica, backup e gestione della capacità. Amazon DynamoDB e Amazon S3 rispondono bene a questa esigenza: sono standard del settore", afferma Lee. "Si tratta di problemi che i team di grandi dimensioni impiegano diversi anni per risolvere. Ma utilizzando Amazon DynamoDB e Amazon S3, semplifichiamo questi problemi perché AWS gestisce molte attività complesse come la replica dei dati, la gestione della durata dei dati e il provisioning dell'hardware. Sia Amazon DynamoDB che Amazon S3 crescono automaticamente in base alle nostre esigenze di capacità. Non abbiamo più bisogno di pianificare la capacità e il budget on-premise per gli acquisti di hardware per poi restare bloccati nelle nostre decisioni per 4 anni".

Il team di Alki, con l'aiuto di AWS Solutions Architects, ha costruito un sistema di storage dei metadati di tipo LSMT (log-structured merge-tree) che dispone di due livelli di archiviazione dei dati: un livello superiore per i metadati attivi e uno inferiore per i metadati inattivi. Amazon DynamoDB funge da livello di archiviazione attivo, acquisendo i dati di log di audit in sei tabelle DynamoDB a 4.000-6.000 scritture al secondo per tabella. Quindi ognuna di queste tabelle memorizza 50-80 GB al giorno. Alla fine di ogni giornata, il team scarica i metadati da queste tabelle in Amazon S3 per l'archiviazione permanente, dopodiché le tabelle in Amazon DynamoDB vengono eliminate.

All'inizio del 2019, meno di 6 mesi dopo che il team di Alki aveva scelto Amazon DynamoDB e Amazon S3, Alki era nella fase beta della produzione, acquisiva tutti i dati e gestiva un sottoinsieme delle letture. A ottobre 2019 circa 300 TB di dati del log di audit, che rappresentano un quarto di tutti i dati archiviati in Edgestore, erano stati migrati ad Alki, che ora era in piena produzione.

La scalabilità di Amazon DynamoDB e Amazon S3 ha aiutato il team di Dropbox a completare la migrazione dei dati in meno di 2 settimane. "Normalmente è possibile progettare un sistema con una scala 10 volte superiore a quella che ci si aspetterebbe in una condizione stazionaria", spiega Lee. "Ma siamo riusciti a scalare da 100 a 1.000 volte su AWS senza progettare il sistema in anticipo". Il team di Alki prevedeva che la condizione stazionaria fosse di 4.000 query al secondo, ma è stato in grado di fornire Amazon DynamoDB per 600.000 query al secondo durante la migrazione.

Secondo Lee, AWS Solutions Architects ha fornito un supporto di primo livello al team di Alki durante tutta la migrazione. "Possiamo solo dire cose positive sulla nostra interazione con il team AWS che lavora su Alki. È sempre stato molto proattivo nell'aiutarci a rilevare i problemi, indicando come avremmo potuto rendere le cose più veloci o identificando le aree in cui avremmo dovuto essere più attenti dal punto di vista operativo", afferma Lee. Il team di Alki e gli AWS Solutions Architects sono stati in grado di rimanere in comunicazione costante tramite canali in tempo reale. E il team di Alki continuerà a sfruttare i vantaggi di tale collaborazione attraverso i servizi gestiti di AWS. "La gestione duratura di un sistema richiede esperienza, che noi non avevamo", afferma Stas Ilinskiy, ingegnere software del team di Alki. "Ma utilizzando Amazon DynamoDB, acquisiamo anche le persone con le competenze necessarie per gestirlo".

Alki ha consentito a Dropbox di risparmiare milioni di dollari in costi di espansione e ha ridotto significativamente i costi di gigabyte per utente utilizzando Amazon DynamoDB e Amazon S3. Edgestore di Dropbox costerebbe agli utenti 5,5 volte di più di Alki per gigabyte-utente all'anno.