In che modo Paradime.io velocizza la pipeline di dati per i clienti fino al 50% senza aumentare i costi grazie ad AWS Graviton

Nell'era digitale, i team lavorano in modo più agile e collaborativo che mai. Gli analisti dei dati sono essenziali per ogni azienda. Sono un ponte fondamentale in quanto trasformano enormi quantità di dati aziendali grezzi in dashboard di dati pertinenti e utilizzabili, consentendo a funzioni aziendali come marketing, vendite, prodotti e assistenza clienti di garantire il buon funzionamento dell'azienda, la sua redditività e la sua crescita.

Nel 2018, i fondatori di Paradime, Kaustav Mitra e Fabio Di Leta, lavoravano presso una società di investimenti. Kaustav era incaricato di riprogettare la piattaforma dati da zero poiché la soluzione precedente dell'azienda non riusciva a produrre i risultati di cui aveva bisogno. Mentre si occupava di una serie di strumenti diversi necessari per riprogettare la piattaforma, si è reso conto che il team di analisi dei dati dedicava troppo tempo a mettere insieme le varie applicazioni. Di conseguenza, si ritrovava senza larghezza di banda per svolgere un lavoro mission critical e di grande impatto.

Kaustav si è reso conto del problema e ha cercato le soluzioni: “A causa della frammentazione della catena di strumenti per l'analisi dei dati, le persone si trovano sempre in difficoltà nel portare a termine il loro lavoro quotidiano. Come integrare le persone e i dati in modo da velocizzare il lavoro? Come avere una piattaforma funzionante senza interruzioni per gli addetti all'analisi dei dati?”

Kaustav conosceva già le soluzioni AWS e si è lasciato ispirare dal modo in cui sono state costruite, ovvero dalla consapevolezza che una perfetta integrazione e una facile collaborazione sono fondamentali per ottenere risultati più rapidi, più efficienti e con meno stress.

Kaustav spiega: “Paradime è il nostro sistema operativo rivoluzionario per gli analisti di dati che, come AWS, riunisce molti strumenti in un unico posto. Questa mentalità simile è una delle ragioni principali per cui AWS è stata la piattaforma cloud preferita di Paradime, sin dal primo giorno, soprattutto in combinazione con le prestazioni quattro volte superiori e i risparmi sui costi dei processori AWS Graviton.”

Un concetto nato da un'esigenza reale

Partendo da questa urgente esigenza, Kaustav e Fabio hanno impiegato il 2020 per concettualizzare la loro idea. Poi, nel 2021, durante la pandemia, hanno lanciato Paradime con un team di quattro persone e la prima riga di codice è stata scritta su AWS.

Anche la filosofia di Paradime era allineata a quella di AWS. Per assicurarsi di dare la priorità alle necessità degli analisti di dati, il team Paradime ha adottato un approccio di lavoro “basato sulle esigenze dei clienti”, rispecchiando il meccanismo di “lavoro a ritroso” di AWS che non parte dalla tecnologia, ma dalle esigenze del cliente, assicurando che quest'ultimo sia sempre al centro di qualsiasi nuovo prodotto o servizio. Kaustav dichiara: “Gli strumenti devono adattarsi alle esigenze e al lavoro quotidiano degli analisti di dati, anziché essere gli analisti di dati a dover adattare il loro lavoro agli strumenti”.

Fin dall'inizio, Paradime ha cercato di essere l'innovatore più veloce sul mercato dell'analisi dei dati, e questo significa ascoltare e agire. “Se ascolti i tuoi clienti giorno dopo giorno, riesci a stupirli molto più velocemente e ad aumentare la maturità della piattaforma a passi da gigante. Aiutiamo i team di analisti di dati a svolgere il loro lavoro più velocemente di qualsiasi altro software disponibile”, afferma Kaustav.

Il problema creato dalla rapida crescita dei dati aziendali

Paradime si descrive come la piattaforma dbt™ basata sull'intelligenza artificiale per i team di analisi. Data Build Tool, o dbt, è una soluzione alla rapida crescita dei dati all'interno delle aziende odierne.

Fin dagli anni '70, il codice SQL è stato il linguaggio di programmazione dell'analisi dei dati, utilizzato per porre domande al database e fornire agli analisti le risposte di cui hanno bisogno. Tuttavia, con la rapida crescita della quantità di dati necessari per operare in modo competitivo, la scrittura, la gestione delle modifiche e il test dell'SQL sono diventati molto più complessi e dispendiosi in termini di tempo. Dal 2016, dbt è stato lo strumento scelto per risolvere questo problema, garantendo un codice SQL scalabile e verificabile, facile da costruire, eseguire, testare e gestire nel tempo in base all'evoluzione dell'azienda. Tuttavia, come ben sa il team di Paradime, dbt è solo una parte di una vasta gamma di attività di analisi dei dati.

Il ponte tra archivi di dati e informazioni aziendali

Gli analisti di dati lavorano in molti team, dagli ingegneri di dati esperti di software alle funzioni aziendali senza conoscenze di software come marketing, vendite, prodotti e assistenza clienti. Di conseguenza, hanno bisogno di utilizzare i sistemi per l'intero processo end-to-end, di cui il dbt è una parte vitale, ma solo una parte. Kaustav afferma: “Ciò di cui gli analisti hanno bisogno è uno spazio di lavoro che gestisca tutte le loro responsabilità end-to-end in un unico posto: Paradime è quello spazio di lavoro, ed è questo che lo distingue da altri concorrenti specializzati principalmente in dbt.”

Gli analisti di dati hanno bisogno di molto altro. Per esempio, Paradime aiuta i responsabili dei dati a capire quanto velocemente o lentamente funzionano le loro pipeline di dati, quanto denaro spende il loro team e quanto tempo impiega nel lavoro quotidiano. Kaustav spiega: “Poiché Paradime consente di avere tutto questo a portata di mano, in un unico posto, offre ai team di analisi dei dati un livello di produttività superiore, dal 50 all'83%, rispetto all'uso di un sistema frammentato costruito internamente o con strumenti disponibili sul mercato.”

AWS è il motore delle prestazioni di Paradime

Per gli analisti di dati, la velocità è importante. Le organizzazioni si affidano molto alle informazioni sui dati e, nell'ottica di rendere il lavoro degli analisti dei dati più agevole, Paradime è sempre alla ricerca di modi per accelerare i propri servizi mantenendo i costi bassi. Per questo ha scelto i processori AWS Graviton.

Kaustav precisa: “Il framework di orchestrazione Bolt e CI/CD di Paradime consente agli analisti di dati di eseguire automaticamente i comandi dbt in base a una pianificazione regolare. Volevamo renderlo più veloce, mantenendolo allo stesso prezzo per i nostri clienti. Ho esaminato la famiglia di processori AWS EC2 e ho scoperto che AWS Graviton offriva enormi miglioramenti di velocità allo stesso prezzo dei nostri attuali processori x86.”

Maximilian Mitchell, Software Engineer di Paradime, continua: “Era impossibile non passare ad AWS Graviton dopo aver fatto le nostre ricerche, perché i vantaggi sono davvero tanti. In alcuni casi, abbiamo accelerato le pipeline di dati dei nostri clienti su Bolt del 30-50%, con un tempo di attività superiore al 99,999%. Questo è essenziale per i nostri clienti che operano in servizi di importanza vitale come quello sanitario e bancario. Inoltre, cosa molto importante, possiamo eseguire lavori ad altissima frequenza per assicurarci che le pipeline di dati siano aggiornate, tanto da essere effettivamente in tempo reale!”.

“Possiamo, inoltre, aiutare i nostri clienti a eseguire non solo il dbt, ma anche altre operazioni come test sulla qualità dei dati e sulle anomalie dei dati, il che significa che possono inviare dati affidabili ai loro stakeholder”, aggiunge Max.

AWS Graviton è stato un vantaggio per Paradime e i suoi clienti

Paradime ha inoltre constatato che la migrazione ad AWS Graviton ha comportato un notevole risparmio sui costi, consentendo di offrire prestazioni superiori ai propri clienti senza aumentare i costi. “Prima di AWS Graviton, potevamo utilizzare ogni nodo al 50 o 60% circa. Ora possiamo utilizzare un livello molto più alto, circa l'85%, il che significa che dobbiamo attivare il 40% di nodi in meno. Ora otteniamo lo stesso livello di prestazioni utilizzando meno risorse, con conseguente riduzione dei costi”, spiega Max.

I vantaggi continuano: “Poiché possiamo eseguire i nostri cluster a un livello di utilizzo molto più elevato, riusciamo a gestire il 40% in più di clienti allo stesso costo di prima di AWS Graviton. Ora possiamo trasferire questo valore ai nostri clienti con prezzi davvero competitivi rispetto ai nostri concorrenti”, aggiunge Kaustav.

“In questo modo non dobbiamo costringere i clienti attuali a passare a livelli aziendali e possiamo aumentare l'acquisizione e l'adozione di nuovi clienti. Riusciamo, inoltre, a fornire un valore più elevato senza aumentare i prezzi, il che significa che i nostri investitori sono soddisfatti”, prosegue Kaustav.

Migrazione ad AWS Graviton secondo il metodo AWS

I membri de team Paradime hanno collaborato con AWS fin dal primo giorno, ma la qualità della loro esperienza li sorprende ancora. “Fin dal primo giorno abbiamo sempre avuto un account manager, anche se eravamo l'ultima ruota del carro. Abbiamo sempre ricevuto la stessa attenzione, indipendentemente dalle dimensioni della nostra azienda. Ad esempio, per la nostra migrazione a Graviton sono stati molto propositivi, assicurandosi che fossimo invitati ai loro eventi AWS Graviton breakfast”, racconta Max.

Continua: “Non sono un vero e proprio ingegnere DevOps, sono più un ingegnere back-end, ma ho avuto l'opportunità di incontrare esperti che mi hanno dato ottimi consigli su come implementare AWS Graviton, ad esempio per non disattivare completamente le build x86 e costruire invece per le due architetture, in modo da poter essere più flessibili al momento del rilascio. Questo a sua volta ci ha aiutato a distribuire i primi carichi di lavoro ARM entro una settimana e senza causare tempi di inattività.”

“Poiché le nostre applicazioni sono state originariamente sviluppate localmente su Apple MacBook ARM (serie M), questo ci ha permesso di compilarle per l'architettura ARM di AWS Graviton, in quanto già compatibili, e ci ha facilitato la migrazione a Graviton. Per un periodo di un mese abbiamo eseguito il passaggio dal vecchio al nuovo sistema, il che significa che non ci sono stati tempi di inattività per i nostri clienti e che non abbiamo dovuto apportare alcuna modifica al codice”, aggiunge Max.

Prestazioni 4 volte superiori: più produttività, maggiore agilità e decisioni più rapide

Le prestazioni quadruplicate ottenute grazie ad AWS Graviton sono un dato impressionante, ma quali sono i vantaggi per i clienti di Paradime, al di là della pura velocità? Kaustav spiega: “Questo si traduce direttamente in tre aspetti: il primo è la produttività, un'operazione che prima richiedeva quattro minuti ora ne richiede uno. Il numero due è l'agilità: i team possono svolgere un lavoro più prezioso con meno risorse e sono quindi in grado di rispondere più rapidamente ai cambiamenti aziendali. Il terzo è il processo decisionale: i team riescono a fornire informazioni aziendali agli utenti finali con maggiore tempestività, in modo da poter agire più rapidamente.”

Kaustav continua: “Ad esempio, uno dei nostri clienti riceveva da 60 a 80 fogli di calcolo da diverse unità aziendali e per inserire ogni foglio di calcolo ci volevano 20 minuti. Considerando anche il reporting delle performance finanziarie consolidate alla fine del mese, l'intero processo richiedeva circa una settimana. Con Paradime, il tutto richiede circa 20 minuti.”

Quali sono le prospettive per Paradime?

“La nostra visione per Paradime è quella di diventare noto a livello globale come il sistema operativo per l'analisi”, esclama Kaustav. “Così, quando le persone pensano all'analisi dei dati, pensano a Paradime, perché la configurazione non richiede alcuno sforzo e funziona semplicemente.”

Per raggiungere questo obiettivo, il team Paradime si concentra sul miglioramento di tutti gli aspetti del proprio servizio. Ad esempio, dopo la migrazione a AWS Graviton, ha migliorato il tasso di implementazione del 40-50% e ora può rilasciare aggiornamenti con maggiore frequenza. Ciò significa che può aggiungere funzionalità e rispondere alle richieste dei clienti fino a due o tre volte alla settimana, molto più rapidamente di prima.

“Sappiamo che AWS rilascia costantemente nuovi servizi e funzionalità e cerchiamo sempre di sfruttare i nuovi servizi AWS per fornire una piattaforma davvero semplice ai nostri clienti. Al momento disponiamo di un'architettura stabile, ma con AWS continuiamo a cercare prestazioni aggiuntive e ci supporta nel coinvolgere e vendere a diverse aziende, oltre che nello scalare il nostro processo in modo da poter lavorare con grandi aziende in tutto il mondo”, spiega Kaustav.

AWS supporta attivamente le aziende che desiderano migrare ad AWS Graviton, con strumenti come il Sistema di ottimizzazione del calcolo AWS e Graviton Fast Start, un programma per aiutare a spostare i carichi di lavoro su AWS Graviton. Scopri come iniziare il tuo percorso di migrazione ad AWS Graviton. Scopri come.