Como a Paradime.io acelera o pipeline de dados para clientes em até 50% sem aumentar os custos usando o AWS Graviton

Na era digital, as equipes estão mais ágeis e colaborativas do que nunca. Os analistas de dados são essenciais em qualquer empresa. Eles são uma ponte vital, transformando grandes quantidades de dados comerciais brutos em painéis de dados relevantes e utilizáveis, viabilizando funções comerciais como marketing, vendas, produtos e atendimento ao cliente para garantir que a empresa funcione sem problemas, seja lucrativa e mantenha o crescimento.

Em 2018, os fundadores da Paradime, Kaustav Mitra e Fabio Di Leta, trabalharam em uma empresa de investimentos. Kaustav recebeu a tarefa de reformular a plataforma de dados do zero, pois a solução anterior da empresa não conseguia produzir os resultados necessários. Ao lidar com uma série de ferramentas diferentes necessárias para rearquitetar a plataforma, ele percebeu que a equipe de data analytics gastava muito tempo juntando dados de várias aplicações. Como resultado, acabavam sem recursos para realizar um trabalho de missão crítica e relevante.

Kaustav percebeu: “Devido à fragmentação na cadeia de ferramentas de data analytics, as pessoas enfrentam obstáculos o tempo todo apenas para realizar seu trabalho diário. Como podemos reunir pessoas e dados para que elas possam realizar seu trabalho com mais rapidez? Como podemos ter uma plataforma de trabalho íntegra para o pessoal de data analytics?”.

Kaustav já conhecia a AWS e se inspirou em nosso modelo desenvolvido com base no conhecimento de que a integração perfeita e a fácil colaboração são vitais para fazer as coisas, com mais rapidez e eficiência e menos estresse.

Kaustav explica: “A Paradime é nosso sistema operacional revolucionário para analistas de dados, que, como a AWS, reúne muitas ferramentas em um único lugar. Essa mentalidade semelhante é um dos principais motivos pelos quais a AWS foi a plataforma de nuvem preferida da Paradime desde o primeiro dia, especialmente quando combinada com o desempenho quatro vezes maior e a economia de custos dos processadores do AWS Graviton.”

Um conceito advindo de uma necessidade real

Com base nessa necessidade urgente, Kaustav e Fabio passaram 2020 conceituando sua ideia. Então, em 2021, durante a pandemia, uma Paradime pré-capital semente foi lançada com uma equipe de quatro pessoas, e a primeira linha de código foi escrita na AWS.

A filosofia da Paradime também estava alinhada à AWS. Para garantir que colocassem as necessidades dos analistas de dados em primeiro lugar, ela adotou uma abordagem de “trabalhar retroativamente com foco no cliente”, espelhando o mecanismo de “trabalho retroativo” da AWS, que começa não com a tecnologia, mas com a necessidade do cliente. Isso garante que ele esteja sempre no centro de qualquer novo produto ou serviço. Kaustav explica: “As ferramentas precisam se adaptar às necessidades e ao trabalho diário dos analistas de dados, em vez de os analistas de dados precisarem adaptar seu trabalho às ferramentas.”

Desde o início, a Paradime se esforçou para ser a inovadora mais rápida no mercado de data analytics, e isso significa ouvir e agir. “Se você ouvir seus clientes dia após dia, poderá impressioná-los muito mais rápido e aumentar a maturidade da plataforma a passos largos. Ajudamos as equipes de analistas de dados a realizar seu trabalho mais rápido do que qualquer outro software existente”, diz Kaustav.

O problema criado pelo rápido crescimento dos dados corporativos

A Paradime se descreve como a plataforma dbt™ com tecnologia de IA para equipes de analytics. Uma dbt(Data Build Tool, ferramenta de compilação de dados) é uma solução para o rápido crescimento dos dados nas empresas atuais.

Desde a década de 1970, o código SQL tem sido a linguagem de programação de data analytics, usado para fazer perguntas ao banco de dados para que ele possa dar aos analistas as respostas de que precisam. No entanto, com o rápido crescimento da quantidade de dados necessários para operar de forma competitiva, escrever, gerenciar mudanças e testar o SQL se tornou muito mais complexo e demorado. Desde 2016, o dbt tem sido a ferramenta preferida para ajudar a resolver esse problema, permitindo um código SQL escalável e auditável que seja fácil de criar, executar, testar e gerenciar ao longo do tempo à medida que a empresa evolui. No entanto, como a equipe da Paradime sabe, a dbt é apenas uma parte de uma ampla variedade de tarefas de analistas de dados.

A ponte entre armazenamentos de dados e insights de negócios

Os analistas de dados trabalham em várias equipes, seja com engenheiros de dados com conhecimento em software ou funções de negócios sem conhecimentos específicos de software, como marketing, vendas, produtos e atendimento ao cliente. Como resultado, eles precisam usar sistemas em todo o processo, do qual a dbt é uma parte vital, mas única. Kaustav diz: “O que eles precisam é de um espaço de trabalho que gerencie todas as suas responsabilidades de ponta a ponta em um só lugar, e a Paradime é esse espaço. Isso que a diferencia da concorrência que se especializa principalmente em dbt”.

Há muito mais que os analistas de dados precisam abordar. Por exemplo, a Paradime ajuda os líderes de dados a entender com que rapidez ou lentidão seus pipelines de dados estão funcionando, quanto dinheiro sua equipe está gastando e quanto tempo estão consumindo no trabalho diário. Kaustav explica: “Como a Paradime tem tudo isso ao seu alcance em um só lugar, as equipes de data analytics podem ser 50% a 83% mais produtivas do que usar um sistema fragmentado combinado com ferramentas prontas para uso ou desenvolvido internamente”.

A AWS é a força que impulsiona o desempenho da Paradime

Para analistas de dados, a velocidade é importante. As organizações dependem muito dos insights de dados. Como parte da sua premissa de tornar o trabalho dos analistas de dados menos estressante, a Paradime está sempre procurando maneiras de acelerar seus serviços e, ao mesmo tempo, manter os custos baixos. Foi quando recorreu aos processadores do AWS Graviton.

Kaustav explica: “A estrutura de orquestração Bolt e CI/CD da Paradime permite que os analistas de dados executem automaticamente comandos dbt em um cronograma tranquilo. Queríamos torná-la mais rápida e, ao mesmo tempo, mantê-la na mesma faixa de preço para nossos clientes. Eu estava analisando a família de processadores AWS EC2 e descobri que o AWS Graviton oferecia grandes melhorias de velocidade pela mesma faixa de preço dos nossos processadores x86 atuais.”

Maximilian Mitchell, engenheiro de software da Paradime, continua: “Foi fácil migrar para o AWS Graviton depois de fazermos nossa pesquisa, porque há muitas vantagens. Em alguns casos, aceleramos os canais de dados de nossos clientes na Bolt em 30% a 50%, com mais de 99,999% de tempo de atividade. Isso é básico para nossos clientes em serviços essenciais, como saúde e bancos. Também é muito importante que possamos executar trabalhos com uma frequência altíssima para garantir que os pipelines de dados estejam atualizados ou quase em tempo real.”

“Também podemos ajudar nossos clientes a executar não apenas a dbt, mas outras coisas, como testes de qualidade e de anomalias de dados, o que significa que eles podem entregar dados confiáveis às partes interessadas”, acrescenta Max.

O AWS Graviton tem sido uma vitória para a Paradime e seus clientes

A Paradime também descobriu que migrar para o AWS Graviton significou uma grande economia de custos, permitindo oferecer desempenho superior a seus clientes sem repassar custos maiores. “Antes do AWS Graviton, podíamos utilizar cada nó em cerca de 50% ou 60%. Agora, podemos utilizar até um nível muito mais alto, cerca de 85%, o que significa que só precisamos usar cerca de 40% menos nós. Obtemos o mesmo nível de desempenho usando menos recursos, resultando em custos mais baixos”, explica Max.

As vantagens continuam: “Como podemos executar nossos clusters com uma utilização muito maior, podemos integrar 40% mais clientes pelo mesmo custo de antes do AWS Graviton. Agora podemos repassar esse valor aos nossos clientes com preços realmente competitivos em comparação com nossos concorrentes”, acrescenta Kaustav.

“Isso significa que não precisamos forçar os clientes a entrarem em níveis corporativos, o que nos permite aumentar a aquisição e a adoção de clientes. Também podemos oferecer maior valor sem preços mais altos, o que significa que nossos investidores estão felizes”, explica.

Migrar para o AWS Graviton do jeito da AWS

A Paradime usa a AWS desde o seu primeiro dia, mas a qualidade de sua experiência ainda é surpreendente. “Desde o dia zero, sempre tivemos um gerente de contas, apesar de sermos o menor peixe da lagoa. Sempre recebemos a mesma atenção, independentemente do tamanho da nossa empresa. Por exemplo, em nossa migração para o Graviton, eles foram muito proativos, garantindo que recebêssemos um convite para seus eventos de café da manhã do AWS Graviton”, explica Max.

Ele continua: “Não sou exatamente um engenheiro de DevOps, pois trabalho mais com back-end, mas tive a oportunidade de conversar com especialistas que me deram conselhos brilhantes sobre como implantar o AWS Graviton, por exemplo, para não desativar completamente as compilações x86 e, em vez disso, compilar para as duas arquiteturas, para que pudéssemos ser mais flexíveis ao lançá-las. Por sua vez, isso nos ajudou a lançar as primeiras workloads ARM em uma semana e sem tempo de inatividade.”

“Como nossas aplicações foram originalmente desenvolvidas localmente em MacBooks ARM Apple (série M), pudemos compilá-las para a arquitetura ARM do AWS Graviton, pois já eram compatíveis. Isso facilitou a migração para o Graviton. Por um período de um mês, fizemos um cruzamento entre o sistema antigo e o novo, o que significa que não houve nenhum tempo de inatividade para nossos clientes e não precisamos fazer nenhuma alteração no código da nossa parte”, acrescenta Max.

Quatro vezes mais desempenho, permitindo mais produtividade, maior agilidade e decisões mais rápidas

O desempenho 4x com o AWS Graviton é uma estatística impressionante, mas como isso beneficia os clientes da Paradime além da pura velocidade? Kaustav explica: “Isso se traduz diretamente em três coisas; a primeira é a produtividade: algo que antes levava quatro minutos para ser feito, agora leva um minuto. A segunda é a agilidade, pois as equipes podem fazer um trabalho mais valioso com menos recursos e, portanto, são capazes de responder às mudanças nos negócios com mais rapidez. A terceira é a tomada de decisões: as equipes são capazes de fornecer insights de negócios aos usuários finais em tempo hábil, para que possam agir com mais rapidez.”

Kaustav continua: “Como exemplo, um de nossos clientes costumava receber de 60 a 80 planilhas de várias unidades de negócios diferentes, e cada planilha levava 20 minutos para ser ingerida. Além de relatar o desempenho financeiro consolidado no final do mês, todo esse processo levaria cerca de uma semana. Com a Paradime, tudo leva cerca de 20 minutos.”

O que vem por aí para a Paradime?

“Nossa visão para a Paradime é nos tornarmos mundialmente conhecidos como o sistema operacional de analytics”, exclama Kaustav. “Então, quando as pessoas pensarem em data analytics, pensarão na Paradime, porque a configuração não exige nenhum esforço e simplesmente funciona.”

Trabalhando para isso, a Paradime está focada em melhorar todos os aspectos de seu serviço. Por exemplo, depois de migrar para o AWS Graviton, melhorou sua taxa de implantação em 40% a 50%, para que agora possa lançar atualizações com mais frequência. Isso significa que ela pode adicionar recursos e responder às solicitações dos clientes até duas a três vezes por semana, muitas vezes mais rápido do que antigamente.

“Sabemos que a AWS está constantemente lançando novos serviços e recursos, e estamos sempre procurando aproveitar os novos serviços da AWS para oferecer uma plataforma realmente simples aos nossos clientes. No momento, temos uma arquitetura estável, mas com a AWS continuamos buscando esse desempenho extra, e ela nos ajuda a engajar e vender para diferentes empresas e a escalar nosso processo para que possamos trabalhar com grandes empresas em todo o mundo”, explica Kaustav.

A AWS apoia ativamente empresas que desejam migrar para o AWS Graviton, com ferramentas como o AWS Compute Optimizer e o Graviton Fast Start, um programa que ajuda a mover workloads para o AWS Graviton. Saiba como iniciar sua jornada de migração para o AWS Graviton. Descubra como.