Discover acelera análise e tempo para insights com a AWS

2020

A Discover Financial Services oferece produtos bancários e de crédito para ajudar os clientes a atingir objetivos financeiros, obter um bom crédito, pagar matricula universitária e quitar dívidas. Para cumprir esse compromisso e se destacar em um setor ultracompetitivo, a empresa depende profundamente de dados e análise, tanto interna como externamente. “Temos muitos dados de clientes”, afirma Brandon Harris, diretor de tecnologia de ciência de dados da Discover Financial Services. “Precisamos usar esses dados como diferencial para oferecer uma experiência melhor aos clientes continuamente.”

Ao longo dos anos, surgiram práticas de análise individual nas equipes e unidades de negócios da Discover. No total, havia cerca de oito a dez conjuntos de ferramentas em 12 equipes. Cada prática necessitava de diferentes conjuntos de competências e ferramentas diversificadas. A equipe de liderança da Discover acreditava que aliar essas práticas e equipes poderia melhorar a análise e criar ferramentas consistentes por toda a organização.

A equipe de tecnologia da Discover costuma desenvolver novas soluções internamente, preferindo controlar as tecnologias do início ao fim e gerenciar seus próprios datacenters. Harris e sua equipe ficaram encarregados de criar uma plataforma centralizada que permitiria que os cientistas de dados da empresa trabalhassem juntos no mesmo ambiente: uma bancada de trabalho de ciência de dados interna chamada Air9.

Discover Financial Services cria ambientes em que cientistas de dados podem trabalhar em parceria
kr_quotemark

O Amazon EFS atendeu bem à demanda em termos de escalabilidade e custos e, graças a um excelente trabalho da comunidade Kubernetes, já havia recursos de classe de armazenamento em torno do serviço.”

Brandon Harris
Diretor de tecnologia de ciência de dados, Discover Financial Services

Desenvolver uma plataforma de ciência de dados nativa da nuvem

Um dos primeiros princípios de design que a equipe de Harris concordou em aplicar ao Air9 foi a força na diversidade. “Não apenas na diversidade das equipes e de suas experiências, mas também na variedade de metodologias e ferramentas”, diz Harris. “Não ofereceríamos uma metodologia única de ciência de dados para essa comunidade de análise consolidada.”

A equipe de Harris definiu que o Kubernetes era uma boa opção para hospedar o Air9, pois muitas das ferramentas de ciência de dados que a empresa já usava naturalmente serviam para conteinerização. Ter contêineres dedicados permitiria workloads isoladas e possibilitaria que os usuários instalassem pacotes personalizados e fizessem alterações em seus ambientes que seriam difíceis de gerenciar em um ambiente multilocatário. Como a Discover é cliente de longa data da Amazon Web Services (AWS) e usuária do Amazon Simple Storage Service (Amazon S3), a equipe também decidiu implantar instâncias do Amazon Elastic Compute Cloud (Amazon EC2). Com essa abordagem, 883 cientistas de dados de vários países agora podem escolher o tamanho, o tipo e a quantidade de instâncias do Amazon EC2 e fazer com que a aplicação monte automaticamente essa instância para seus conjuntos de dados.

Melhorar escalabilidade, armazenamento e custos com a AWS

Outro componente crítico do Air9 foi um recurso de armazenamento compartilhado com armazenamento de arquivos nativo da nuvem totalmente gerenciado. “Se você conta com todos esses diferentes ambientes em execução, deve haver uma forma em comum de salvar dados e trabalhar em conjunto”, afirma Harris.

Porém, o projeto encontrou um obstáculo quando a equipe da Discover começou a projetar a camada de armazenamento. “Nossas equipes de análise tinham alguns conjuntos de dados enormes em nosso data warehouse em nuvem, mas foi necessário planejar para que elas tivessem armazenamento local para realizar seu próprio trabalho, bem como um mecanismo para compartilhar dados entre equipes”, conta Harris. “Essa camada de armazenamento também precisava ser muito resiliente e oferecer suporte a um crescimento considerável ao longo do tempo.”

Harris e sua equipe decidiram utilizar uma solução de armazenamento distribuído de código aberto como a camada de armazenamento da plataforma de ciência de dados, mas a execução e o gerenciamento logo começaram a consumir muito tempo e dinheiro. “Quando percebemos que os custos mensais associados à execução de nossa plataforma de armazenamento excediam os custos de computação, ficou claro que algo de errado estava acontecendo”, diz Harris. “Por fim, o custo excedente foi atribuído ao fator de replicação para armazenamento distribuído, mas a compensação pela redução de custo (diminuir o fator de replicação) estava nos incomodando.”

Por causa do sucesso da equipe com o Amazon EC2 no lado da computação da plataforma, ela analisou os serviços gerenciados da AWS para armazenamento e escolheu implantar o Amazon Elastic File System (Amazon EFS). Segundo Harris, “o Amazon EFS atendeu bem à demanda em termos de escalabilidade e custos e, graças a um excelente trabalho da comunidade Kubernetes, já havia recursos de classe de armazenamento em torno do serviço.” A AWS também nos possibilitou usar diferentes ambientes para diferentes tipos de dados a fim de proteger melhor os dados mais sigilosos.”

Antes, cada equipe contava com um diretório inicial e um diretório de equipe. Ao aproveitar as vantagens do Amazon EFS, a empresa pode facilmente fornecer acesso compartilhado entre ferramentas de ciência de dados, projetos e conjuntos de dados, permitindo um trabalho em conjunto mais integrado. Com os recursos de arquivamento de dados de longo prazo, além dos baixos custos indiretos do Amazon S3, a Discover também conseguiu personalizar os processos de backup para obter uma segunda cópia dos dados disponível para segurança.

“Usamos o Amazon EFS como camada de colaboração, mas também temos um arquivo e uma camada histórica para diferentes conjuntos de dados ou para fins de gerenciamento de ciclo de vida”, afirma Harris. “Precisamos manter certos conjuntos de dados por um número de anos específico. O Amazon S3 e a classe de armazenamento do Amazon S3 Glacier ajudam a garantir que possamos armazenar, com um bom custo-benefício, todos os dados que nossos cientistas de dados estão criando e usando.”

Melhorar a colaboração e reduzir o tempo para insights

Atualmente, a Air9 aumenta a produtividade e a eficiência dos cientistas de dados da Discover, permitindo executar aplicações de análise em um local central na AWS, trabalhar em parceria em um ambiente de armazenamento compartilhado, utilizando fontes de dados estruturadas e não estruturadas, e processar e armazenar dados de diversas fontes. Isso permite que os cientistas de dados da Discover analisem os dados para obter insights de modo mais rápido e fácil.

A plataforma de dados anterior levava semanas para atualizar, principalmente por causa das restrições de armazenamento e da necessidade de redimensionar e aumentar os clusters de armazenamento antigos quando era necessário obter mais armazenamento. Como o Amazon EFS faz tudo isso nos bastidores, agora a equipe consegue atualizar a plataforma de dados em horas. A plataforma também permite o autoatendimento, ajudando a manter a produtividade dos cientistas de dados sem afetar a experiência dos colegas. “Com nosso ambiente on-premises anterior, não havia mecanismo para promover essas conversas e interações entre nossos cientistas de dados”, observa Harris.

Com a solução da AWS, Harris estima que sua equipe reduziu em 90% o tempo que gasta para gerenciar o armazenamento. Além disso, ao contar com a AWS para gerenciar o serviço e fornecer a capacidade de redundância, em vez de precisar arquitetar e desenvolver internamente, a Discover reduziu os custos em 50% a 60%.

Essas mudanças também ajudam a avançar os esforços gerais de transformação digital da Discover. “Levava semanas para que os usuários tivessem as ferramentas necessárias para fazer seu trabalho”, diz Harris. “Agora, conseguimos fazer isso em horas para que possam começar a coletar ideias e gerar valor para nossos clientes quase imediatamente.”

Para saber mais, acesse aws.amazon.com/efs.

Arquiteturas de referência

Arquiteturas de referência


Sobre a Discover Financial Services

A Discover Financial Services é uma empresa de serviços bancários e de pagamento digital. Fundada em 1985 e sediada no norte de Chicago, a missão da empresa é ajudar as pessoas a gastar de forma mais inteligente, a gerenciar melhor as dívidas e a economizar mais.

Benefícios da AWS

  • Reduz o tempo de gerenciamento de armazenamento em 90% e os custos em 50 a 60%
  • Escala a computação e o armazenamento sob demanda
  • O armazenamento compartilhado permite que os cientistas de dados trabalhem mais em parceria
  • Personaliza os processos de backup graças ao armazenamento ilimitado
  • Atualiza a plataforma de dados em horas em vez de semanas
  • Cientistas de dados podem se concentrar em insights em vez de tecnologia

Produtos da AWS utilizados

Amazon Elastic File System

O Amazon Elastic File System (Amazon EFS) fornece um sistema de arquivos NFS elástico, simples, escalável e totalmente gerenciado para uso com os serviços da Nuvem AWS e os recursos on-premises. Ele foi desenvolvido para escalar sob demanda até petabytes sem interromper as aplicações, aumentando e diminuindo automaticamente à medida que você adiciona e remove arquivos, o que elimina a necessidade de provisionar e gerenciar a capacidade com base no crescimento.

Saiba mais »

Amazon S3

O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que oferece escalabilidade líder do setor, disponibilidade de dados, segurança e desempenho.

Saiba mais »

Amazon S3 Glacier e S3 Glacier Deep Archive

O Amazon S3 Glacier e o S3 Glacier Deep Archive são classes de armazenamento em nuvem do Amazon S3 seguro, resiliente e de custo extremamente baixo para arquivamento de dados e backups em longo prazo.

Saiba mais »

Amazon EC2

O Amazon Elastic Compute Cloud (Amazon EC2) é um web service que disponibiliza capacidade computacional segura e redimensionável na nuvem. Ele foi projetado para facilitar a computação em nuvem na escala da web para os desenvolvedores. A interface de serviço da Web simples do Amazon EC2 permite obter e configurar a capacidade sem muito esforço.

Saiba mais »


Comece a usar

Organizações de todos os tamanhos em todos os setores estão se transformando e cumprindo as suas missões todos os dias usando a AWS. Entre em contato com nossos especialistas e inicie sua jornada na Nuvem AWS hoje mesmo.