Clientes do AWS Transfer Family

No domínio dos serviços financeiros, é um padrão de arquitetura comum encontrar servidores de arquivos de serviços compartilhados que atuam como servidor de arquivos SFTP ou servidor FTP. A DXC Technology abordou a migração desse tipo de servidor usando o AWS Transfer Family. Não é mais necessário instalar, corrigir e manter softwares e sistemas operacionais de transferência de arquivos uma vez que isso fica a cargo da AWS.

Os servidores SFTP permitem que os parceiros comerciais internos da Whole Foods acessem o armazenamento de dados, transfiram dados com segurança entre data centers on-premises e a nuvem (incluindo grandes cargas de dados) e se integrem perfeitamente aos nossos parceiros de SaaS, incluindo a Coupa, a Workday e a Adaptive. O AWS Transfer Family nos permitiu criar uma solução ampla para transferir nossos dados com segurança entre nossos ambientes on-premises e na nuvem com um serviço altamente disponível e escalável.

Um dos desafios da migração de dados para a AWS é a necessidade de usar as APIs da AWS, que talvez não sejam compatíveis de maneira nativa com uma aplicação, ou podem ser pouco conhecidas pela equipe de aplicações do que os protocolos tradicionais, como o SFTP. A AWS resolveu essa limitação com a introdução do serviço AWS Transfer Family. É um gateway SFTP, FTPS ou FTP para buckets S3 ou sistemas de arquivos EFS, totalmente gerenciado pela AWS e integrado ao serviço, especialmente em relação ao acesso, permissões ou segurança.

Nós usamos o SFTP como um método seguro para inserir e retirar dados de nossa infraestrutura de parceiros, provedores de dados, funcionários e clientes. Anteriormente, gerenciávamos servidores SFTP tradicionais em nosso ambiente on-premises, que era um sistema muito volumoso e complexo. Nossa configuração antiga de SFTP funcionou, mas não foi bem dimensionada, e o uso de soluções fragmentadas em toda a nossa organização gerou inconsistências, tornando o gerenciamento penoso e trabalhoso. Para enfrentar esses desafios, agora usamos o AWS Transfer Family na nuvem, fornecendo suporte simples, seguro, consistente e totalmente gerenciado para nossas transferências de arquivos para o flexível e econômico Amazon S3. O AWS Transfer Family elimina a sobrecarga de gerenciamento de infraestrutura, é extremamente rápido de implantar e usa nosso sistema de gerenciamento de identidade preferido (Okta), criando uma plataforma que consumimos, em vez de uma infraestrutura que precisamos gerenciar. Agora, podemos nos concentrar nos principais objetivos de negócios, como engenharia e analytics de dados posteriores, em vez de gerenciar servidores.

Com o AWS Transfer Family, aqui na Discover Financial Services, nós conseguimos eliminar os problemas intermitentes que enfrentávamos com soluções que estavam em vigor anteriormente tanto para entrada quanto para saída on-premises para a AWS. Agora podemos atender aos rígidos acordos de serviço (SLAs) exigidos por nossos usuários corporativos e atender às suas necessidades em maior escala, de maneira mais segura e eficiente. O serviço AWS Transfer Family se alinha muito bem com nossa meta de excelência operacional.

Antes de migrar para a nuvem, a implantação de um servidor SFTP levava semanas ou meses para ser criada e totalmente integrada aos nossos principais sistemas antes do seu compartilhamento com nossos parceiros. Embora agora tenhamos muitas aplicações nativas da nuvem, descobrimos que os recursos do AWS Transfer Family, especificamente o AWS Transfer for SFTP, são um meio útil e familiar de integração com parceiros existentes e novos para trocar dados financeiros e regulatórios de bancos e outras fontes. Como o AWS Transfer Family funciona em uma plataforma gerenciada, a maior parte do trabalho pesado fica por conta da AWS. O AWS Transfer Family vem pronto para consumo, é fácil de implantar e oferece inúmeras vantagens do ponto de vista operacional.

Na Elula, lidamos com volumes significativos de dados de instituições financeiras. A capacidade de mover grandes volumes de dados de forma rápida e segura entre organizações, às vezes algumas vezes ao dia, é fundamental para oferecer nosso serviço de viabilizar insights ricos e conversas personalizadas em grande escala. Como uma startup, nos concentramos nas coisas que oferecem aos nossos clientes o maior valor em um tempo acelerado: previsões de machine learning, IA explicável (XAI) e processamento subjacente de big data. Não queremos gerenciar data centers ou qualquer armazenamento no local, e é por isso que fazemos parceria com a AWS. Os serviços da AWS nos permitem fornecer um padrão de integração empresarial seguro e escalável de uma forma simples. O AWS Transfer for SFTP é simples de usar, confiável, totalmente gerenciado pela AWS e nos permite ativar servidores SFTP muito rapidamente. Há muito rigor quando se trata de trabalhar com instituições financeiras, e o AWS Transfer for SFTP nos dá a tranquilidade de saber que nossos ativos de dados são armazenados e criptografados com segurança usando o Amazon S3 e só podem ser acessados por pessoal autorizado.

Dependemos do Amazon S3 como uma área de preparação crítica na qual mantemos dados para processar o núcleo da nossa plataforma de dados. O AWS Transfer for SFTP nos ajudou a simplificar a segurança dos dados de sensores provenientes dos sites dispersos dos nossos clientes através da Rede Myriota de satélites para o Amazon S3.

A segurança de dados é de importância máxima para a OpenGamma e nossos clientes. O AWS Transfer for SFTP permite que nossos clientes façam upload de dados confidenciais de portfólio e atividades comerciais para nossos serviços hospedados, com criptografia específica do cliente em repouso diretamente no Amazon S3 usando criptografia do lado do servidor com chaves gerenciadas pelo KMS (SSE-KMS) e criptografia padrão para dados em trânsito. Antes da existência do AWS Transfer for SFTP, executávamos um servidor SFTP personalizado em um contêiner por cliente para atender aos nossos padrões de segmentação lógica de dados. Nossa solução SFTP personalizada era cara e lenta para configurar, e exigia recursos consistentes para o gerenciamento e manutenção do servidor. O AWS Transfer for SFTP fornece suporte totalmente gerenciado para transferências de arquivos, equipando-nos com ainda mais recursos e funcionalidades sem a sobrecarga operacional, ao mesmo tempo em que aproveita a segurança integrada da AWS.

Recebemos grandes quantidades de dados de uma ampla variedade de feeds e fontes devido ao grande volume de pesquisas quantitativas que examinamos. A ingestão de dados em nosso data center se mostrou um desafio devido à dependência de outras equipes internas quando havia a necessidade de modificar frequentemente as regras de firewall para controlar o aumento da exposição na Internet. O AWS Transfer for SFTP fornece traduções de arquivos para objetos em tempo real, o que nos permite criar uma arquitetura flexível, sem a necessidade de manter os dados localmente em disco, o que leva à economia de custos e à melhoria da eficiência geral da nossa empresa. O AWS Transfer for SFTP nos permite colocar dados valiosos no Amazon S3 para que possamos então usar esses dados para criar algoritmos que ajudem a prever o futuro analisando dados anteriores. Em apenas alguns meses, transferimos mais de 400 TB de dados usando o AWS Transfer for SFTP, que foi usado com o Amazon EMR, o AWS Glue e o AWS Batch para processar e analisar os dados e extrair insights comerciais ainda mais impactantes.

Como organização, a FINRA adotou o Amazon S3 como nosso data lake para nos ajudar a eliminar os silos de armazenamento, manter uma fonte de dados confiáveis e reduzir nossos custos de gerenciamento de infraestrutura. No entanto, foi um pouco difícil gerenciar a infraestrutura de SFTP para mais de 1.000 usuários externos e fazer seis milhões de transferências de arquivos por mês. Nossa solução foi criar nossa nova plataforma do FileX na AWS e usar o novo serviço AWS Transfer for SFTP. O AWS Transfer for SFTP está nos ajudando a reduzir nossa carga operacional, mantendo o S3 como nosso data lake, enquanto mantemos a conexão essencial com nossos sistemas de autenticação existentes para usuários externos, para que não sofram interrupções ao concluirmos a migração dos serviços SFTP para a AWS.

Trabalhar com nossos parceiros externos é fundamental para nossas iniciativas de pesquisa, e precisamos fazer o intercâmbio de dados de uma maneira controlada e segura, que não possibilite o acesso desses terceiros aos nossos sistemas críticos. Ao mesmo tempo, o Amazon S3 é o centro do nosso universo para dados de pesquisa. Não queremos comprar e gerenciar pilhas de armazenamento separadas para fazer o intercâmbio de conjuntos de dados selecionados com os parceiros. É por isso que o AWS Transfer for SFTP foi uma vitória instantânea para a Celgene. Podemos fazer o intercâmbio seguro dos dados com o AWS SFTP, disponibilizá-los em tempo real em nosso bucket confinado do Amazon S3 e gerenciar facilmente nossos usuários externos. O AWS SFTP já nos salvou — um novo projeto de colaboração surgiu em curto prazo, e não tínhamos nenhuma infraestrutura de armazenamento local em escala de petabytes ou de SFTP que pudesse lidar com esse tipo de volume. Erguemos nosso endpoint SFTP usando o serviço em poucos minutos, anexamos ele ao nosso bucket, provisionamos usuários e entramos nos negócios em menos de uma hora. Essa velocidade e flexibilidade simplesmente não são possíveis em um mundo presencial tradicional.

Recebemos arquivos de mídia grandes para os uploads do site atingem o tempo limite muito rapidamente. O serviço AWS Transfer for SFTP funcionou muito bem para nós nesse caso. Arquivos grandes, como vídeos de música ou episódios de séries de TV transferidos através de uma conexão SFTP, são seguros e eficientes. Uma vez carregados em nosso bucket do S3, além de entregá-los aos nossos parceiros como agregadores na cadeia de mídia, armazenamos esses arquivos por longos períodos de tempo em diferentes classes de armazenamento do Amazon S3.

Nossos engenheiros conseguiram implementar uma estrutura de analytics de uso do cliente quase em tempo real em uma semana. Esse período de tempo é profundo, considerando que a ingestão de registros de detalhes de chamadas móveis vem em tamanhos e frequências variáveis, de 3 MB a 20 MB a cada 1 a 10 segundos ao longo do dia. O AWS SFTP se expande perfeitamente e torna os arquivos disponíveis como objetos do S3, o que é perfeito para nossas necessidades. Isso permitiu a ingestão de dados orientada por eventos em nosso Data Lake. Com a integração imediata com o S3, o IAM e o KMS e disponível como um serviço totalmente gerenciado, ele se alinhou imediatamente à nossa política operacional e de segurança. O AWS SFTP é extremamente conveniente para ingestão quase em tempo real de arquivos e agora é o recurso de ingestão estratégico da nossa arquitetura de dados moderna.

Desde a configuração até a operação, o AWS Transfer for SFTP oferece uma solução fácil e confiável para o intercâmbio de dados com nossos parceiros.

Antes que o serviço AWS SFTP estivesse disponível, gerenciamos uma solução de SFTP baseada em nuvem para nossas necessidades e tivemos muitos problemas. Existem projetos de software livre para montagem do Amazon S3 no Amazon EC2, mas gerenciar esses projetos e obter bom desempenho com eles não foi fácil. Além disso, houve problemas de expansão quando precisamos de mais recursos. Depois que a AWS anunciou o serviço AWS Tranfser for SFTP totalmente gerenciado, começamos a usá-lo diretamente. Mudamos nossa configuração DIY para o AWS Transfer for SFTP e não precisamos mais monitorar a expansão ou o gerenciamento de projetos de software livre. Também em termos de custo, não precisamos pagar por recursos não utilizados.

Nosso estúdio de TV usa um codificador ao vivo on-premises, que não tem integração com os serviços de mídia da AWS. Determinamos que nosso codificador pode enviar e excluir os arquivos codificados usando FTP, então inicialmente criamos uma configuração de FTP autogerenciada para atender a essa necessidade. Incorremos em custos muito altos para criar e implantar essa solução autogerenciada e enfrentamos muitas dificuldades de escalabilidade e conectividade entre nosso estúdio e o FTP, o que resultou em alguns problemas na nossa transmissão ao vivo e, consequentemente, em uma experiência negativa para o cliente. Após o anúncio do suporte do AWS Transfer Family para FTP, mudamos rapidamente nossa configuração para adotar esse serviço totalmente gerenciado da AWS. Colocamos uma carga intensa no serviço para transmitir vários canais de transmissão ao vivo, mas desde que mudamos para usar o AWS Transfer Family, deixamos de ter os problemas de conectividade anteriores, nossa transmissão ao vivo passou a funcionar muito bem e nossa experiência com o cliente melhorou muito. O AWS Transfer Family é um serviço extremamente estável e confiável que economiza muito tempo e dinheiro, ao mesmo tempo em que moderniza nossos fluxos de trabalho de transferência de arquivos.

Transferimos nossas workloads de EDI para a AWS porque o AWS Transfer Family expandiu sua linha de produtos para incluir o AS2, já que o AS2 continua sendo o padrão dominante para o EDI. No ano passado, começamos a última geração do nosso produto, o RapidMap, e fizemos uma análise do setor para determinar como deveríamos abordar as integrações. Íamos criar nosso próprio serviço AS2, mas descobrimos os recursos AS2 totalmente gerenciados e nativos da nuvem do Transfer Family. Em vez disso, o AS2 do Transfer Family permitiu que nos concentrássemos em desenvolver a solução RapidMap, reduzindo drasticamente o mapeamento, os testes e a conectividade para que os negócios fluíssem em uma cadeia de suprimentos de logística. Mudamos nossos recursos para criar ferramentas de autoatendimento para usuários corporativos, permitindo que eles realizem operações técnicas antes limitadas aos desenvolvedores, porque o Transfer Family nos permitiu reduzir os prazos de integração de meses para semanas.

Como uma consultoria de serviços profissionais orientada por tecnologia que opera em todo o setor de cadeia de suprimentos e logística, enfrentamos novos desafios diariamente. Contudo, esse não deve ser o caso de empresas que trocam dados com seus parceiros de negócios. Agora que os clientes buscam uma solução confiável, totalmente hospedada e gerenciada operando em uma nuvem segura e privada, escolhemos o AWS Transfer Family para fornecer a eles uma solução completa e gerenciada para transferências de arquivos SFTP e trocas de mensagens AS2. O Transfer Family fornece recursos seguros e confiáveis de transferência de arquivos gerenciada, necessários para atendermos às necessidades de integração de dados em constante mudança de nossos clientes. Ao adotar o AWS Transfer Family, conseguimos oferecer aos nossos clientes uma economia de, em média, 15% nos custos de configuração, e reduzir nosso tempo de teste de integração em, em média, 20%. Ao mesmo tempo, os ajudamos a obter uma visibilidade de ponta a ponta da cadeia de suprimentos.

A Redpack é uma provedora internacional de logística que oferece serviços globais de envios e soluções de entrega de última milha em toda a América Latina. Usamos os recursos AS2 do AWS Transfer Family para enviar avisos e confirmações de envio ao entregar pacotes. Também usamos a solução AS2 do Transfer para trocar faturas digitais e documentos de cobrança com nossa rede global de parceiros de serviços de entrega. Os recursos do Transfer Family seguem as diretrizes de parceiros de atendimento da Amazon e nos fornecem formas de comunicação entre empresas fundamentais para que possamos entregar mais de 95% dos pacotes dentro do prazo em 24 horas.

Nossa empresa global de SaaS depende do SFTP para transferência segura de dados em nossas aplicações e infraestrutura globais. Para melhorar a acessibilidade de nossos parceiros, estamos adotando as aplicações Web do AWS Transfer Family, que fornecem um portal Web seguro e fácil de usar com métodos de autenticação modernos, como a MFA. Ao usar o SFTP e as aplicações Web do Transfer Family, podemos agilizar os processos de transferência de dados e melhorar a eficiência, permitindo que nos concentremos melhor na entrega de valor aos nossos clientes.

A ScaleCapacity nos ajudou a criar um ambiente de SFTP sem servidor na AWS significativamente mais barato do que o que tínhamos antes. Isso está nos custando algumas centenas de dólares por mês, enquanto outras soluções gerenciadas poderiam facilmente ter nos custado até USD 100.000 por ano.