Visão geral
A solução de dados de transmissão para Amazon MSK permite capturar dados de transmissão usando o Amazon Managed Streaming for Apache Kafka (Amazon MSK), um serviço de armazenamento altamente escalável capaz de lidar com alto volume de dados de produtores de dados. Um produtor pode ser milhares de fontes de dados, cada uma gerando uma transmissão de dados continuamente e que, normalmente, enviam registros simultaneamente e em tamanhos pequenos (kilobytes).
Os dados de transmissão incluem uma ampla variedade de dados, como arquivos de log gerados por clientes usando aplicativos móveis ou da web, compras de e-commerce, atividade de jogador durante o jogo, informações de redes sociais, pregões financeiros ou serviços geoespaciais, como também telemetria de serviços conectados ou instrumentação em data centers.
Essa Solução AWS fornece quatro modelos do AWS CloudFormation onde os dados fluem por produtores, armazenamento de transmissão, consumidores e destinos. Semelhante à solução de dados de transmissão para o Amazon Kinesis, os modelos são configurados para aplicar práticas recomendadas a fim de proteger dados e monitorar funcionalidades usando painéis e alarmes.
Benefícios
Detalhes técnicos
Você pode implantar essa arquitetura automaticamente usando o Guia de Implementação e o modelo que acompanha o AWS CloudFormation.
-
Opção 1
-
Opção 2
-
Opção 3
-
Opção 4
-
Opção 1
-
Modelo do AWS CloudFormation usando o Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Clique para aumentarModelo do AWS CloudFormation usando o Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Opção 1: Modelo do AWS CloudFormation usando o Amazon MSK
Etapa 1
Esse modelo do AWS CloudFormation implanta um cluster Amazon Managed Streaming para Apache Kafka (MSK).
Etapa 2
Um grupo de usuários do Amazon Cognito é usado para controlar quem pode invocar os métodos da API REST.Etapa 1
Esse modelo do AWS CloudFormation implanta um cluster Amazon Managed Streaming para Apache Kafka (MSK).
Etapa 2
Um grupo de usuários do Amazon Cognito é usado para controlar quem pode invocar os métodos da API REST.Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 2
-
Modelo do AWS CloudFormation usando o Amazon MSK e o AWS Lambda
Clique para aumentarModelo do AWS CloudFormation usando o Amazon MSK e o AWS Lambda
Opção 2: Modelo do AWS CloudFormation usando o Amazon MSK e o AWS Lambda
Etapa 1
Este modelo do CloudFormation implanta uma função do AWS Lambda que processa registros em um tópico do Apache Kafka. A função padrão é uma aplicação Node.js que faz o log das mensagens recebidas, mas pode ser personalizada para atender as necessidades da sua empresa.
Etapa 1
Este modelo do CloudFormation implanta uma função do AWS Lambda que processa registros em um tópico do Apache Kafka. A função padrão é uma aplicação Node.js que faz o log das mensagens recebidas, mas pode ser personalizada para atender as necessidades da sua empresa.Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 3
-
Modelo do AWS CloudFormation usando o Amazon MSK, o AWS Lambda e o Amazon Kinesis Data Firehose
Clique para aumentarModelo do AWS CloudFormation usando o Amazon MSK, o AWS Lambda e o Amazon Kinesis Data Firehose
Opção 3: Modelo do AWS CloudFormation usando o Amazon MSK, o AWS Lambda e o Amazon Kinesis Data Firehose
Etapa 1
Uma função do Lambda que processa registros em um tópico do Apache Kafka.Etapa 2
Um fluxo de entrega do Amazon Kinesis Data Firehose que coloca os dados em buffer antes de enviá-los ao destino.Etapa 3
Um bucket do Amazon Simple Storage Service (Amazon S3) que armazena todos os eventos originais do cluster do Amazon MSK.Etapa 1
Uma função do Lambda que processa registros em um tópico do Apache Kafka.Etapa 2
Um fluxo de entrega do Amazon Kinesis Data Firehose que coloca os dados em buffer antes de enviá-los ao destino.Etapa 3
Um bucket do Amazon Simple Storage Service (Amazon S3) que armazena todos os eventos originais do cluster do Amazon MSK.Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS -
Opção 4
-
Modelo do AWS CloudFormation usando Amazon MSK, Amazon Managed Service for Apache Flink e Amazon S3
Clique para aumentarModelo do AWS CloudFormation usando Amazon MSK, Amazon Managed Service for Apache Flink e Amazon S3
Opção 4: Modelo do AWS CloudFormation usando Amazon MSK, Amazon Managed Service for Apache Flink e Amazon S3
Etapa 1
Um caderno do estudio do Amazon Managed Service for Apache Flink que lê eventos de um tópico existente em um cluster do Amazon MSK.Etapa 2
Um bucket do S3 armazena a saída.Etapa 1
Um caderno do estudio do Amazon Managed Service for Apache Flink que lê eventos de um tópico existente em um cluster do Amazon MSK.Etapa 2
Um bucket do S3 armazena a saída.Sobre esta implantaçãoData de publicação- Data de publicação
Opções de implantaçãoPronto para começar?Implante esta solução a partir do seu Console da AWS
Conteúdo relacionado
Esta publicação abrange padrões e soluções que podem ser usados para fazer backup de tópicos do MSK no S3, o que permite que clientes reduzam as configurações de retenção de dados de longo prazo no MSK. Alguns clientes armazenam dados de longo prazo no MSK para cargas de trabalho de análise de dados e machine learning. Nós compartilhamos um padrão para simplificar essa arquitetura descarregando dados de tópicos no S3 e usar o S3 para análise/ML.
Neste curso autoguiado, você aprenderá sobre o processo de planejamento de soluções de análise de dados e os vários processos de análise de dados envolvidos.