Ingestão de dados usando a ingestão do Amazon OpenSearch

Ingestão do Amazon OpenSearch é um recurso do Amazon OpenSearch Service para coletar, transformar e encaminhar dados para domínios do Amazon OpenSearch Service. A Ingestão do OpenSearch aumenta o custo-benefício e ajuda a garantir a qualidade dos dados. O Serviço de Ingestão do OpenSearch executa os pipelines do OpenSearch Data Prepper como um processo sem servidor que se adapta automaticamente às necessidades de processamento de suas workloads de ingestão. Saiba mais »

Integração ETL zero do Amazon OpenSearch Service com o Amazon S3

A integração ETL zero do Amazon OpenSearch Service com o Amazon S3 é uma nova forma de se conectar aos dados, permitindo que os clientes usem os recursos interativos abundantes do OpenSearch Service diretamente em dados consultados com pouca frequência armazenados em seu data lake do Amazon S3 com ETL zero. A conexão ETL zero com o S3 elimina a necessidade de clientes criarem ou gerenciarem pipelines ETL complexos, permitindo que realizem consultas essenciais para obter insights e visualizar dados de segurança e observabilidade, ao mesmo tempo em que reduzem os custos e a complexidade operacional da duplicação de dados ou do gerenciamento de várias ferramentas de análise. Saiba mais >>

Integração ETL zero com o DynamoDB

A integração ETL zero do Amazon OpenSearch Service com o Amazon DynamoDB permite que você use recursos avançados de pesquisa, como texto completo e pesquisa vetorial, em seus dados operacionais no Amazon DynamoDB. Essa integração ETL zero usa a ingestão do Amazon OpenSearch para sincronizar perfeitamente seus dados do Amazon DynamoDB com o Amazon OpenSearch Service, sem precisar escrever nenhum código personalizado. Essa integração ETL zero reduz a carga operacional e o custo envolvidos em manter os dados sincronizados entre esses dois armazenamentos, permitindo que você se concentre em suas aplicações. Saiba mais >>

Ingestão de dados usando o Amazon Kinesis Data Firehose

Com o Amazon Kinesis Firehose, você pode converter facilmente dados brutos de streaming das suas fontes de dados nos formatos exigidos pelo índice do Elasticsearch ou OpenSearch e carregá-los no Amazon OpenSearch Service, sem precisar criar seus próprios pipelines de processamento de dados.

Para usar esse recurso, basta selecionar uma função do AWS Lambda na guia de configuração do fluxo de entrega do Amazon Kinesis Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Firehose aplicará automaticamente a função do AWS Lambda a cada registro de dados de entrada e carregará os dados transformados no índice do Amazon OpenSearch Service.

O Amazon Kinesis Firehose oferece esquemas pré-compilados do Lambda que podem ser usados sem qualquer alteração ou personalizados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você também poderá configurar o Amazon Kinesis Firehose para repetir automaticamente as tarefas com falha e fazer backup dos dados brutos de streaming. Saiba mais »

 

Ingestão de dados usando o Logstash

O Amazon OpenSearch Service aceita a integração com o Logstash, uma ferramenta de processamento de dados de código aberto que coleta dados de fontes, transformando-os e depois carregando-os no Elasticsearch ou OpenSearch. Você poderá facilmente implantar o Logstash no Amazon EC2 e configurar o domínio do Amazon OpenSearch Service como o armazenamento de backend para todos os logs provenientes da sua implantação do Logstash. O Logstash oferece suporte a uma biblioteca de filtros pré-construídos para executar facilmente transformações comuns, como análises de dados de log não estruturados em dados estruturados por meio da correspondência de padrões, renomeação, remoção, substituição e modificação de campos nos seus registros de dados, além de agregação de métricas. Saiba mais »

Consumo de dados usando o Amazon CloudWatch Logs

O Amazon CloudWatch Logs permite que você monitore e solucione problemas nos seus sistemas e aplicações usando os arquivos de logs personalizados, de aplicações e de sistemas atuais. É possível configurar um grupo de logs do CloudWatch Logs para fazer streaming de dados para o domínio do Amazon OpenSearch Service praticamente em tempo real por meio de uma assinatura do CloudWatch Logs. Essa integração será indicada se você já estiver usando o CloudWatch Logs para coletar dados de log e desejar compartilhá-los com seus usuários do Amazon OpenSearch Service. Saiba mais »

Consumo de dados usando o AWS IoT

O AWS IoT é uma plataforma gerenciada de nuvem que permite a interação fácil e segura de dispositivos com aplicativos de nuvem e outros dispositivos. Com o AWS IoT, você pode capturar dados de dispositivos conectados, como dispositivos de consumo, sensores integrados e decodificadores de TV. Usando o Console de Gerenciamento da AWS, você pode configurar o AWS IoT para carregar os dados diretamente no Amazon OpenSearch Service e fornecer aos clientes acesso praticamente em tempo real a dados e métricas do IoT. Saiba mais »

Como escolher o mecanismo certo de consumo de dados

A escolha do mecanismo certo de consumo de dados depende dos requisitos do seu caso de uso, como a latência e o tipo de dados. Para volumes de dados grandes, recomendamos o uso do Amazon Kinesis Data Firehose, que é totalmente gerenciado, tem ajuste automático de escala para corresponder à taxa de transferência dos seus dados e não exige administração contínua. Ele também pode transformar, compactar e separar os dados em lotes antes de os carregar no domínio do Amazon OpenSearch Service. Geralmente, a escolha também se resume aos serviços que você já está usando. Por exemplo, se você já estiver coletando logs de aplicações usando o Amazon CloudWatch Logs, poderá simplesmente carregar os dados no domínio do Amazon OpenSearch Service sem muitos esforços adicionais.

Próximas etapas

O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.

Saiba mais sobre os preços do Amazon OpenSearch Service

Acesse a página de preços