As integrações são uma forma fundamental de reduzir os custos operacionais, especialmente quando são incorporadas aos seus sistemas de dados. Por meio das principais integrações de dados entre o Amazon OpenSearch Service e outros serviços da AWS, você pode aproveitar os principais benefícios do OpenSearch Service em seus dados, onde quer que estejam armazenados, muitas vezes reduzindo os custos operacionais e a complexidade do gerenciamento de dados. Além disso, a ingestão de dados permite conversão, limpeza, mapeamento e carregamento eficientes de dados, de forma que os dados estejam disponíveis imediatamente após a consulta, sem sobrecarregar os sistemas de computação e rede do cluster.
Com o Amazon OpenSearch Service, você pode fazer tudo isso com facilidade, aproveitando a ingestão do Amazon OpenSearch e as integrações com vários serviços da AWS, incluindo Amazon Kinesis Data Firehose, Logstash, Amazon CloudWatch ou AWS IoT. E com integrações ETL zero, inclusive com o Amazon S3 e o DynamoDB, você pode fazer ainda mais. Essas integrações e conexões oferecem a flexibilidade de selecionar a ferramenta de integração e ingestão que atenda aos requisitos do seu caso de uso.
Ingestão de dados usando a ingestão do Amazon OpenSearch
Ingestão do Amazon OpenSearch é um recurso do Amazon OpenSearch Service para coletar, transformar e encaminhar dados para domínios do Amazon OpenSearch Service. A Ingestão do OpenSearch aumenta o custo-benefício e ajuda a garantir a qualidade dos dados. O Serviço de Ingestão do OpenSearch executa os pipelines do OpenSearch Data Prepper como um processo sem servidor que se adapta automaticamente às necessidades de processamento de suas workloads de ingestão. Saiba mais »
Integração ETL zero do Amazon OpenSearch Service com o Amazon S3
A integração ETL zero do Amazon OpenSearch Service com o Amazon S3 é uma nova forma de se conectar aos dados, permitindo que os clientes usem os recursos interativos abundantes do OpenSearch Service diretamente em dados consultados com pouca frequência armazenados em seu data lake do Amazon S3 com ETL zero. A conexão ETL zero com o S3 elimina a necessidade de clientes criarem ou gerenciarem pipelines ETL complexos, permitindo que realizem consultas essenciais para obter insights e visualizar dados de segurança e observabilidade, ao mesmo tempo em que reduzem os custos e a complexidade operacional da duplicação de dados ou do gerenciamento de várias ferramentas de análise. Saiba mais >>
Integração ETL zero com o DynamoDB
A integração ETL zero do Amazon OpenSearch Service com o Amazon DynamoDB permite que você use recursos avançados de pesquisa, como texto completo e pesquisa vetorial, em seus dados operacionais no Amazon DynamoDB. Essa integração ETL zero usa a ingestão do Amazon OpenSearch para sincronizar perfeitamente seus dados do Amazon DynamoDB com o Amazon OpenSearch Service, sem precisar escrever nenhum código personalizado. Essa integração ETL zero reduz a carga operacional e o custo envolvidos em manter os dados sincronizados entre esses dois armazenamentos, permitindo que você se concentre em suas aplicações. Saiba mais >>
Ingestão de dados usando o Amazon Kinesis Data Firehose
Com o Amazon Kinesis Firehose, você pode converter facilmente dados brutos de streaming das suas fontes de dados nos formatos exigidos pelo índice do Elasticsearch ou OpenSearch e carregá-los no Amazon OpenSearch Service, sem precisar criar seus próprios pipelines de processamento de dados.
Para usar esse recurso, basta selecionar uma função do AWS Lambda na guia de configuração do fluxo de entrega do Amazon Kinesis Firehose no Console de Gerenciamento da AWS. O Amazon Kinesis Firehose aplicará automaticamente a função do AWS Lambda a cada registro de dados de entrada e carregará os dados transformados no índice do Amazon OpenSearch Service.
O Amazon Kinesis Firehose oferece esquemas pré-compilados do Lambda que podem ser usados sem qualquer alteração ou personalizados para converter fontes de dados comuns, como logs do Apache e do sistema, nos formatos JSON e CSV. Você também poderá configurar o Amazon Kinesis Firehose para repetir automaticamente as tarefas com falha e fazer backup dos dados brutos de streaming. Saiba mais »
Ingestão de dados usando o Logstash
O Amazon OpenSearch Service aceita a integração com o Logstash, uma ferramenta de processamento de dados de código aberto que coleta dados de fontes, transformando-os e depois carregando-os no Elasticsearch ou OpenSearch. Você poderá facilmente implantar o Logstash no Amazon EC2 e configurar o domínio do Amazon OpenSearch Service como o armazenamento de backend para todos os logs provenientes da sua implantação do Logstash. O Logstash oferece suporte a uma biblioteca de filtros pré-construídos para executar facilmente transformações comuns, como análises de dados de log não estruturados em dados estruturados por meio da correspondência de padrões, renomeação, remoção, substituição e modificação de campos nos seus registros de dados, além de agregação de métricas. Saiba mais »
Consumo de dados usando o Amazon CloudWatch Logs
O Amazon CloudWatch Logs permite que você monitore e solucione problemas nos seus sistemas e aplicações usando os arquivos de logs personalizados, de aplicações e de sistemas atuais. É possível configurar um grupo de logs do CloudWatch Logs para fazer streaming de dados para o domínio do Amazon OpenSearch Service praticamente em tempo real por meio de uma assinatura do CloudWatch Logs. Essa integração será indicada se você já estiver usando o CloudWatch Logs para coletar dados de log e desejar compartilhá-los com seus usuários do Amazon OpenSearch Service. Saiba mais »
Consumo de dados usando o AWS IoT
O AWS IoT é uma plataforma gerenciada de nuvem que permite a interação fácil e segura de dispositivos com aplicativos de nuvem e outros dispositivos. Com o AWS IoT, você pode capturar dados de dispositivos conectados, como dispositivos de consumo, sensores integrados e decodificadores de TV. Usando o Console de Gerenciamento da AWS, você pode configurar o AWS IoT para carregar os dados diretamente no Amazon OpenSearch Service e fornecer aos clientes acesso praticamente em tempo real a dados e métricas do IoT. Saiba mais »
Como escolher o mecanismo certo de consumo de dados
A escolha do mecanismo certo de consumo de dados depende dos requisitos do seu caso de uso, como a latência e o tipo de dados. Para volumes de dados grandes, recomendamos o uso do Amazon Kinesis Data Firehose, que é totalmente gerenciado, tem ajuste automático de escala para corresponder à taxa de transferência dos seus dados e não exige administração contínua. Ele também pode transformar, compactar e separar os dados em lotes antes de os carregar no domínio do Amazon OpenSearch Service. Geralmente, a escolha também se resume aos serviços que você já está usando. Por exemplo, se você já estiver coletando logs de aplicações usando o Amazon CloudWatch Logs, poderá simplesmente carregar os dados no domínio do Amazon OpenSearch Service sem muitos esforços adicionais.
Próximas etapas
- Comece a usar o Amazon OpenSearch Service com o Nível gratuito da AWS »
- Consulte o Guia de conceitos básicos do Amazon OpenSearch Service »
O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.
Saiba mais sobre os preços do Amazon OpenSearch Service