Autodesk cria uma solução unificada de estudo analítico de logs na AWS para obter novos insights

Para melhorar seus recursos de análise de log para análise de causa raiz, a Autodesk pesquisou a criação de uma solução unificada de dados de log baseada em nuvem, aproveitando a Amazon Web Services (AWS). “Já estávamos usando os serviços da AWS para várias funções internas da Autodesk e queríamos expandir esse uso desenvolvendo um sistema de registro em log unificado”, conta Li.

O Amazon Data Firehose atua como a camada de transporte de dados para o registro de dados em log, e o Amazon Managed Service for Apache Flink é usado para descobrir métricas de monitoramento em tempo real, como tempo de resposta e picos de taxa de erro. Depois que os dados de registro em log passam por esse pipeline, eles são enviados ao Amazon CloudWatch para obtenção de métricas adicionais exibidas em painéis padronizados em toda a empresa. Essas métricas contêm um resumo geral do tráfego, incluindo tempo de resposta, erros e total de solicitações; métricas da API, como percentis de tempo de resposta, número de solicitações bem-sucedidas e número de solicitações com erro; CPU, rede e discos para cada CPU; e métricas do Amazon CloudWatch para serviços da AWS.

Ao mesmo tempo, o Amazon Data Firehose entrega dados de log ao Amazon OpenSearch Service, um serviço gerenciado que facilita operações interativas de análise de logs, monitoramento de aplicações em tempo real, busca em sites e muito mais. “[O Amazon OpenSearch Service] viabiliza a realização de atividades forenses de dados e ajuda a encontrar e corrigir problemas de aplicações com mais rapidez”, afirma Li. O Amazon Athena fornece consultas analíticas interativas mais detalhadas, e o AWS X-Ray fornece ferramentas para analisar dados de rastreamento. Além disso, a ferramenta de visualização de dados de código aberto Kibana (integrada ao Amazon OpenSearch Service) usa painéis para monitorar dados em tempo real.

A solução de logs unificada desenvolvida no Amazon OpenSearch Service oferece mais visibilidade dos logs de dados com mais rapidez. Segundo Li, o Amazon OpenSearch Service “permite um modo mais consistente de coletar e medir dados de log em tempo real”. “Esse serviço fornece uma análise aprofundada dos dados que permite melhores correlações entre os eventos de log, fornecendo respostas aos problemas de aplicações mais rapidamente.” Por exemplo, as equipes da Autodesk criaram painéis que identificam tendências e padrões de anomalias que podem ajudar no correlacionamento rápido com registros de log detalhados para análise forense minuciosa.

Especificamente, a Autodesk está permitindo uma análise forense aprimorada, usando dados de instrumentação para detectar e resolver erros e para melhorar o tempo médio geral de recuperação. A empresa pode detectar anomalias no uso da API, como picos da taxa de erro e do tempo de resposta. Os eventos de alerta do Amazon CloudWatch reduzem o tempo médio de detecção e o tempo para chamar as equipes de resposta a incidentes.

A empresa também procura obter insights mais profundos de seus dados analíticos para melhorar seu software e atendimento ao cliente. “Por fim, estamos melhorando nossos produtos de software e oferecendo um melhor serviço aos nossos clientes devido à visibilidade em tempo real que estamos obtendo dos dados de log”, afirma Li.

Ao trabalhar com a AWS, a Autodesk está desenvolvendo recursos de estudo analítico de log altamente escaláveis que reduzem o custo geral da solução.

Ao transferir o gerenciamento da sua arquitetura e dos clusters do Elasticsearch para a AWS, a Autodesk conseguiu criar facilmente sua solução unificada de registro em log. “Embora nossa equipe de TI tenha poucas pessoas, podemos desenvolver e manter uma poderosa solução de registro em log, permitindo que a AWS cuide da tecnologia”, afirma Li. “Como resultado, não precisamos mais colocar nossos recursos no gerenciamento da infraestrutura subjacente e podemos escalar a solução sob demanda para suportar o crescente volume de dados de registro em log.”

Agora, a Autodesk tem uma solução que fornece visualização dos dados de registro em log, como performance da aplicação e tempo de inatividade, em um painel único.

“Não temos mais silos de dados por causa de diferentes equipes que usam soluções de registro em log”, conta Li. “Todos podem acessar a mesma visualização com a solução da AWS, o que significa que todos recebem insights atualizados sobre o status geral da plataforma. E, usando os painéis do Kibana, desenvolvemos um vocabulário comum que todos podemos usar para diagnosticar problemas. No geral, como empresa, podemos adotar uma abordagem mais unificada para encontrar e corrigir problemas.”