Возможности Amazon CloudWatch

Amazon CloudWatch позволяет собирать метрики инфраструктуры более чем из 70 сервисов AWS, таких как Amazon Elastic Compute Cloud (Amazon EC2), Amazon DynamoDB, Amazon Simple Storage Service (Amazon S3), Amazon ECS, AWS Lambda и Amazon API Gateway, без каких-либо действий со стороны пользователя. Например, инстансы Amazon EC2 автоматически публикуют метрики загрузки процессора, передачи данных и использования диска, что позволяет отслеживать изменения состояния. Можно использовать встроенные метрики API Gateway для обнаружения задержек или встроенные метрики AWS Lambda для обнаружения ошибок или ограничений. Аналогичным образом, Amazon CloudWatch также позволяет собирать метрики приложений (например, активность пользователя, ошибки или использование памяти) для мониторинга производительности, устранения неполадок и отслеживания тенденций. Можно использовать агент CloudWatch или вызов сервиса API PutMetricData для публикации этих метрик в CloudWatch. Если требуются более подробные метрики, чем стандартные метрики инфраструктуры, например метрики сегментов Amazon Kinesis Data Streams, то можно просто подключить их для каждого ресурса. Аналогичным образом предоставляются метрики приложений с частотой до одного раза в секунду, которые можно использовать для статистики, визуализации и создания предупреждений с высокой степенью детализации.

Сервис Container Insights упрощает сбор и агрегацию специально подобранных метрик и журналов системы контейнеров. Он собирает метрики производительности вычислений, среди которых информация об использовании процессора, памяти, сети и диска. Сервис производит сбор для каждого контейнера в виде событий производительности и автоматически генерирует пользовательские метрики, используемые для мониторинга и предупреждений. События производительности поступают в виде журналов CloudWatch Logs с метаданными о запущенном окружении, такими как идентификатор инстанса Amazon EC2, сервис, точка подключения и идентификатор тома Amazon Elastic Block Store (Amazon EBS). Это упрощает мониторинг и устранение неполадок. Пользовательские метрики CloudWatch автоматически извлекаются из этих журналов, после чего их можно анализировать с помощью языка расширенных запросов CloudWatch Logs Insights. Container Insights также позволяет собирать журналы приложений (stdout / stderr), пользовательские журналы, предопределенные журналы инстанса Amazon EC2, журналы плоскости данных Amazon EKS / k8s и журналы плоскости управления Amazon EKS. Для сбора журналов кластеров Amazon EKS и k8s можно использовать заранее настроенный агент FluentD. Подробнее см. в документации по настройке журналов Container Insights. Для сбора журналов приложений Amazon ECS можно использовать драйвер Журналов Amazon CloudWatch или Fluent Bit.

Потоки метрик Amazon CloudWatch позволяют создавать непрерывные потоки метрик в режиме, близком к реальному времени, в выбранное вами местоположение. Это упрощает отправку метрик CloudWatch популярным сторонним поставщикам сервисов с использованием HTTP-адреса Amazon Kinesis Data Firehose. Вы можете создать непрерывный масштабируемый поток, включив в него самые актуальные метрики CloudWatch для работы панелей управления, предупреждений и других инструментов, которые зависят от точных и своевременных метрик. Вы без проблем можете направить метрики в озеро данных на AWS, например на Amazon S3, и начать анализировать использование или производительность с помощью таких инструментов, как Amazon Athena.

В CloudWatch вы можете наблюдать за ресурсами в нескольких аккаунтах AWS. Во-первых, определите учетные записи с ресурсами, которые подлежат мониторингу, назначив их исходными учетными записями. Сервис CloudWatch начинает собирать метрики, журналы и трассировки ресурсов в исходном аккаунте, а также передает эти данные учетной записи мониторинга. Она является центральным аккаунтом AWS, который вы назначаете для просмотра наблюдаемых данных, полученных из исходных учетных записей, и взаимодействия с ними. Данные журналов и метрик собираются и передаются учетным записям мониторинга без дополнительной оплаты. Для данных трассировки сервис CloudWatch бесплатно доставляет первую копию трассировки первому аккаунту мониторинга. Если вы решите отправить копии трассировки в дополнительные учетные записи мониторинга для получения агрегированного представления данных по нескольким аккаунтам, с исходных учетных записей будет взиматься плата по стандартным ценам AWS X-Ray и Amazon CloudWatch. Копии трассировки можно отправлять из каждого исходного аккаунта максимум в пять учетных записей мониторинга

Панели управления Amazon CloudWatch позволяют создавать пригодные для многократного использования графики и обеспечивают единое представление данных для визуализации облачных ресурсов и приложений. Метрики и данные журналов можно отображать в графическом виде рядом друг с другом на одной панели управления, что позволяет быстро получить необходимые данные и выявить причину проблемы по результатам диагностики. Например, можно визуализировать ключевые метрики, такие как использование процессора и памяти, и сопоставить их с имеющимися ресурсами. Можно связать шаблон журнала с определенной метрикой и настроить предупреждения, чтобы выявлять проблемы с производительностью и операционные неполадки. Это дает общее представление о работоспособности системы и позволяет быстро устранять неполадки, что уменьшает MTTR.

С помощью составных предупреждений Amazon CloudWatch можно комбинировать множество оповещений и снижать уровень помех от них. Если возникшая проблема затрагивает несколько его ресурсов, вы получите одно предупреждение для всего приложения, а не по одному для каждого затронутого ресурса. Это поможет сосредоточиться на поиске первопричины операционных проблем и сократить время простоя приложения. Вы можете указывать общее состояние для группировки таких ресурсов, как приложение, регион AWS или зона доступности.

С помощью предупреждений Amazon CloudWatch можно установить для метрик пороговые значения, по достижении которых будут выполняться определенные действия. Можно создавать высокочастотные предупреждения, устанавливать процентильные пороги и настраивать выполнение какого-либо действия при необходимости. Например, можно создавать предупреждения на основе метрик Amazon EC2, настраивать уведомления и выполнять одно или несколько действий для обнаружения и отключения неиспользуемых или неэффективно используемых инстансов. Предупреждения в режиме реального времени на основе метрик и событий позволяют свести к минимуму время простоя и потенциальное влияние на бизнес.

Приложения и ресурсы инфраструктуры генерируют множество операционных данных и данных мониторинга в виде журналов и метрик. Amazon CloudWatch предоставляет единую платформу для доступа к этим наборам данных и их визуализации, а также позволяет без труда сопоставлять их. Это позволяет быстро выявить основную причину проблемы по результатам диагностики. Можно связать шаблон журнала, например ошибку, с конкретной метрикой и настроить предупреждения, чтобы выявлять проблемы с производительностью и операционные неполадки.

Amazon CloudWatch Application Insights производит автоматизированную настройку возможностей наблюдения для ваших корпоративных приложений, чтобы вы получали сведения об их работоспособности. Это позволяет определить и настроить основные метрики и журналы во всех ваших ресурсах приложения и технологических стеках, т. е. базах данных, веб-серверах (IIS) и серверах приложений, операционной системе, балансировщиках нагрузки и запросах. Сервис непрерывно отслеживает эти телеметрические данные для обнаружения и сопоставления аномалий и ошибок, уведомляя вас о проблемах, возникших в приложении. Чтобы устранять неполадки, он создает автоматизированные панели управления для обнаруженных проблем со связанными метрическими аномалиями и журналами ошибок, а также с дополнительной аналитической информацией об их возможной исходной причине. Это позволяет быстро корректировать работу приложений, обеспечивая их эффективность без влияния на конечных пользователей.

Lambda Insights предоставляет автоматические панели управления в консоли CloudWatch. Эти панели отображают производительность и ошибки вычислений. На каждой панели отображается список метрик за выбранный период времени, что позволяет (в зависимости от выбранного интервала и функции) перейти к более подробным журналам приложений, отслеживаниям AWS X‑Ray и событиям производительности.

Сервис Amazon CloudWatch Anomaly Detection применяет алгоритмы машинного обучения для непрерывного анализа данных метрики и обнаруживает аномалии. С его помощью можно создавать предупреждения, пороговые значения для которых автоматически изменяются в отношении шаблонов естественных метрик, например сезонных колебаний в зависимости от времени, дня недели или изменения тенденций. Кроме того, можно визуализировать метрики в виде полос обнаружения аномалий. Таким образом вы сможете отслеживать и выявлять неожиданные изменения в метриках и устранять их причины.

С помощью сервиса Amazon CloudWatch ServiceLens можно из единого центра визуализировать данные о работоспособности, производительности и доступности ваших приложений. Он работает совместно с метриками и журналами CloudWatch, а также с маршрутами из сервиса AWS X-Ray, позволяя вам получать полную картину своих приложений и их зависимостей. Вы можете быстро обнаруживать элементы, ухудшающие производительность, выявлять первопричины проблем, связанных с приложениями, и определять затронутых пользователей. С помощью сервиса CloudWatch ServiceLens можно получить полную картину ваших приложений в трех основных областях: мониторинг инфраструктуры (с использованием метрик и журналов, чтобы понимать, какие ресурсы используются для поддержки ваших приложений), мониторинг транзакций (использование маршрутов для понимания зависимостей между вашими ресурсами) и мониторинг конечных пользователей (использование программ-осведомителей для мониторинга адресов и уведомления вас в случае ухудшения условий работы для конечных пользователей). В сервисе CloudWatch ServiceLens имеется карта сервисов, на которой визуализированы контекстные связи между всеми вашими ресурсами, и интуитивно понятный интерфейс, благодаря чему вы можете еще глубже изучать сопоставленные данные мониторинга.

Сервис Amazon CloudWatch Synthetics упрощает мониторинг адресов приложений. Он круглосуточно и без выходных выполняет тестирование ваших адресов и оповещает вас, если их поведение отличается от ожидаемого. Эти тесты можно настроить для проверки доступности, задержек, транзакций, испорченных или неработоспособных ссылок, пошагового выполнения задач, ошибок загрузки страниц, задержек нагрузки для активов пользовательских интерфейсов, потоков сложных мастеров или потоков проверки в ваших приложениях. Вы также можете использовать сервис CloudWatch Synthetics, чтобы выявлять адреса приложений, для которых получены аварийные сигналы, и сопоставлять их с проблемами базовой инфраструктуры, что позволяет уменьшить MTTR. Благодаря этому новому компоненту сервис CloudWatch теперь собирает трафик программ-осведомителей, которые могут непрерывно проверять условия работы ваших клиентов, даже если их трафик не проходит через ваши приложения. Это позволяет обнаруживать проблемы до того, как их обнаружат ваши клиенты. Сервис CloudWatch Synthetics поддерживает мониторинг ваших REST API, URL-адресов и контента веб-сайтов, проверяет наличие неавторизованных изменений вследствие фишинга, инъекции кода или выполнения межсайтовых сценариев.

Amazon CloudWatch RUM предоставляет возможность контролировать производительность приложений на стороне клиента и снижает MTTR. Он позволяет собирать данные о производительности интернет-приложений на стороне клиента в режиме, близком к реальному времени, чтобы выявлять и диагностировать проблемы. CloudWatch RUM в сочетании с данными CloudWatch Synthetics предоставляет еще больше информации о взаимодействии с пользователем. Вы можете визуализировать аномальные показатели производительности и применять отладочные данные (сообщения об ошибках, трасссировки стеков, сеансы пользователей и так далее) для устранения проблем с производительностью (вызванных ошибками JavaScript, сбоями или задержками). Вы можете получить ценные сведения о разных аспектах влияния на пользователя, например количество подключенных пользователей, их географическое расположение и используемые браузеры. CloudWatch RUM агрегирует данные о пути пользователя в вашем приложении, которые помогут вам определить приоритеты при выпуске новых возможностей и исправлении ошибок.

Auto Scaling позволяет автоматизировать планирование ресурсов. Можно установить для ключевой метрики пороговое значение, по достижении которого будет отправляться предупреждение и автоматически выполняться действие Auto Scaling. Например, можно настроить рабочий процесс Auto Scaling для добавления или удаления инстансов EC2 на основании метрик загрузки ЦПУ и оптимизировать таким образом затраты на ресурсы.

Amazon CloudWatch позволяет до 15 месяцев хранить метрики для отслеживания тенденций и сезонности. Это дает возможность анализировать исторические данные для точной настройки использования ресурсов. Кроме того, CloudWatch позволяет получать метрики работоспособности с детализацией вплоть до одной секунды, включая пользовательские метрики из локальных приложений клиента. Точные данные, поступающие в режиме реального времени, повышают качество визуализации и дают возможность определять и отслеживать тенденции для оптимизации производительности приложений и работоспособности системы.

Amazon CloudWatch Metric Math позволяет выполнять расчеты с использованием нескольких метрик в целях анализа в режиме реального времени. Благодаря этому можно без труда получать аналитическую информацию на основании существующих метрик CloudWatch, чтобы лучше понимать состояние и производительность инфраструктуры. Полученные расчетные метрики можно визуализировать в Консоли управления AWS, добавлять их в панели управления CloudWatch или извлекать с помощью действия API GetMetricData. Metric Math поддерживает арифметические операции сложения, вычитания, деления и умножения, а также математические функции суммирования, поиска среднего арифметического, минимума, максимума и среднеквадратического отклонения.

Amazon CloudWatch Logs Insights позволяет извлекать полезную информацию из журналов для решения эксплуатационных проблем без необходимости выделения серверов или управления программным обеспечением. Можно немедленно начать написание запросов, содержащих совокупности, фильтры и регулярные выражения. Кроме того, можно визуализировать данные временных рядов, глубоко изучить отдельные события журнала и экспортировать результаты запросов на панели управления CloudWatch. Это предоставляет полный операционный контроль. Несколькими щелчками в Консоли управления AWS можно начать использовать Logs Insights для запросов ко всем журналам, отправляемым в CloudWatch. Вы платите только за выполненные запросы.

Amazon CloudWatch Logs Live Tail предоставляет клиентам возможность интерактивного глубокого изучения собранных журналов, чтобы они быстро начинали исследование и анализ данных в журналах Amazon CloudWatch. Live Tail позволяет клиентам просматривать все потоковые данные журналов с центральной консоли или интегрировать их в инструменты, которые они используют каждый день для развертывания, эксплуатации или расследований безопасности. С помощью Live Tail можно запускать запросы с глубоким погружением в контекст, поэтому клиенты могут легко перейти от использования представления Live Tail для обнаружения проблем к запросам Аналитики журналов Amazon CloudWatch для глубокого изучения и разрешения инцидентов. Live Tail дополняет существующие аналитические возможности CloudWatch, помогая клиентам сократить время обнаружения и разрешения инцидентов. Этот сервис устраняет зависимость от нескольких пользовательских и сторонних решений для специализированных сценариев использования журналов.

Аналитика контейнеров упрощает анализ наблюдаемых данных на основе метрик, журналов и отслеживаний, делая более удобным переход от автоматических панелей управления к подробным данным событий производительности, журналам приложений (stdout/stderr), пользовательским журналам, предопределенным журналам инстансов Amazon EC2, журналам плоскости данных Amazon EKS/k8s и журналам плоскости управления Amazon EKS c помощью языка расширенных запросов Аналитики журналов CloudWatch.

Сервис Lambda Insights упрощает анализ наблюдаемых данных на основе метрик, журналов и отслеживаний, делая более удобным переход от автоматических панелей управления к подробным данным событий производительности, журналам приложений и пользовательским журналам c помощью языка расширенных запросов CloudWatch Logs Insights.

Теперь сервис Amazon CloudWatch включает сервис Contributor Insights, который анализирует данные временных рядов и создает представления со сведениями об элементах, которые сильнее всего влияют на производительность системы. После настройки сервиса Contributor Insights он работает непрерывно, не требуя вмешательства пользователя. Благодаря этому разработчики и операторы могут быстрее выявлять, диагностировать и устранять проблемы во время эксплуатационных мероприятий. Сервис Contributor Insights помогает понять, кто или что (например, определенный ресурс, аккаунт клиента или вызов API) оказывает влияние на производительность вашей системы и приложений. Это позволяет обнаруживать выбросы, находить самые проблемные шаблоны трафика и ранжировать наиболее используемые системные процессы. Вы можете создавать правила Contributor Insights, чтобы оценивать шаблоны в структурированных событиях журналов по мере их поступления в сервис CloudWatch Logs, в том числе журналов из сервисов AWS, например сервисов AWS CloudTrail, Amazon Virtual Private Cloud (Amazon VPC), Amazon API Gateway и любых других пользовательских журналов, отправляемых вашим сервисом или локальными серверами, например журналов доступа Apache, а также журналов из других облаков. Сервис Contributor Insights оценивает эти события журналов в режиме почти реального времени и отображает отчеты, в которых показаны основные элементы, оказывающие влияние на систему, и количество уникальных элементов в наборе данных. Элемент, оказывающий влияние на систему, – это агрегированная метрика на основе измерений, содержащихся в полях журналов в сервисе CloudWatch Logs, например идентификатор аккаунта или интерфейса в сервисе VPC Flow Logs либо любой другой пользовательский набор измерений. Вы можете сортировать и фильтровать данные этих элементов на основе ваших собственных пользовательских критериев. Данные отчетов Contributor Insights можно отображать на панелях управления CloudWatch, строить на их основе графики рядом с метриками CloudWatch и добавлять их в аварийные сигналы CloudWatch.

Amazon CloudWatch Metrics Insights представляет собой быстрое и гибкое ядро выполнения запросов SQL, которое позволяет выявлять тенденции и шаблоны в изменениях миллионов операционных метрик в режиме, близком к реальному времени. Metrics Insights предоставляет более подробную информацию о производительности приложений и инфраструктуры в большом масштабе, поддерживая гибкие запросы и интерактивное агрегирование метрик. Запросы Metrics Insights позволяют создать мощные и наглядные визуализации, чтобы выполнять упреждающий мониторинг, быстро обнаруживать проблемы и снижать значение MTTR. 

Сервис Amazon CloudWatch интегрирован с Управлением идентификацией и доступом AWS (IAM), что позволяет контролировать доступ пользователей и ресурсов к данным, а также определять способ доступа к ним.

Кроме того, Amazon CloudWatch Logs соответствует требованиям PCI и FedRamp. Данные шифруются при хранении и передаче. Можно также шифровать группы журналов с помощью AWS Key Management Service (AWS KMS) для обеспечения дополнительной безопасности и соответствия требованиям.

Защита данных журналов Amazon CloudWatch Logs помогает настраивать политики защиты данных, с помощью которых можно обнаруживать и защищать конфиденциальные данные, записываемые системами и приложениями. Эта функция автоматически определяет и маскирует конфиденциальную информацию в журналах, используя машинное обучение и сопоставление шаблонов в соответствии с определенной вами политикой. Защита данных может помочь оптимизировать архитектуру, освободив приложения от логики защиты данных, и в то же время помогает выполнять поставленные цели. Вы можете настроить политики защиты данных для сканирования журналов по мере их заполнения, чтобы определять, насколько конфиденциальную информацию они содержат, и при обнаружении таковой маскировать ее. Маскированные данные могут также раскрываться для проверки, выполняемой инженерами по безопасности, посредством назначения высоких привилегий в IAM.