Что такое аналитика журналов?
Приложения, серверы, облачные инфраструктуры, устройства для Интернета вещей и мобильные устройства, DevOps, архитектуры микросервисов – крупнейшие тенденции в бизнесе и ИТ, которые помогают нам улучшить работу и взаимодействие с пользователями как никогда раньше. Но эти тенденции также привели к взрывному росту генерируемых машинами данных, которые включают журналы и метрики, такие как транзакции пользователей, поведение клиентов, активность датчиков, поведение машин и угрозы безопасности. Эти данные сложны, но и наиболее ценны, поскольку содержат оперативную информацию для информационных технологий, безопасности и бизнеса.
Аналитика журналов заключается в поиске, анализе и визуализации машинных данных, сгенерированных вашими ИТ-системами и технологической инфраструктурой для получения ценной операционной информации. Традиционные инструменты анализа данных просто не предназначены для обработки насколько разнообразных и объемных машинных данных, которые быстро растут.
Почему аналитика журналов настолько важна?
Объем данных в журналах постоянно растет. Без комплексного решения с учетом затрат будет невозможно контролировать рост этих затрат. Объем данных, сгенерированных людьми и машинами, растет с немыслимой скоростью. Данные, генерируемые человеком, растут непрерывно, в 10 раз быстрее, чем растут бизнес-данные. Ожидается, что данные, генерируемые машинами, будут расти еще больше.
Как развивалась аналитика журналов?
С тех пор как мы начали использовать журналы записей, генерируемые компьютером, мы пытались проводить пакетный анализ этих записей. Эти записи создаются устройствами, приложениями, сетями (и другими источниками), а затем записываются в журналы по времени. Часто эти журналы документируются не полностью или формируются непоследовательно различными приложениями или устройствами, что обусловливает необходимость анализа журналов.
Куда будет двигаться рынок аналитики журналов?
Данные журналов редко исчезают – они просто хранятся и по-разному используются. По мере роста их объема нам становятся нужны все более сложные методы хранения данных и извлечения ценной информации. Для поиска шаблонов в этой растущей горе данных используется машинное обучение, но еще многое делается в помощь аналитике безопасности, обнаружению мошенничества, выявлению аномалий .
В чем преимущества аналитики журналов?
Аналитика журналов может дать ответы на важные вопросы операционной аналитики, например на приведенные ниже. Представьте, что вы получаете ответы на эти вопросы в режиме реального времени.
- Работает ли моя инфраструктура?
- Какова задержка и процент ошибок?
- Чем вызвана проблема приложения?
- Ведется ли подозрительная деятельность по аутентификации?
- К каким данным обращались с этого IP-адреса?
- Наблюдалось ли мошенничество?
- В каком контенте заинтересованы мои пользователи?
- Какие функции используются чаще или реже всего?
- Какие пользователи наиболее активны и почему?
Чтобы получить углубленное представление о преимуществах аналитики журналов, прочитайте эту публикацию Omdia.
Какие проблемы возникают при анализе журналов?
К числу основных проблем касательно инструментов анализа журналов относятся:
-
Разнообразие данных и их объемы быстро растут
- Обеспечение безопасности и снижение стоимости являются критически важными требованиями
- Результаты в режиме реального времени и прогнозирование нельзя легко добавить к старым архитектурам
Кто использует аналитику журналов?
Основными пользователями аналитики журналов являются инженеры DevOps, персонал по обеспечению надежности сайтов и архитекторы предприятий.
Для чего предназначена аналитика журналов?
Мониторинг приложений и инфраструктуры в режиме реального времени
Собирайте и централизуйте все журналы и метрики из разрозненных приложений и ИТ, чтобы получить углубленное представление о стеке приложений и инфраструктуры и гарантировать непрерывность работы. Вам необходимо индексировать данные, делая их доступными для анализа в режиме реального времени, что позволит визуализировать метрики производительности в режиме реального времени.
Анализ первопричин
Быстро обнаруживайте проблемы в своей среде (серверы, код), чтобы сократить среднее время идентификации (MTTI) и среднее время решения (MTTR). Благодаря инструментам визуализации вы получаете возможность поиска среди миллионов событий и корреляции приложений и инфраструктуры для быстрой диагностики первопричин проблемы, повышая отказоустойчивость.
Анализ истории посещений
Получите представление о производительности вашего интернет-контента и взаимодействии пользователей с вашими приложениями и веб-сайтами в режиме реального времени, в том числе о поведении пользователей, затраченном времени, популярном контенте и других показателях. Вы можете без усилий агрегировать и анализировать журналы истории посещений, чтобы лучше понимать своих клиентов.
Аналитика безопасности и управление событиями (SIEM)
Централизуйте и анализируйте события, генерируемые всей средой, в том числе приложениями, сетями и операционными системами, чтобы выявлять любые злонамеренные или подозрительные действия в своей сети. Вы можете индексировать данные сразу же после их сбора, что позволяет оперативно анализировать данные из нескольких источников и быстрее выявлять и предотвращать угрозы.
Как создать стратегию анализа журналов
Ваша стратегия анализа журналов должна охватывать вопросы приема, преобразования и обогащения данных, стратегии индексирования и чередования, планирования инфраструктуры и, наконец, жизненного цикла данных и их архивирования. Ниже приведены общие шаги, которые необходимо предпринять.
-
Во-первых, необходимо определить движение данных или их ввод. По сути, вы должны определить путь поступления.
-
Во-вторых, необходимо настроить преобразование данных строк журнала или строк. Аналитики журналов часто работают с JSON, что позволяет соответствующим образом преобразовывать данные и обогащать их при необходимости.
-
В-третьих, вы должны разработать стратегию индексирования и сегментирования. Правильное создание индексов очень важно.
-
В-четвертых, вам также необходимо выполнить планирование инфраструктуры, чтобы определить тип инстансов и их количество.
-
Наконец, чтобы контролировать размер журнала и стоимость, вам необходима целостная стратегия жизненного цикла данных и архивирования.
Где хранить данные журналов?
Сервис Amazon OpenSearch предоставляет различные уровни хранилища данных в журналах. Вы можете выбрать тот уровень хранилища, который соответствует требованиям к запросам (для «горячих», «холодных» данных и UltraWarm).
Какие продукты предлагает AWS для анализа журналов?
Простое развертывание и управление
Сервис Amazon OpenSearch упрощает настройку и развертывание кластера, устраняя сложности, связанные с задачами управления, такими как предоставление оборудования, установка программного обеспечения и устранение уязвимостей в нем, аварийное восстановление, резервное копирование и мониторинг, что позволяет вам сократить операционные издержки и уделять основное внимание главным бизнес-требованиям.
Масштабируемость и надежность
Благодаря хранению более 3 ПБ данных инстанса в одном домене Сервис Amazon OpenSearch дает возможность с легкостью добавлять и удалять инстансы без простоя. Кроме того, в сервис встроена функция шифрования данных при хранении и передаче, идентификация пользователей и поддержка VPC, что обеспечивает безопасность данных.
Простая интеграция с другими сервисами AWS
Сервис Amazon OpenSearch обеспечивает интеграцию с другими сервисами AWS, такими как Данные Amazon Kinesis Firehose, Управляемая потоковая передача для Kafka, IoT, журналы CloudWatch, KMS, Cognito и IAM, поэтому вы можете безопасно получать, анализировать и визуализировать данные из всех источников.
Сократите свои затраты
С Amazon OpenSearch Service вы платите только за то, что используете. Авансовые платежи и требования к уровню использования отсутствуют. Благодаря круглосуточному мониторингу и службе поддержки AWS вам больше не потребуется команда специалистов по Elasticsearch для выполнения масштабирования, обеспечения безопасности и мониторинга инфраструктуры. Это позволяет снизить совокупные эксплуатационные расходы.
Как работает аналитика журналов с AWS?
С AWS вы можете создавать различные решения для эффективной консолидации, мониторинга и анализа данных журналов. Эти решения предоставляют вам упорядоченное представление приложений, систем и журнальной информации AWS, что позволяет получать оперативную информацию в режиме реального времени.
Централизованное протоколирование с использованием сервиса Amazon OpenSearch
В сочетании с другими сервисами AWS это решение на базе сервиса Amazon OpenSearch предоставляет вам высокодоступную готовую среду для быстрой регистрации и последующего анализа вашей среды и приложений AWS. Начало работы с сервисом Amazon OpenSearch »
На схеме ниже представлена архитектура централизованного протоколирования. Чтобы узнать больше, ознакомьтесь с кратким описанием решения для централизованного протоколирования.
Мониторинг в режиме реального времени с помощью Amazon Kinesis
Используя Amazon Kinesis вместе с AWS CloudTrail и Amazon CloudWatch, вы можете получить бессерверное решение для мониторинга приложений в режиме реального времени. Начало работы с Amazon Kinesis »
Ниже представлена схема архитектуры мониторинга приложений в режиме реального времени. Чтобы узнать больше, следуйте этому практическому руководству.
Как клиенты реализуют анализ журналов?
Мониторинг приложений и инфраструктуры в режиме реального времени
Собирайте и централизуйте все журналы и метрики из разрозненных приложений и ИТ, чтобы получить углубленное представление о стеке приложений и инфраструктуры и гарантировать непрерывность работы. Сервис Amazon OpenSearch индексирует данные, предоставляет доступ к ним в режиме реального времени и позволяет визуализировать метрики производительности в режиме реального времени с помощью панелей управления Kibana.
Expedia Group, одна из ведущих туристических компаний мира, использует Сервис Amazon OpenSearch для мониторинга приложений. Сервис Amazon OpenSearch позволяет Expedia экономично осуществлять мониторинг колоссальных объемов данных журналов Docker, выявлять и устранять неполадки в режиме реального времени, без труда изменять масштаб для охвата дополнительных источников журналов и снижать эксплуатационные расходы. Подробнее »
Анализ первопричин
Быстро обнаруживайте проблемы в своей среде (серверы, код), чтобы сократить среднее время идентификации (MTTI) и среднее время решения (MTTR). Благодаря встроенному инструменту Kibana, Сервис Amazon OpenSearch дает вам возможность поиска среди миллионов событий и корреляции приложений и инфраструктуры для быстрой диагностики первопричин проблемы, повышая отказоустойчивость.
Autodesk, ведущий поставщик программного обеспечения для трехмерного дизайна и инженерного ПО, использует сервисы AWS, в том числе Сервис Amazon OpenSearch, Данные Amazon Kinesis Firehose и Аналитику данных Amazon Kinesis, чтобы создать экономичное унифицированное решение для ведения журналов, призванное ускорить поиск и устранение проблем в приложениях и улучшения взаимодействия с клиентами. Подробнее »
Анализ истории посещений
Получите представление о производительности вашего интернет-контента и взаимодействии пользователей с вашими приложениями и веб-сайтами в режиме реального времени, в том числе о поведении пользователей, затраченном времени, популярном контенте и других показателях. С помощью Сервиса Amazon OpenSearch и Данных Amazon Kinesis Firehose или Управляемой потоковой передачи Amazon для Kafka вы можете эффективно агрегировать и анализировать журналы истории посещений, чтобы лучше понимать своих клиентов.
Крупная медийная корпорация Hearst создала платформу анализа истории посещений, используя Amazon OpenSearch Service, Amazon Kinesis Streams и Amazon Kinesis Firehose для передачи и обработки 30 терабайт данных, поступающих ежедневно. Благодаря использованию этой платформы весь поток данных Hearst, от действий пользователей на сайте до агрегированных данных, становится доступен редакторам в течение считаных минут. Подробнее »
Аналитика безопасности и управление событиями (SIEM)
Централизуйте и анализируйте события, генерируемые всей средой, в том числе приложениями, сетями и операционными системами, чтобы выявлять любые злонамеренные или подозрительные действия в своей сети. Сервис Amazon OpenSearch приступает к индексации данных сразу же после их сбора, что позволяет оперативно анализировать данные из нескольких источников и быстрее выявлять и предотвращать угрозы.
Анализ журналов AWS: дальнейшие шаги
Ознакомьтесь с этими рекомендуемыми ресурсами.
- Начать работу с бесплатной пробной версией Сервиса Amazon OpenSearch
- Посетите семинар «Создание решения для анализа журналов»
- Также вы можете начать работу с Сервисом Amazon OpenSearch на уровне бесплатного пользования. До 750 часов в месяц на малых поисковых инстансах t2 и t3 на уровне бесплатного пользования AWS.
Следующие шаги на AWS
Получите мгновенный доступ к уровню бесплатного пользования AWS.
