Данные Amazon Firehose

Надежная загрузка потоков в реальном времени в озера и хранилища данных и аналитические службы

Простой захват, преобразование и загрузка потоковых данных. Создание потока доставки, выбор целевого объекта и организация потоковой передачи данных в режиме реального времени всего в несколько щелчков мышью.

Автоматическое распределение и масштабирование вычислений, объема памяти и сетевых ресурсов без постоянного администрирования.

Преобразование необработанных потоков данных в такие форматы, как Apache Parquet, и динамическое их разделение без создания собственных конвейеров обработки.

Как это работает

Сервис «Данные Amazon Firehose» предоставляет самый простой способ за считаные секунды получать, преобразовывать потоковые данные и доставлять их в озера данных, хранилища данных и аналитические сервисы. Чтобы использовать Данные Amazon Firehose, нужно настроить для потока источник, назначение и необходимые преобразования. Сервис «Данные Amazon Firehose» непрерывно обрабатывает поток, автоматически выполняет масштабирование с учетом объема получаемых данных и за несколько секунд доставляет данные в целевую систему.

Источник

Выберите для потока данных источник, например раздел в Amazon Managed Streaming for Kafka (MSK) или поток в Потоках данных Kinesis, или напрямую передайте данные с помощью API Firehose Direct PUT. Сервис «Данные Amazon Firehose» имеет встроенную интеграцию с более 20 сервисами AWS, поэтому вы можете легко настроить получение потока из Журналов Amazon CloudWatch, веб-журналов ACL AWS WAF, журналов Сетевого брандмауэра AWS, Amazon SNS, AWS IoT и других источников.

Преобразование данных (необязательно)

Укажите, нужно ли преобразовывать поток данных в другой формат (например, Parquet или ORC), распаковывать данные, выполнять произвольные преобразования данных с помощью вашей функции AWS Lambda или на основе значений атрибутов динамически распределять входные записи по нескольким целевым назначениям.

Пункт назначения

Выберите целевое назначение для потока, например хранилище Amazon S3, Сервис Amazon OpenSearch, Amazon Redshift, Splunk, Snowflake или произвольный целевой адрес в формате HTTP.

Дополнительные сведения о сервисе «Данные Amazon Firehose» см. в документации по Данным Amazon Firehose.

Схема с описанием настроек процесса доставки потоковых данных при помощи Данных Amazon Firehose. Описывается по ссылке «Увеличить и прочитать описание изображения».

Примеры использования

Поток данных в озера и хранилища данных

Потоковая передача данных в Amazon S3 и преобразование данных в необходимые форматы для анализа без создания конвейеров обработки.

Повышение безопасности

Мониторинг безопасности сети в режиме реального времени и создание предупреждений при возникновении потенциальных угроз с помощью поддерживаемых инструментов информации в сфере безопасности и управления событиями (SIEM).

Создание потоковых приложений ML

Обогатите свои потоки данных моделями машинного обучения (ML) для анализа данных и прогнозирования адресов вывода по мере продвижения потоков к месту назначения.