Создавайте комплексные конвейеры потоковой передачи одним щелчком мыши с помощью чертежей Управляемого сервиса Amazon для Apache Flink. Подробнее.
Управляемый сервис Amazon для Apache Flink позволяет преобразовывать и анализировать потоковые данные в реальном времени с помощью Apache Flink. Управляемый сервис Amazon для Apache Flink упрощает создание рабочих нагрузок Apache Flink и управление ими, а также позволяет с легкостью интегрировать приложения в другие сервисы AWS.
Разработка приложений потоковой передачи с помощью Apache Flink и Apache Beam
Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE
![Создать Java‑приложение Создать Java‑приложение](https://d1.awsstatic.com/amazon-managed-service-for-apache-flink/apache-flink-create-application.27f1aab3ca0784fe7716f21d76216c8f854d9fe2.png)
Сначала можно загрузить библиотеки с открытым исходным кодом, включая SDK AWS, Apache Flink и соединители для сервисов AWS.
Шаг 2. Разработка образца приложения с использованием Apache Flink или Apache Beam
В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.
Шаг 3. Загрузка кода в Управляемый сервис Amazon для Apache Flink
![Настроить Java‑приложение Настроить Java‑приложение](https://d1.awsstatic.com/products/kinesis/Analytics/kda-java-configure2.9bd765b846cb93fb98deaffe57c6c6d355ff9174.png)
После сборки загрузите код в Управляемый сервис Amazon для Apache Flink. Сервис обеспечивает все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование в зависимости от объема и скорости поступления входных данных.
Интуитивно понятное использование Управляемого сервиса Amazon для Студии Apache Flink
Шаг 1. Создание Управляемого сервиса Amazon для приложения Студия Apache Flink
![Создать Java‑приложение Создать Java‑приложение](https://d1.awsstatic.com/products/kinesis/Analytics/kinesis-data-analytics-studio-app-step-1.a6d61608f5b15cba722e7fea5f98151affd2169a.png)
Начать с Управляемого сервиса Amazon для Apache Flink, Amazon MSK или консоли потоков данных Amazon Kinesis. Использовать пользовательские соединители для подключения к любому другому источнику данных.
Шаг 2. Напишите код на SQL, Python и Scala в бессерверном блокноте и разработайте приложения Apache Flink
![Образец кода Java Образец кода Java](https://d1.awsstatic.com/products/kinesis/Analytics/kinesis-data-analytics-studio-app-step-2.8c9347080600a1315cd6bda7f9960e456e2fb378.png)
Запустите отдельные параграфы кода в блокноте, просматривайте результаты в контексте и используйте встроенную визуализацию Apache Zeppelin для ускорения разработки. Вы также можете использовать в своем коде пользовательские функции.
Шаг 3. Разработайте и разверните код как Управляемый сервис Amazon для потокового приложения Apache Flink
![Настроить Java‑приложение Настроить Java‑приложение](https://d1.awsstatic.com/products/kinesis/Analytics/kinesis-data-analytics-studio-app-step-3.445c88fa937e44ae94d547ae87339a90d5049174.png)
Всего за несколько шагов разверните свой код как непрерывно работающее приложение для обработки потока. Развернутое приложение будет представлять собой Управляемый сервис Amazon для приложения Apache Flink, обеспеченное надежностью и автомасштабированием. Вы также сможете перед запуском кода менять источники, назначения, ведение журнала и уровни наблюдения.
Онлайн-обучение
Самостоятельное обучение по созданию приложений Apache Flink на базе Управляемого сервиса Amazon для Apache Flink
На этом семинаре вы научитесь строить сквозную архитектуру потоковой передачи для получения, анализа и визуализации потоковых данных в режиме, близком к реальному времени. Вы приступите к оптимизации операционной деятельности парка службы такси в Нью-Йорке, анализируя телеметрические данные таксопарка в режиме, близком к реальному времени.
Решение AWS для потоковой передачи данных для Управляемого сервиса Amazon для Apache Flink
Используйте готовое решение для быстрого ознакомления с темой. С помощью решения AWS для потоковой передачи данных для Управляемого сервиса Amazon для Apache Flink можно разобраться с примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ истории посещений, постоянная доставка в озеро данных и другие.
Обнаружение событий с помощью Управляемого сервиса Amazon для Apache Flink и Studio
На этом семинаре вы создадите приложение для обработки потоковых данных, которое идентифицирует посетителей вашего казино, делающих крупные ставки, и отправляет вам электронное письмо, когда игроки с большими ставками садятся за игровой стол. Вы также определите столы, за которыми необходимо пополнить фишки, и определите потенциальных мошенников в своем казино по их схемам ставок и выигрышей.
Создание таблицы лидеров с помощью Управляемого сервиса Amazon для Apache Flink
В этом наборе из пяти видео вы создадите современную архитектуру потоковой передачи данных для составления рейтинга игроков в реальном времени с помощью Студии Управляемого сервиса Amazon для Apache Flink. Эта архитектура поддерживает прием данных, обогащение данных в реальном времени с помощью сбора данных об изменениях в базе данных (CDC), обработку данных, а также вычисление, хранение и визуализацию результатов.
Начать работу с Аналитикой данных Amazon Kinesis
![Read the documentation Read the documentation](https://d1.awsstatic.com/webteam/product-pages/Next-Steps-Icon_User-guide.24c016304c2e2b01024d8f0a103ba4f61c1e6fc9.png)
Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.
![Начать разработку в консоли Начать разработку в консоли](https://d1.awsstatic.com/webteam/product-pages/Product-Page_Standard-Icons_03_Start-Building_SqInk.6a1ef4429a6604cda9b0857084aa13e2ee4eebca.png)
Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.