Amazon Managed Service for Apache Flink Blueprints を使用して、ワンクリックでエンドツーエンドのストリーミングパイプラインを構築します。詳細はこちら。
Amazon Managed Service for Apache Flink では、Apache Flink を使用してストリーミングデータをリアルタイムで変換および分析できます。Amazon Managed Service for Apache Flink は、Apache Flink ワークロードの構築と管理を簡素化し、アプリケーションを他の AWS のサービスと統合することができます。
Apache Flink と Apache Beam でストリーミングアプリケーションを構築する
ステップ 1: オープンソースライブラリをお気に入りの IDE にダウンロードする
![Java アプリケーションを作成する Java アプリケーションを作成する](https://d1.awsstatic.com/amazon-managed-service-for-apache-flink/apache-flink-create-application.27f1aab3ca0784fe7716f21d76216c8f854d9fe2.png)
まず、AWS SDK、Apache Flink、AWS のサービス向けコネクタを含むオープンソースライブラリをダウンロードすることから始めます。
ステップ 2: Apache Flink または Apache Beam を使ってサンプルアプリケーションを構築する
データストリームとストリーム演算子を利用し、Apache Flink アプリケーションコードを記述します。アプリケーションデータストリームは、アプリケーションコードを利用した処理の実行対象となるデータ構造です。データはソースからアプリケーションデータストリームに継続的に流れます。1 つまたは複数のストリーム演算子を使用して、アプリケーションデータストリームに対する処理を定義します。
ステップ 3: Amazon Managed Service for Apache Flink にコードをアップロードする
![Java アプリケーションを設定する Java アプリケーションを設定する](https://d1.awsstatic.com/products/kinesis/Analytics/kda-java-configure2.9bd765b846cb93fb98deaffe57c6c6d355ff9174.png)
構築したら、Amazon Managed Service for Apache Flink にコードをアップロードします。このサービスでは、受信データの量やスループットに合わせて自動的にスケールするなど、リアルタイムアプリケーションを継続的に実行するために必要なことすべてを扱います。
Amazon Managed Service for Apache Flink Studio を直感的に使用する
ステップ 1: Amazon Managed Service for Apache Flink Studio アプリケーションを作成する
![Java アプリケーションを作成する Java アプリケーションを作成する](https://d1.awsstatic.com/products/kinesis/Analytics/kinesis-data-analytics-studio-app-step-1.a6d61608f5b15cba722e7fea5f98151affd2169a.png)
Amazon Managed Service for Apache Flink、Amazon MSK、または Amazon Kinesis Data Streams コンソールから開始します。他のデータソースに接続するには、カスタムコネクタを使います。
ステップ 2: サーバーレスノートブックに SQL、Python、Scala でコードを書き、Apache Flink アプリケーションを開発する
![Java サンプルコード Java サンプルコード](https://d1.awsstatic.com/products/kinesis/Analytics/kinesis-data-analytics-studio-app-step-2.8c9347080600a1315cd6bda7f9960e456e2fb378.png)
ノートブック内の個々の段落を実行したり、結果をコンテキストで表示したり、Apache Zeppelin に組み込まれた可視化機能を利用して、開発を加速できます。また、コードの中でユーザー定義関数を使用することもできます。
ステップ 3: Amazon Managed Service for Apache Flink ストリーミングアプリケーションとして構築してデプロイする
![Java アプリケーションを設定する Java アプリケーションを設定する](https://d1.awsstatic.com/products/kinesis/Analytics/kinesis-data-analytics-studio-app-step-3.445c88fa937e44ae94d547ae87339a90d5049174.png)
コードはわずか数ステップで継続的に実行される、ストリーム処理アプリケーションとしてデプロイします。デプロイされたアプリケーションは、Amazon Managed Service for Apache Flink アプリケーションとなり、耐久性のある状態を備え、自動スケーリングが行われます。また、コードをプロダクション化する前に、ソース、デスティネーション、ロギング、モニタリングのレベルを変更する機会もあります。
e ラーニング
Amazon Managed Service for Apache Flink で Apache Flink アプリケーションを構築するためのセルフペーストレーニング
このワークショップでは、ストリーミングデータをほぼリアルタイムで取り込み、分析し、可視化するためのエンドツーエンドのストリーミングアーキテクチャを構築します。タクシーフリートのテレメトリデータをほぼリアルタイムで分析して、ニューヨーク市のタクシー会社のフリートオペレーションを最適化します。
Amazon Managed Service for Apache Flink 向け AWS ストリーミングデータソリューション
あらかじめ構築されたソリューションを使用して、すぐに使用開始できます。Amazon Managed Service for Apache Flink 向け AWS ストリーミングデータソリューションでは、大量のアプリケーションログのキャプチャ、クリックストリームデータの分析、データレイクへの継続的な配信など、リアルタイムストリーミングのユースケースを解決できます。
Amazon Managed Service for Apache Flink および Studio によるイベント検出
このワークショップでは、ストリーム処理アプリケーションを作成して、カジノに入場し、大きな賭けをしているお客様を特定します。大口の消費者がギャンブルテーブルに座ると、アプリケーションが E メールを送信します。また、チップの補充が必要なテーブルを特定したり、賭けや勝ちパターンを通じてカジノでチーターになりそうな人を特定したりすることもできます。
Amazon Managed Service for Apache Flink を利用したリーダーボードの構築
この 5 部構成の学習シリーズでは、Amazon Managed Service for Apache Flink Studio を利用して、リアルタイムのゲームリーダーボード用の最新のデータストリーミングアーキテクチャを構築します。このアーキテクチャには、データインジェスト、データベース変更データキャプチャ (CDC) によるリアルタイムエンリッチメント、データ処理、および結果の計算、保存、視覚化が含まれます。