Amazon EMR Serverless

クラスターやサーバーを管理することなく、オープンソースのフレームワークを使用してビッグデータアプリケーションを実行

EMR Serverless を使用すべき理由

Amazon EMR Serverless は Amazon EMR のサーバーレスオプションで、データアナリストやエンジニアが、クラスターやサーバーを設定、管理、スケールすることなく、オープンソースのビッグデータ分析フレームワークを簡単に実行できるようにします。エキスパートによるクラスターの計画および管理を必要とすることなく、Amazon EMR のすべての機能と利点を活用できます。

利点

アプリケーションのために実行するオープンソースフレームワーク (Apache Spark や Apache Hive など) を選択すると、基盤となるコンピューティングリソースとメモリリソースを EMR Serverless が自動的にプロビジョニングして管理します。
変化するデータ量と処理要件に合わせてリソースのサイズを数秒で変更する自動オンデマンドスケーリングにより、分析ワークロードをあらゆる規模で実行できます。
EMR Serverless は、リソースを自動的にスケールアップおよびスケールダウンして、アプリケーションに適切な量のキャパシティを提供します。お支払いは実際に使用した分のみのため、プロビジョニングの過剰または不足に関する懸念を最小限に抑えることができます。

仕組み

1

アプリケーションを作成

使用するオープンソースのフレームワークとバージョンを選択します。

2

ジョブを送信

API または EMR Studio を通じてアプリケーションにジョブを送信します。また、Apache Airflow や Amazon Managed Workflows for Apache Airflow などのワークフローオーケストレーションサービスを利用してジョブを送信することもできます。

3

ジョブをデバッグ

Spark UI や Tez UI などの使い慣れたオープンソースツールを使用して、ジョブをモニタリングおよびデバッグします。

ユースケース

ワークロードの需要が変化する中で、必要なコンピューティング能力とメモリの量を事前に設定しなくても、アプリケーションリソースをシームレスにスケールできます。
SLA に影響しやすいデータパイプラインには、アプリケーションリソースを事前に初期化し、秒単位での応答を有効にするオプションを選択します。
開発およびテスト環境を迅速かつ簡単に立ち上げ、予測できない使用状況に応じて自動的にスケールし、製品をより早く市場に投入できます。