Amazon EMR が Managed Scaling のサポートを開始 – クラスターのサイズを自動的に変更してコストを削減

投稿日: Jul 8, 2020

Amazon EMR は Managed Scaling のサポートを開始しました。これは、スケーリングポリシーを指定する必要なしに、EMR クラスターのサイズを自動的に変更して、可能な限り低いコストで最高のパフォーマンスを実現するための新機能です。クラスターのコンピューティングリソースの最小値と最大値を設定することで、固定サイズのクラスターと比較して最大 60% のコストを削減できます。 

以前は、CloudWatch メトリクスに基づいてスケーリングルールをカスタマイズすることにより、手動でクラスターサイズをスケーリングしたり、EMR Automatic Scaling を利用したりできました。しかし、これらのアプローチでは、アプリケーションフレームワークとワークロードのパターンを深く理解する必要があります。EMR Automatic Scaling がサポートするのは、インスタンスグループのみです。EMR Managed Scaling は、インスタンスグループとインスタンスフリートの両方に適用されます。スポットインスタンス、オンデマンドインスタンス、および Savings Plan の一部であるインスタンスをすべて同じクラスター内でシームレスにスケーリングできます。 

Amazon EMR Managed Scaling は、Amazon EMR バージョン 5.30.1 以降の Apache Spark、Apache Hive、YARN ベースのワークロードで使用できます。この機能は、米国東部 (バージニア北部およびオハイオ)、米国西部 (オレゴンおよび北カリフォルニア)、南米 (サンパウロ)、欧州 (アイルランド、ロンドン、パリ、ストックホルム、フランクフルト)、カナダ (中部)、およびアジアパシフィック (シンガポール、シドニー、ムンバイ、東京、ソウル、および香港) の AWS リージョンで使用できます。

使用開始にあたり、役立つリソースをご紹介します。