Цены на Amazon EMR

Эта цена действительна для приложений Amazon EMR, работающих в кластерах Amazon EMR с инстансами Amazon EC2.

Стоимость использования Amazon EMR начисляется в дополнение к стоимости Amazon EC2 (стоимости базовых серверов) и стоимости Amazon Elastic Block Store (Amazon EBS) (при подключении томов Amazon EBS). Эти сервисы также оплачиваются на посекундной основе, минимальный уровень оплаты составляет одну минуту. EC2 предлагает на выбор различные варианты оплаты ресурсов, включая инстансы по требованию (см. ниже), зарезервированные инстансы на один год и три года, Savings Plans для ресурсов и спотовые инстансы. Спотовые инстансы – это свободные ресурсы EC2, доступные со скидкой до 90 % по сравнению с ценами на инстансы по требованию. Сравнить цены на спотовые инстансы с ценами на инстансы по требованию можно, выбрав фильтр по типам, поддерживаемым EMR, на странице Spot Instance Advisor.

Эта цена действительна для Amazon EMR в кластерах Amazon EKS.

Цена Amazon EMR добавляется к цене Amazon EKS или других услуг, используемых в EKS. Вы можете запускать EKS в AWS на базе EC2 или AWS Fargate. Если вы используете EC2 (в том числе с группами узлов, управляемыми через EKS), оплате подлежат ресурсы AWS (например, инстансы Amazon EC2 или тома EBS), которые создаются для запуска рабочих узлов Kubernetes. Подробнее о ценах см. на странице цен на EC2. Если вы используете AWS Fargate, цены рассчитываются по количеству виртуальных ЦПУ и ресурсов памяти, использованных с начала загрузки образа контейнера до прекращения выполнения пода EKS, с округлением до ближайшей секунды. Предусмотрен минимальный обязательный платеж за одну минуту использования. Подробнее о ценах см. на странице цен на AWS Fargate.

Цены на Amazon EMR для Amazon EKS рассчитываются по количеству виртуальных ЦПУ и ресурсов памяти, использованных с начала загрузки образа приложения EMR до завершения EKS Pod с округлением до ближайшей секунды. Цены зависят от количества виртуальных ЦПУ и ресурсов памяти, запрошенных для задания или пода.

Цены на Amazon EMR для AWS Outposts совпадают с ценами на облачные инстансы EMR. Сведения о ценах на AWS Outposts есть на странице цен на AWS Outposts.

Авансовые платежи за EMR Serverless отсутствуют, и вы платите только за те ресурсы, которые используете. Стоимость рассчитывается по количеству виртуальных ЦПУ, памяти и ресурсов хранилища, использованных приложениями.

С помощью EMR Serverless вы можете создать приложение с использованием версии платформы с открытым исходным кодом и затем отправить задания в приложение. В рамках описания задания вы можете предоставить минимальное и максимальное количество работников, которые будут пользоваться ресурсами одновременно, а также указать виртуальные ЦПУ, память и хранилище для каждого работника. EMR автоматически добавляет и удаляет работников на основании требований задания в указанных пределах. Три параметра ресурсов для исполнителей – вычислительную мощность, память и хранилище – можно настраивать независимо друг от друга. Вы можете назначить для каждого исполнителя 1, 2, 4, 8 или 16 виртуальных процессоров и память от 2 до 120 ГБ с шагом от 1 до 8 ГБ. Для хранения данных вы можете выбрать стандартное хранилище объемом от 20 ГБ до 200 ГБ на каждого исполнителя или оптимизированное для сегментирования хранилище объемом от 20 ГБ до 2 ТБ на каждого исполнителя.

С вас будет взиматься плата за совокупное количество ресурсов виртуальных ЦПУ, памяти и хранилища, используемых исполнителями с момента готовности к работе до остановки, с округлением до ближайшей секунды и минимальным временем оплаты в одну минуту. Если приложение настроено так, что начало пользования работниками происходит при его запуске, запрашиваемые работники будут приступать к пользованию при запуске приложения и заканчивать при завершении его работы или переходе в режим бездействия.

Сведения о ценах (вычисления и память)

Цены основаны на совокупном использовании ресурсов хранилища, виртуальных ЦПУ и памяти всеми работниками.

Сведения о ценах (краткосрочное хранение)

Стандартное хранилище: 20 ГБ краткосрочного хранилища доступно для всех исполнителей по умолчанию, и вы платите только за дополнительные ресурсы хранилища, которые настроены для каждого исполнителя.

Оптимизированное для сегментирования хранилище: вы платите за весь объем хранилища, настроенного для каждого исполнителя, включая первые 20 ГБ.

Поддерживаемые конфигурации для работников

Продолжительность работы

Продолжительность рассчитывается со времени, когда работник готов к запуску рабочей нагрузки до времени остановки и округляется до ближайшей секунды, минимальный период составляет 1 минуту.

Дополнительные расходы

Дополнительная плата может начисляться, если вашими приложениями используются другие сервисы AWS. Например, если ваше приложение использует Простой сервис хранения данных Amazon (Amazon S3) для хранения и обработки данных, с вас будет взиматься стандартная плата за Amazon S3. При перемещении данных из таких источников, как Amazon S3, Реляционная база данных Amazon (RDS) или Amazon Redshift, начисляется плата за запросы и передачу данных на основе стандартных тарифов. При использовании Amazon CloudWatch начисляется плата за журналы CloudWatch Logs и события CloudWatch на основе стандартных тарифов.

Это цена действительна на Amazon EMR в кластерах EC2 с приложениями Apache HBase, использующими Amazon EMR WAL. Журнал Apache HBase с упреждающей записью позволяет записывать все изменения данных в файловое хранилище. Используя Amazon EMR на EC2, вы можете записывать журналы Apache HBase с упреждающей записью в Amazon EMR WAL. Это надежный уровень управляемого хранилища, срок службы которого превышает срок службы кластера. В случае если кластер или зона доступности (в редких случаях) станут неработоспособными или недоступными, вы можете создать новый кластер, привязать его к тому же корневому каталогу Amazon S3 и рабочей среде Amazon EMR WAL, а также автоматически восстановить данные в WAL в течение нескольких минут. Дополнительные сведения см. в документации Amazon EMR WAL. 

Вы будете платить за то, что используете для EMR WAL. Если у вас есть активный кластер, настроенный на использование WAL, с вас будет взиматься плата за хранилище EMR WAL в зависимости от использования, которое выставляется за EMR-WAL-WALHours (часы), записи за WriteRequestGiB (ГиБ) и чтения за ReadRequestGiB (ГиБ).

EMR-WAL-WALHours (часы): EMR WAL создаст по одному журналу WAL для каждого региона Apache HBase. Если после завершения работы кластера в EMR WAL все еще есть данные, которые не были переданы в Amazon S3, вы можете возобновить их, запустив кластер восстановления, или очистить журнал WAL, создав временный кластер и используя интерфейс командной строки EMR WAL для удаления ресурсов. Если вы не удалите данные EMR WAL окончательно, EMR WAL сохранит их и будет взимать с вас плату за неудаленную информацию в течение 30 дней. Пример вы можете увидеть ниже.

ReadRequestGIB (ГиБ) и WriteRequestGIB (ГиБ) – два измерения, которые предназначены для запросов на чтение и запись. Вызовы API Apache HBase для записи данных в таблицу в кластере с EMR WAL оплачиваются за WriteRequestGIB (ГиБ). Запись EMR WAL будет производиться для всех операций записи Apache HBase, таких как операции Put. Вызовы API Apache HBase для чтения данных из EMR WAL во время операций восстановления Apache HBase оплачиваются за ReadRequestGIB (ГиБ). Плата за чтение и запись взимается в зависимости от размера элемента и счетов EMR (минимум на 1 байт).

Цены на основе US-East-1.

Предположим, вы запускаете приложение Amazon EMR, развернутое на Amazon EC2, и используете один инстанс EC2 c4.2xlarge в качестве главного узла и два инстанса EC2 c4.2xlarge в качестве основных узлов. С вас будет взиматься плата как за узлы EMR, так и за EC2. Если вы осуществляете запуск в течение месяца со 100 % загрузкой и используете цены EC2 по требованию, то стоимость будет рассчитываться следующим образом.

Главный узел:

Плата за EMR = 1 инстанс x 0,105 USD в час x (100 / 100 использования в месяц) x 730 часов в месяц = 76,65 USD (стоимость главного узла EMR) Плата за EC2 = 1 инстанс x 0,398 USD в час x 730 часов в месяц = 290,54 USD (стоимость главного узла EC2)

Центральные узлы:

Плата за EMR = 2 инстанса x 0,105 USD в час x (100 / 100 использования в месяц) x 730 часов в месяц = 153,30 USD (стоимость центрального узла EMR)

Плата за EC2 = 2 инстанса x 0,398 USD в час x 730 часов в месяц = 581,08 USD (стоимость центрального узла EC2)

Общая стоимость = 76,65 USD + 290,54 USD + 153,30 USD + 581,08 USD = 1101,57 USD

Цены на основе US-East-1.

Предположим, вы запускаете приложение Amazon EMR-Spark, развернутое на Amazon EKS. В этом случае вычислительная мощность EKS обеспечивается за счет инстансов r5.2xlarge EC2 (8 виртуальных ЦП, 64 ГБ ОЗУ). Предположим, что в кластере EKS 100 узлов, всего 800 виртуальных ЦПУ и 6400 ГБ общей памяти. Предположим, что это приложение использует 100 виртуальных ЦПУ и 300 ГБ памяти в течение 30 минут.

Плата за общее повышение эффективности посредством Amazon EMR рассчитывается описанным ниже образом.

Общее повышение эффективности виртуального ЦПУ = (100 × 0,01012 USD × 0,5) = (Число виртуальных ЦПУ × тариф за 1 виртуальный ЦПУ в час × время выполнения задания в часах) = 0,506 USD       

Общее повышение эффективности памяти = (300 × 0,00111125 USD × 0,5) = (объем использованной памяти × тариф за 1 ГБ в час × время выполнения задания в часах) = 0,1667 USD       

Плата за общее повышение эффективности для задания EMR составляет 0,6727 USD.

Дополнительная плата

Вы платите 0,10 USD в час за каждый созданный кластер Amazon EKS. За счет использования пространств имен Kubernetes и политик безопасности IAM на одном кластере Amazon EKS можно запускать несколько приложений. Вы можете запускать EKS в AWS на базе Amazon EC2 или AWS Fargate.

Если вы используете Amazon EC2 (в том числе с группами узлов, управляемыми через Amazon EKS), оплате подлежат ресурсы AWS (например, инстансы Amazon EC2 или тома Amazon EBS), которые создаются для запуска рабочих узлов Kubernetes. Вы платите только за используемые ресурсы по мере потребления. Минимальные платежи и авансовые обязательства отсутствуют. Подробнее о ценах см. на странице цен на EC2.

Если вы используете AWS Fargate, цены рассчитываются по количеству виртуальных ЦПУ и ресурсов памяти, использованных с начала загрузки образа контейнера до прекращения выполнения пода Amazon EKS, с округлением до ближайшей секунды. Предусмотрен минимальный обязательный платеж за одну минуту использования. Подробнее о ценах см. на странице цен на AWS Fargate.

Предположим, вы отправляете задание Spark в EMR Serverless. Предположим, в настройках задания указано, что его будут выполнять от 25 до 75 работников, и для каждого выделены 4 виртуальных ЦПУ и 30 ГБ памяти. Допустим, дополнительное краткосрочное хранение не было настроено. Если задание 30 минут выполняли 25 работников (или обрабатывали 100 виртуальных ЦПУ) и для него было настроено автоматическое масштабирование с добавлением еще 50 работников (еще 200 виртуальных ЦПУ) на 15 минут:

Общая стоимость часов виртуальных ЦПУ = (100 * 0,052624 USD * 0,5) + (200 * 0,052624 USD * 0,25) = (количество виртуальных ЦПУ * ставка за один час виртуального ЦПУ * время выполнения задания в часах) = 5,2624 USD

Общее количество ГБ-часов = (750 * 0,0057785 USD * 0,5) + (1500 * 0,0057785 USD * 0,25) = (всего ГБ настроенной памяти * ставка за один ГБ-час * время выполнения задания в часах) = 4,333875 USD

Общая плата за EMR Serverless = 9,596275 USD

Дополнительная плата: если ваше приложение использует другие сервисы AWS, например Amazon S3, с вас будет взиматься плата по стандартным тарифам на S3.

Предположим, что вы создали новый кластер Amazon EMR на базе Apache HBase и решили полностью создать резервную копию кластера в регионе Восток США (Северная Вирджиния). Поскольку это сделано для нового приложения, неясно, как будет выглядеть трафик в будущем. Для простоты предположим, что пользователь создал 10 таблиц HBase, включая системные таблицы, по 2 региона HBase на каждую, и всякий раз, когда он взаимодействует с вашим приложением, то записывает 1 КБ данных. 

В течение 10 дней ваше приложение получает мало трафика, в результате чего каждый день совершается 10 000 операций записи. Однако на 11-й день трафик вашего приложения возрастает до 2 500 000 операций записи. Вы также решили одновременно обновить свой собственный код в кластере и запланировать ночной перерыв для конечных пользователей на 11-й день. Предположим, что в результате вышел 1 000 000 операций чтения из EMR WAL для операций восстановления HBase. Ваше приложение автоматически выполняет масштабирование для обеспечения стабильной работы пользователей. Затем модель трафика приложения стабилизируется, и до конца месяца выполняется 50 000 операций записи каждый день. 

В таблице ниже кратко описано использование приложения в этом месяце.

За месяц ваш счет составит 26,52 USD, включая 0,38 USD за ReadRequestGIB (ГиБ) и WriteRequestGIB (ГиБ), а также 25,92 USD за EMR-WAL-WALHours (часы).