Вопросы и ответы по Amazon SageMaker

Общие вопросы

SageMaker – это полностью управляемый сервис, предназначенный для подготовки, создания, обучения и развертывания моделей машинного обучения (ML) для любого стандартного примера использования с полностью управляемыми инфраструктурой, инструментами и рабочими процессами.

Список регионов с поддержкой сервиса SageMaker см. в списке региональных сервисов AWS. См. также регионы и адреса серверов в общих справочных материалах по AWS.

SageMaker разработан для обеспечения высокой доступности. Сервис работает без плановых простоев и перерывов на обслуживание. API SageMaker работают на базе надежных ЦОД Amazon с высокой степенью доступности, стек сервиса реплицируется в трех ЦОД в каждом регионе, что обеспечивает отказоустойчивость в случае выхода из строя отдельного сервера или аварийного отключения зоны доступности.

SageMaker хранит код в томах хранилища для машинного обучения, которые защищены группами безопасности и могут быть дополнительно зашифрованы при хранении.

SageMaker обеспечивает шифрование моделей машинного обучения и других системных артефактов как при хранении, так и при пересылке. Запросы к API и консоли сервиса SageMaker выполняются через безопасное SSL-соединение. Права доступа к ресурсам для обучения и развертывания от имени клиента предоставляются сервису SageMaker путем передачи ему соответствующего Управления идентификацией и доступом AWS (AWS IAM). Зашифрованные корзины Простого сервиса хранения данных Amazon (Amazon S3) можно использовать для хранения данных и артефактов моделей, также вы можете применять ключ Сервиса управления ключами AWS (AWS KMS) в блокнотах SageMaker, заданиях по обучению и адресах сервиса, чтобы шифровать подключенный том хранилища для машинного обучения. SageMaker также поддерживает Виртуальное частное облако Amazon (Amazon VPC) и AWS PrivateLink.

SageMaker не использует модели, обучающие данные и алгоритмы клиентов и не предоставляет общий доступ к ним. Мы знаем, что наши клиенты глубоко заинтересованы в обеспечении безопасности и конфиденциальности данных. Поэтому AWS предоставляет клиентам право собственности и контроль над их контентом с помощью простых и эффективных инструментов. Эти инструменты позволяют определить, где будет храниться контент, обеспечить его безопасность при передаче и хранении, а также управлять доступом пользователей к сервисам и ресурсам AWS. Мы также реализуем средства технического и физического контроля, которые предотвращают несанкционированный доступ к пользовательскому контенту или раскрытие информации. Клиенты сохраняют право собственности на свой контент и выбирают, какие сервисы AWS могут обрабатывать, хранить и размещать контент. Мы не получаем доступ к контенту клиентов для каких-либо целей без соответствующего согласия.

Да. Вы можете использовать R в инстансах блокнотов SageMaker, в которые входят предварительно установленное ядро R и библиотека reticulate. Библиотека reticulate реализует интерфейс R для Amazon SageMaker Python SDK, благодаря чему специалисты по машинному обучению могут создавать, обучать, настраивать и развертывать модели на базе языка R. Также можно запустить RStudio, интегрированную среду разработки (IDE) для R в Студии Amazon SageMaker.  

Студия Amazon SageMaker предоставляет единый визуальный веб‑интерфейс, в котором можно проводить все этапы разработки ML. Студия SageMaker обеспечивает полный доступ, контроль и прозрачность каждого шага, необходимого для подготовки, создания, обучения и развертывания моделей. Теперь можно быстро загружать данные, создавать новые блокноты, обучать и настраивать модели, перемещаться между любыми этапами, настраивать эксперименты, сравнивать результаты и развертывать модели в одном месте, что благотворно сказывается на эффективности процесса. Все действия по ML‑разработке, включая создание блокнотов, управление экспериментами, автоматизированное создание моделей, отладку и профилирование, а также обнаружение отклонений в моделях, можно выполнять в едином визуальном интерфейсе студии Amazon SageMaker.

Дополнительная плата за использование студии SageMaker не начисляется. Вы оплачиваете только базовые тарифы за вычисления и хранилище для сервисов, которые используете в студии SageMaker.

Регионы с поддержкой Студии Amazon SageMaker можно найти в Руководстве для разработчиков Amazon SageMaker.

Измерение смещения в моделях машинного обучения – первый шаг к устранению смешения. Смещение можно измерять до обучения (в рамках подготовки данных), после него (с использованием Экспериментов Amazon SageMaker) и во время вывода для развернутой модели (с помощью Монитора модели Amazon SageMaker). Каждый из более чем 20 показателей смещения соответствует отдельному понятию справедливости. Вы выбираете метрики, которые действительны для приложения и исследуемой ситуации. Например, перед тренировкой такие показатели, как дисбаланс классов и различия в распределении этикеток между группами, проверяют, являются ли данные обучения репрезентативными для общей популяции. SageMaker Clarify учитывает как положительные (благоприятные) различия в результатах, так и различия в распределении по индивидуальным этикеткам, чтобы определить, недостаточно ли представлена какая-либо группа. После обучения или во время развертывания метрики предвзятости помогают оценить, различается ли производительность модели в разных группах и в какой степени. Такие показатели, как равное представительство и несопоставимое влияние, измеряют разницу в позитивных прогнозах. Показатели равной производительности, такие как разница в точности (вероятность того, что положительный прогноз верный) и отзыве (вероятность того, что модель правильно маркирует положительный пример), оценивают равное распределение ошибок по группам. Узнайте больше из этой публикации в блоге. 

Интеграция SageMaker Clarify с Экспериментами SageMaker позволяет после обучения модели получить граф важности признаков с подробной информацией о вкладе каждого элемента входных данных в общий процесс принятия решений. Эти сведения помогут вам заметить, если некоторый отдельный элемент слишком сильно влияет на поведение модели. SageMaker Clarify также создает объяснения для отдельных прогнозов, доступных через API. 

Управление машинным обучением

SageMaker предоставляет специально разработанные инструменты управления машинным обучением на протяжении всего жизненного цикла. С помощью Менеджера ролей Amazon SageMaker администраторы могут определить минимальные разрешения за считаные минуты. Сервис Карты моделей Amazon SageMaker облегчает сбор, извлечение и обмен важной информацией о модели от ее создания до развертывания, а Панель управления моделью Amazon SageMaker позволяет получать информацию о поведении производственной модели в одном месте. Подробнее
см. в разделе Управление машинным обучением с Amazon SageMaker.

Базовые модели

SageMaker JumpStart предоставляет собственные и общедоступные модели. Список доступных базовых моделей см. в разделе Начало работы с Amazon SageMaker JumpStart.

Нет. Ваши выводы и данные обучения не будут использоваться или передаваться клиентам для обновления или обучения базовой модели, которую SageMaker JumpStart представляет клиентам.

Нет. Собственные модели не позволяют клиентам просматривать вес моделей и сценарии.

Модели можно найти во всех регионах, где доступна Студия SageMaker, но возможность развертывания модели зависит от модели и доступности инстанса требуемого типа инстанса. Информацию о доступности региона AWS и требуемом инстансе можно найти на странице сведений о модели на Торговой площадке AWS.

Безопасность – главный приоритет AWS, и сервис SageMaker JumpStart разработан для обеспечения защиты. Поэтому SageMaker предоставляет клиентам право собственности и контроль над их контентом с помощью простых и эффективных инструментов. Эти инструменты позволяют определить, где будет храниться контент, обеспечить его безопасность при передаче и хранении, а также управлять доступом пользователей к сервисам и ресурсам AWS.

  1. Мы не передаем информацию об обучении клиентов и выводах продавцам моделей на Торговой площадке AWS. Аналогичным образом, артефакты модели продавца (например, вес моделей) не передаются покупателю.
  2. SageMaker JumpStart не использует модели клиентов, данные обучения или алгоритмы для улучшения своего сервиса и не передает третьим сторонам данные обучения клиентов и выводы.
  3. В SageMaker JumpStart артефакты моделей машинного обучения шифруются при передаче и хранении.
  4. Согласно Модели общей ответственности AWS, AWS несет ответственность за защиту глобальной инфраструктуры, на которой работают все сервисы AWS. Вы несете ответственность за контроль над контентом, размещенным в этой инфраструктуре.

Используя модель из Торговой площадки AWS или SageMaker JumpStart, пользователи берут на себя ответственность за качество вывода модели и признают возможности и ограничения, указанные в описании отдельной модели.

SageMaker JumpStart включает более 150 предварительно обученных общедоступных моделей от PyTorch Hub и TensorFlow Hub. Для задач, связанных с компьютерным зрением, например для классификации изображений и обнаружения объектов, вы можете применить такие модели, как RESNET, MobileNet и single-shot detector (SSD). Для текстовых задач, например для классификации предложений и текста, поиска ответов на вопросы, можно использовать модели BERT, RoBERTa и DistilBERT.

С помощью SageMaker JumpStart вы можете ускорить выход на рынок при создании приложений машинного обучения. Модели и блокноты, созданные одной командой в вашей организации, могут быть легко переданы другим командам в вашей организации всего несколькими щелчками мыши. Внутренний обмен знаниями и повторное использование активов могут значительно повысить производительность вашей организации.

Amazon SageMaker Clarify теперь поддерживает оценку базовых моделей. Вы можете оценить, сравнить и выбрать лучшие базовые модели для вашего конкретного сценария использования. Просто выберите модель, которую вы хотите оценить для выполнения той или иной задачи, например ответа на вопросы или реферирования контента. Затем выберите критерии оценки (например, точность, объективность и надежность) и выгрузите свой собственный набор данных подсказок либо выберите один из встроенных общедоступных наборов данных. Для анализа ответов при работе с субъективными критериями или специфическим контентом, требующим тщательного анализа со стороны человека, можно привлечь своих сотрудников или управляемый персонал компании AWS. После завершения процесса настройки SageMaker Clarify проводит оценку и создает отчет, чтобы вы могли легко понять, как модель работает в контексте ключевых критериев. Оценить базовые модели в SageMaker JumpStart можно с помощью мастера оценки или любых базовых моделей вне хостинга на AWS, используя библиотеку с открытым исходным кодом.

Машинное обучение с низким уровнем кода

SageMaker Canvas – это сервис без кода с интуитивно понятным интерактивным интерфейсом, позволяющим создавать высокоточные прогнозы на основе машинного обучения с использованием ваших данных. SageMaker Canvas позволяет получать доступ и объединять данные из различных источников методом перетаскивания в пользовательском интерфейсе, автоматически очищая и подготавливая данные для минимизации ручной очистки. SageMaker Canvas применяет различные современные алгоритмы машинного обучения для поиска высокоточных прогнозных моделей и предоставляет интуитивно понятный интерфейс для составления прогнозов. Вы можете использовать SageMaker Canvas для создания намного более точных прогнозов в различных бизнес-приложениях и с легкостью взаимодействовать со специалистами по работе с данными и аналитиками на вашем предприятии, предоставляя совместный доступ к моделям, данным и отчетам. Дополнительные сведения о SageMaker Canvas см. в разделе вопросов и ответов об Amazon SageMaker Canvas.

При использовании SageMaker Canvas вы платите по факту использования. SageMaker Canvas позволяет интерактивно получать, исследовать и подготавливать данные из различных источников, обучать высокоточные модели машинного обучения на основе ваших данных и генерировать прогнозы. Счет выставляется за два компонента: плата за сессию, основанная на количестве часов, в течение которых используется SageMaker Canvas или выполняется вход в систему, и плата за обучение модели, основанная на размере набора данных, используемого для построения модели. Подробнее см. на странице цен на Amazon SageMaker Canvas.

Рабочие процессы машинного обучения

Этап регистрации модели в Конвейере Amazon SageMaker можно использовать для консолидации всех моделей, которые могут быть развернуты в одном месте. Позже вы или кто-то другой из вашей команды сможете найти, просмотреть и утвердить эти модели для развертывания в реестре моделей SageMaker с помощью пользовательского интерфейса Студии SageMaker или Python SDK.
Конвейер SageMaker Pipeline состоит из «этапов». Вы можете выбрать любой из изначально поддерживаемых этапов для составления рабочего процесса, включающего различные функции SageMaker (например, обучение или оценка) либо других сервисов AWS (например, EMR или Lambda). Вы также можете перенести существующий код ML Python в Конвейер SageMaker, используя декоратор Python «@step» или добавив целые записные книжки Python в качестве компонентов Pipeline. Дополнительные сведения см. в руководстве для разработчиков Конвейеров SageMaker.
Конвейеры Amazon SageMaker автоматически сохраняют информацию обо всех компонентах модели и аудиторский след любых изменений, что устраняет необходимость в ручном отслеживании и может помочь вам достичь целей соответствия требованиям. С Конвейерами SageMaker вы можете отслеживать данные, код, обученные модели и т. п.

Дополнительная плата за использование Конвейеров SageMaker не начисляется. Вы оплачиваете только базовые тарифы за вычисления и отдельные сервисы AWS, которые используете в Конвейерах SageMaker.

Да. Компонентами Amazon SageMaker для конвейеров Kubeflow являются подключаемые модули с открытым исходным кодом, которые позволяют использовать конвейеры Kubeflow для определения рабочих процессов машинного обучения и применять SageMaker для маркировки данных, обучения и вывода. Конвейеры Kubeflow – это дополнение к Kubeflow, которое позволяет создавать и развертывать портативные масштабируемые комплексные конвейеры машинного обучения. Однако при использовании конвейеров Kubeflow операционным командам по машинному обучению необходимо управлять кластером Kubernetes на инстансах CPU и GPU и постоянно поддерживать высокий уровень его использования, чтобы снижать эксплуатационные расходы. Добиться максимального использования кластера со стороны подразделений по анализу и обработке данных достаточно сложно, что приводит к тому, что подразделения по операциям машинного обучения сталкиваются с дополнительными эксплуатационными расходами. Альтернативой кластеру Kubernetes, оптимизированному для машинного обучения, являются компоненты SageMaker для Kubeflow Pipelines. С их помощью можно использовать преимущества мощных возможностей SageMaker, таких как маркировка данных, полностью управляемая масштабируемая настройка гиперпараметров и распределенные задания обучения, безопасное и масштабируемое развертывание модели за один щелчок мышью и экономически эффективное обучение с использованием спотовых инстансов Эластичного вычислительного облака Amazon (Amazon EC2). При этом настраивать кластеры Kubernetes специально для выполнения заданий машинного обучения и управлять ими не требуется.

Дополнительная плата за использование компонентов SageMaker для конвейеров Kubeflow не начисляется. 

С оператором в контуре управления

«Оператор в контуре управления» — это процесс участия человека во всех этапах жизненного цикла машинного обучения для повышения точности и релевантности моделей. Люди могут выполнять множество задач: от генерации и аннотации данных до анализа и настройки моделей. Вмешательство человека особенно важно для приложений на основе генеративного искусственного интеллекта, когда человек как запрашивает, так и потребляет контент. Поэтому крайне важно, чтобы люди обучали базовые модели выдавать точные, безопасные и релевантные ответы на запросы пользователей. Участие людей может помочь при решении нескольких задач. Во-первых, это создание высококачественных маркированных учебных наборов данных для приложений на основе генеративного искусственного интеллекта посредством обучения под наблюдением (когда человек имитирует стиль, продолжительность и точность реакции модели на запросы пользователя) и обучения с подкреплением на основе обратной связи с человеком (когда человек составляет рейтинг ответов модели и распределяет их по категориям). Во-вторых, это использование данных, генерируемых человеком, при адаптации базовых моделей для решения конкретных задач, либо данных, специфичных для вашей компании и предметной области, для обеспечения релевантности выходных данных модели.

Возможности «оператор в контуре управления» играют важную роль в создании и улучшении приложений на основе генеративного искусственного интеллекта, управляемых базовыми моделями. Высококвалифицированный персонал, обученный в соответствии с инструкциями по выполнению заданий, может предоставлять обратную связь, рекомендации и материалы, а также оценивать такие виды деятельности, как сбор демонстрационных данных для обучения базовых моделей, корректировка и улучшение образцов ответов, доработка моделей на основе данных компаний и отрасли, защита от токсичности и предвзятости и многое другое. Таким образом, возможности «оператор в контуре управления» способны повысить точность и производительность модели. 

Amazon SageMaker Ground Truth предлагает самый полный набор возможностей «оператор в контуре управления». Amazon SageMaker Ground Truth можно использовать двумя способами: по принципу самообслуживания и под управлением AWS. В режиме самообслуживания аннотаторы данных, авторы контента и инженеры подсказок (штатные, управляемые поставщиком или из числа представителей общественности) могут использовать наш пользовательский интерфейс с небольшим объемом кода для ускорения выполнения задач типа «оператор в контуре данных», а также гибко создавать собственные рабочие процессы и управлять ими. В случае использования сервиса под управлением AWS (SageMaker Ground Truth Plus) мы берем на себя самую трудную работу, включая подбор персонала, подходящего для вашего варианта использования, и управление им. SageMaker Ground Truth Plus разрабатывает и персонализирует комплексный рабочий процесс (включая всестороннее обучение персонала и обеспечение качества) и предоставляет в ваше распоряжение квалифицированную рабочую группы под управлением AWS, которая обучена выполнению конкретных задач и отвечает вашим требованиям к качеству, безопасности и соблюдению нормативных требований. 

Подготовка данных

SageMaker Data Wrangler поддерживает табличные данные, данные временных рядов и графические данные, предоставляя более 300 предварительно настроенный преобразований данных для подготовки этих различных форм данных. Для клиентов, которым требуется подготовить текстовые данные в Data Wrangler для сценариев использования NLP, Data Wrangler поддерживает библиотеку NLTK, поэтому клиенты могут готовить текстовые данные, создавая в Data Wrangler настраиваемые сопоставления.

Вы платите за все ресурсы для вычислений, хранения и обработки данных, применяемые для машинного обучения при работе с SageMaker Data Wrangler. Все подробности ценообразования на SageMaker Data Wrangler можно найти здесь. В рамках Уровня бесплатного пользования AWS работу с SageMaker Data Wrangler можно также начать бесплатно.

Вы можете настраивать и запускать задания обработки SageMaker непосредственно из пользовательского интерфейса SageMaker Data Wrangler, включая планирование задания обработки данных и параметризацию источников данных, чтобы легко преобразовывать новые партии данных в масштабе.
После подготовки данных SageMaker Data Wrangler предоставляет различные варианты продвижения потока SageMaker Data Wrangler в производство и легко интегрируется с MLOps и возможностями CI/CD. Вы можете настраивать и запускать задания обработки SageMaker непосредственно из пользовательского интерфейса SageMaker Data Wrangler, включая планирование задания обработки данных и параметризацию источников данных, чтобы легко преобразовывать новые партии данных в масштабе. Кроме того, SageMaker Data Wrangler легко интегрируется с обработкой SageMaker и контейнером SageMaker Spark, что позволяет легко использовать SDK SageMaker для интеграции SageMaker Data Wrangler в производственный рабочий процесс.
В несколько шагов SageMaker Data Wrangler разделяет и обучает модель XGBoost с гиперпараметрами по умолчанию. В зависимости от типа проблемы SageMaker Data Wrangler предоставляет сводку модели, сводку функций и матрицу несоответственности, чтобы быстро дать вам представление и вы могли итеративно доработать свои потоки подготовки данных.
SageMaker Data Wrangler поддерживает различные методы выборки – такие как выборка top-K, случайная и стратифицированная выборка при импорте данных – так что вы можете быстро преобразовать свои данные с помощью пользовательского интерфейса SageMaker Data Wrangler. Если вы используете большие или широкие наборы данных, вы можете увеличить размер инстанса SageMaker Data Wrangler для повышения производительности. После создания потока можно обработать весь набор данных с помощью заданий обработки SageMaker Data Wrangler.
Да, вы можете настроить Хранилище функций SageMaker как место назначения для ваших функций, подготовленных в SageMaker Data Wrangler. Это можно сделать непосредственно в пользовательском интерфейсе или экспортировать блокнот, созданный специально для обработки данных с Хранилищем функций SageMaker в качестве места назначения.

Хранилище функций Amazon SageMaker – это полностью управляемая специализированная платформа для хранения, совместного использования признаков для моделей машинного обучения и управления ими. Функции можно обнаруживать и совместно применять для последующего использования моделями и командами при помощи безопасного доступа и контроля, в том числе в аккаунтах AWS. Хранилище функций Amazon SageMaker поддерживает как интерактивные, так и офлайн-функции для вывода выводов в реальном времени, а также пакетного вывода и обучения. Оно также управляет пакетными и потоковыми конвейерами проектирования объектов, чтобы уменьшить дублирование при создании объектов и повысить точность модели.

Хранилище функций Amazon SageMaker автоматически поддерживает согласованность сетевых и офлайн-функций без дополнительного управления или кода, обеспечивая единообразие в средах обучения и логических выводов.

В рамках Уровня бесплатного пользования AWS работу с Хранилищем функций SageMaker можно начать бесплатно. При работе с Хранилищем функций SageMaker вы оплачиваете операции записи в хранилище признаков, а также операции чтения и записи в сетевое хранилище признаков. Сведения о ценах см. на странице цен Amazon SageMaker.

Геопространственные данные представляют собой особенности или объекты на земной поверхности. Первый тип геопространственных данных – векторные данные, которые используют двумерную геометрию, такую как точки, линии или многоугольники для представления таких объектов, как дороги и границы земельных участков. Второй тип геопространственных данных – это растровые данные, такие как снимки, собранные спутниками, воздушными платформами или данными дистанционного зондирования. Этот тип данных использует матрицу пикселей для определения местоположения объектов. Растровые форматы можно использовать для хранения данных, которые меняются. Третий тип геопространственных данных – это данные о местоположении с географическими метками. Они включают в себя достопримечательности – например, Эйфелевую башню – в постах социальных сетей с метками местоположения, координаты широты и долготы или различные стили и форматы адресов улиц.
Вы можете использовать возможности геопространственного машинного обучения в SageMaker, чтобы делать прогнозы на геопространственных данных быстрее, чем решения «сделай сам». Геопространственные возможности SageMaker облегчают доступ к геопространственным данным из существующих озер данных пользователей, наборов данных с открытым исходным кодом и других источников геопространственных данных SageMaker. Геопространственные возможности SageMaker минимизируют необходимость создания пользовательской инфраструктуры и функций предварительной обработки данных, предлагая специально разработанные алгоритмы для эффективной подготовки данных, обучения моделей и выводов. Вы также можете создавать пользовательские визуализации и данные и обмениваться ими со своей организацией из Студии SageMaker. Геопространственные возможности SageMaker включают предварительно обученные модели для общего использования в сельском хозяйстве, недвижимости, страховании и финансовых услугах.

Создание моделей

Блокноты Студии SageMaker – это готовые блокноты Jupyter, которые можно быстро развернуть. Лежащие в основе сервиса вычислительные ресурсы полностью эластичны, что позволяет просто увеличивать или уменьшать их объем, причем любые изменения происходят автоматически в фоновом режиме и не прерывают работу. SageMaker также позволяет делиться блокнотами одним щелчком мыши. Вы можете легко делиться блокнотами с другими – они получат точно такой же блокнот, сохраненный в том же месте.

В блокнотах Студии SageMaker вы можете выполнить вход с помощью корпоративных данных для доступа, используя Центр идентификации IAM. Совместное использование блокнотов в пределах одной команды и между несколькими командами очень легко организовать благодаря автоматическому отслеживанию всех зависимостей для выполнения блокнота по всем рабочим образам, которые инкапсулируются в блокноты при предоставлении совместного доступа.

Блокноты SageMaker в интегрированной среде обработки предоставляют доступ ко всем функциям SageMaker, включая распределенное обучение, пакетное преобразование и размещение. Для получения наборов данных можно также обращаться из блокнотов SageMaker к таким сервисам, как Amazon S3, Amazon Redshift, AWS Glue, Amazon EMR и AWS Lake Formation.
При использовании блокнотов SageMaker в интегрированной среде обработки Студии плата взимается как за вычислительные ресурсы, так и за хранение данных. Сведения о тарифах в зависимости от типа вычислительного инстанса см. на странице цен на Amazon SageMaker. Ваши блокноты и связанные с ними артефакты, такие как файлы данных и скрипты, сохраняются в Эластичной файловой системе Amazon (Amazon EFS) Сведения о тарифах на хранение данных см. на странице цен на Amazon EFS. В рамках Уровня бесплатного пользования AWS работу с блокнотами Студии SageMaker можно начать бесплатно.

Нет. Вы можете создать и запустить несколько блокнотов на одном вычислительном инстансе. Вы платите только за используемые вычислительные ресурсы, а не за отдельные элементы. Более подробные сведения см. в нашем руководстве по учету.

Помимо блокнотов, вы также можете запускать терминалы и интерактивные оболочки студии SageMaker – и все это на одном вычислительном инстансе. Каждое приложение работает внутри контейнера или образа. Студия SageMaker предоставляет несколько встроенных образов, специально созданных и настроенных для задач аналитики данных и машинного обучения.

Вы можете отслеживать и отключать ресурсы, используемые вашими блокнотами Студии SageMaker, через визуальный интерфейс Студии SageMaker Studio и Консоль управления AWS. Дополнительную информацию см. в документации.

Да, с вас по-прежнему будет взиматься плата за использование вычислительных ресурсов. Эта ситуация схожа с запуском инстансов Amazon EC2 в консоли управления AWS с последующим закрытием браузера. Инстансы Amazon EC2 все еще будут работать, и с вас по-прежнему будет взиматься плата, пока вы явным образом не отключите инстанс.

Нет, плата за создание или настройку домена Студии SageMaker, а также добавление, обновление и удаление профилей пользователей не взимается.

Будучи администратором, вы можете просмотреть список детализированных платежей за SageMaker, включая Студию SageMaker, в консоли выставления счетов AWS. В консоли управления AWS для SageMaker выберите «Сервисы» в верхнем меню, введите «Оплата» в поле поиска и выберите «Оплата» в раскрывающемся списке, затем выберите «Счета» на левой панели. В разделе «Сведения» вы можете щелкнуть SageMaker, чтобы развернуть список регионов и перейти к детализированным расходам.

Лаборатория Студии SageMaker – это бесплатная среда для разработки машинного обучения (ML), в которой абсолютно бесплатно предоставляются вычисления, хранилище (объемом до 15 ГБ) и безопасность для любого пользователя в целях обучения и экспериментирования с ML. Для начала работы требуется лишь действительный адрес электронной почты без необходимости настраивать инфраструктуру или управлять идентификацией, получать доступ либо даже регистрировать аккаунт AWS. SageMaker Studio Lab ускоряет создание моделей посредством интеграции с GitHub и предоставляется с предварительно настроенными наиболее популярными инструментами, платформами и библиотеками машинного обучения, благодаря чему вы можете сразу же приступить к работе. SageMaker Studio Lab автоматически сохраняет работу, поэтому вам не нужно перезапускать сервис между сеансами. Это так же просто, как закрыть крышку ноутбука и возвратиться к работе позднее.
Лаборатория Студии SageMaker предназначена для учащихся, исследователей и специалистов по работе с данными, которым требуется бесплатная среда для разработки блокнотов без необходимости настраивать свои занятия машинного обучения и эксперименты. Лаборатория Студии SageMaker – это идеальное решение для пользователей, которые не нуждаются в производственной среде, однако хотят получить часть функциональных возможностей SageMaker для усовершенствования своих навыков машинного обучения. Сеансы SageMaker сохраняются автоматически, позволяя пользователям продолжить с того момента, на котором они остановились, в каждом пользовательском сеансе.
Лаборатория Студии Amazon SageMaker – это сервис, созданный на AWS и использующий множество тех же самых основных сервисов, что и Студия Amazon SageMaker, например Amazon S3 и Amazon EC2. В отличие от других сервисов, клиентам не потребуется аккаунт AWS. Вместо этого они создадут специальный аккаунт для Лаборатории Студии SageMaker с помощью адреса электронной почты. Благодаря этому пользователи получат доступ к ограниченной среде (с хранилищем объемом 15 ГБ и сеансами продолжительностью 12 часов) для запуска блокнотов ML.

Обучение моделей

SageMaker HyperPod специально разработан для ускорения обучения базовых моделей. Он обеспечивает более отказоустойчивую инфраструктуру, оптимизированную для масштабного распределенного обучения. Это позволяет быстрее обучаться на тысячах ускорителей. Сервис автоматически обнаруживает, диагностирует и устраняет неисправности, поэтому можно непрерывно обучать базовые модели в течение нескольких месяцев. В SageMaker HyperPod предварительно настроены распределенные библиотеки обучения SageMaker, которые помогают эффективно повысить производительность за счет разделения обучающих данных модели на небольшие блоки, чтобы их можно было одновременно обрабатывать на разных акселераторах.
Если необходима более продолжительная и масштабная учебная рабочая нагрузка, требующая большого количества вычислительных инстансов, таких как графические процессоры или ускорители AWS, можно использовать SageMaker HyperPod для повышения отказоустойчивости и сокращения времени обучения.

Да. SageMaker может автоматически распределять модели глубокого обучения и крупные обучающие наборы по инстансам AWS с графическим процессором за время, во много раз меньшее, чем требуется на создание и оптимизацию стратегий распределения вручную. SageMaker применяет два метода распределенного обучения: параллелизм данных и параллелизм моделей. Параллелизм данных применяется для ускорения обучения: данные разбиваются на равные сегменты с последующей одновременной обработкой на разных инстансах с графическим процессором. Параллелизм моделей удобен в тех случаях, когда модель слишком велика для хранения на одном графическом процессоре: такая модель разделяется на несколько меньших частей и обрабатывается на нескольких графических процессорах. Вам нужно лишь добавить пару строк кода в скрипты обучения на PyTorch и TensorFlow, чтобы SageMaker автоматически применил параллелизм данных или параллелизм моделей, что позволит быстрее создавать и развертывать модели. SageMaker определит оптимальный метод разделения модели, используя алгоритмы секционирования графов, чтобы добиться примерно равного времени обработки на каждом графическом процессоре с минимальным взаимодействием между инстансами. Также SageMaker оптимизирует задания по распределенному обучению с помощью алгоритмов максимально эффективного использования вычислительных и сетевых ресурсов AWS, чтобы добиться почти линейного роста эффективности при масштабировании и выполнять обучение быстрее, чем с помощью реализаций вручную с открытым исходным кодом.

Эксперименты SageMaker помогают организовывать и отслеживать итерации обучения моделей машинного обучения. Эксперименты SageMaker помогают управлять итерациями, автоматически фиксируя входные параметры, конфигурации и результаты и сохраняя их как эксперименты. Можно создать эксперимент Amazon SageMaker для отслеживания рабочих процессов машинного обучения с помощью нескольких строк кода из предпочитаемой среды разработки. Вы также можете интегрировать эксперименты SageMaker в свой учебный сценарий SageMaker с помощью SDK SageMaker Python.
Отладчик SageMaker автоматически в режиме реального времени выполняет в процессе обучения сбор таких метрик, как матрицы путаницы и градиенты обучения, что в итоге помогает повысить точность модели. Метрики от Отладчика SageMaker можно визуализировать в Студии SageMaker для удобства понимания. SageMaker Debugger может генерировать предупреждения и рекомендации по исправлению обнаруженных типовых проблем с обучением. Также Отладчик SageMaker автоматически отслеживает и оценивает в реальном времени такие ресурсы, как ЦП, графические процессоры, сеть и память, предоставляя рекомендации по перераспределению этих ресурсов. Это позволяет вам эффективнее использовать ресурсы в процессе обучения, помогает снизить расходы и уменьшить потребность в ресурсах.
Управляемое спотовое обучение с использованием SageMaker позволяет обучать модели машинного обучения с помощью спотовых инстансов Amazon EC2 и при этом снизить затраты на него до 90 %.
Отправляя запросы на выполнение своих заданий по обучению, вы активируете управляемое спотовое обучение и указываете, в течение какого периода хотите ждать спотовые ресурсы. Затем SageMaker использует спотовые инстансы Amazon EC2 для выполнения задания и управляет спотовыми ресурсами. Вы полностью видите состояние задания по обучению как в процессе его выполнения, так и во время ожидания ресурсов.
Управляемое спотовое обучение – идеальный вариант, когда у вас есть некоторая свобода в выполнении заданий по обучению, а также если вы хотите минимизировать затраты на такие задания. Благодаря управляемому спотовому обучению затраты на обучение моделей машинного обучения можно снизить до 90 %.
Для обучения в таком формате используются спотовые инстансы Amazon EC2, которые можно освободить, когда AWS понадобятся ресурсы. Таким образом, задания по управляемому спотовому обучению можно разбить на небольшие этапы и выполнять их по мере доступности ресурсов. В случае прерывания заданий по обучению не придется начинать с самого начала, поскольку SageMaker может возобновить их выполнение, используя последнюю контрольную точку модели. Благодаря SageMaker встроенные платформы и алгоритмы машинного зрения позволяют создавать периодические контрольные точки, которые можно также использовать для пользовательских моделей.
Рекомендуем периодически создавать контрольные точки при выполнении долгосрочных заданий по обучению. Это позволит предотвратить перезапуск заданий по управляемому спотовому обучению в случае освобождения ресурса. Если активировано использование контрольных точек, SageMaker возобновит выполнение задания по управляемому спотовому обучению с последней контрольной точки.
После завершения задания по управляемому спотовому обучению можно посмотреть, сколько вы экономите, в Консоли управления AWS, а также рассчитать снижение издержек в процентном соотношении между длительностью выполнения задания по обучению и длительностью, указанной в счете. Независимо от количества прерываний заданий по управляемому спотовому обучению, вы оплачиваете только длительность загрузки данных.
Для управляемого спотового обучения можно использовать все инстансы, которые поддерживает SageMaker.

Управляемое спотовое обучение поддерживается во всех регионах, в которых на данный момент доступен SageMaker.

С SageMaker для обучения моделей можно использовать пакеты данных любого размера.

Большинство алгоритмов машинного обучения раскрывают множество параметров, которые контролируют работу базового алгоритма. Эти параметры носят название гиперпараметров, и их значения влияют на качество итоговых обученных моделей. Автоматическая настройка модели – это процесс поиска такого набора гиперпараметров алгоритма, который позволит получить оптимальную модель.
Автоматическую настройку модели можно запускать в SageMaker поверх любого алгоритма до тех пор, пока это возможно с научной точки зрения. В число возможных вариантов входят встроенные алгоритмы SageMaker, глубокие нейронные сети, а также любые произвольные алгоритмы, которые были импортированы в SageMaker в виде образов Docker.

В настоящий момент нет. Наибольшего эффекта от автоматической настройки модели можно добиться только в рамках SageMaker.

В данный момент в качестве алгоритма для настройки гиперпараметров используется специальным образом настроенный алгоритм байесовской оптимизации. Его задача – оптимизировать в процессе настройки заданные пользователем объективные метрики. А точнее, он проверяет объективные метрики завершенных заданий по обучению и использует полученные результаты для изменения комбинации гиперпараметров для следующего задания по обучению.

Нет. Влияние различных гиперпараметров на поведение модели зависит от множества факторов. Из-за этого нельзя достоверно заявлять, что один из них важнее других и настраивать следует именно его. Для встроенных в SageMaker алгоритмов мы указываем, является ли тот или иной гиперпараметр настраиваемым.

Продолжительность настройки гиперпараметров зависит от множества факторов, включая объем используемых данных, базовый алгоритм и значения гиперпараметров. Помимо этого пользователи имеют возможность выбрать количество одновременно выполняемых обучающих задач и их общее количество. Все эти факторы влияют на продолжительность настройки гиперпараметра.

В настоящий момент нет. На данный момент пользователю необходимо указывать единственную целевую метрику для оптимизации или изменить код алгоритма таким образом, чтобы он порождал новую метрику, которая представляет собой среднее взвешенное между двумя и более полезными метриками. Процесс настройки необходимо будет оптимизировать в сторону этой целевой метрики.

За саму настройку гиперпараметров плата не взимается. Плата начисляется за выполнение заданий по обучению, которые будут запущены процессом настройки гиперпараметров, согласно ценам на обучение моделей.

Стимулированное обучение – это техника машинного обучения, позволяющая агенту учиться в интерактивной среде методом проб и ошибок, используя обратную связь по своим действиям и взаимодействиям.

Да. В SageMaker можно обучать не только контролируемые и неконтролируемые модели, но и модели стимулированного обучения.

Несмотря на то что и в контролируемом, и в стимулированном обучении используется сопоставление входных и выходных данных, в отличие от контролируемого обучения, где агенту в качестве обратной связи предоставляется набор шагов для выполнения задачи, в стимулированном обучении используется обратная связь с задержкой, когда поощрительные сигналы оптимизируются для достижения долгосрочной цели посредством выполнения последовательности действий.

В то время как целью техник, используемых в контролируемом обучении, является поиск правильного ответа на основе существующих в учебных данных шаблонов, техники неконтролируемого обучения преследуют цель найти сходства и различия между точками данных. Техники стимулированного обучения (RL), в отличие от этого, призваны научить, как достичь нужного результата даже, когда не совсем понятно, что следует для этого делать. Следовательно, стимулированное обучение больше подходит для обеспечения работы интеллектуальных приложений, когда агент может принимать автономные решения: робототехника, автоматизированные транспортные средства, системы отопления, вентиляции и кондиционирования воздуха, промышленные системы контроля и управления и многое другое.

Система стимулированного обучения Amazon SageMaker поддерживает несколько разных сред для обучения соответствующих моделей. Можно использовать такие сервисы AWS, как AWS RoboMaker, среды с открытым исходным кодом или пользовательские среды, разработанные с помощью интерфейсов Open AI Gym, а также коммерческие среды моделирования, такие как MATLAB и SimuLink.

Нет, система стимулированного обучения SageMaker включает наборы инструментов для стимулированного обучения, такие как Coach и Ray RLLib, предлагающие реализации алгоритмов для агентов стимулированного обучения (DQN, PPO, A3C и многие другие).

Да, вы можете использовать собственные библиотеки и реализации алгоритмов стимулированного обучения, помещенные в контейнеры Docker, в системе стимулированного обучения SageMaker.

Да. Можно даже выбрать гетерогенный кластер, где обучение проходит в инстансе графического процессора, а моделирование – в нескольких инстансах ЦП.

Развертывание моделей

Асинхронные логические выводы SageMaker ставят входящие запросы в очередь и обрабатывают их асинхронно. Этот вариант идеально подходит для запросов с большими размерами полезной нагрузки и/или длительным временем обработки, которые необходимо обрабатывать по мере поступления. При необходимости можно настроить параметры автоматического масштабирования, чтобы снижать количество инстансов до нуля, если не идет активный процесс обработки запросов, и сократить расходы.

Бессерверный вывод Amazon SageMaker – это специализированный вариант бессерверного предоставления моделей, который упрощает развертывание и масштабирование моделей ML. Адреса Бессерверного вывода SageMaker автоматически запускают вычислительные ресурсы и масштабируют их в нужном направлении в зависимости от трафика, исключая необходимость в выборе типа инстанса, запуске распределенных ресурсов или управлении масштабированием. Дополнительно вы можете указать требования к памяти для вашего адреса Serverless Inference. Вы платите только за продолжительность выполнения кода логического вывода и объем обработанных данных, а не за периоды простоя.

Бессерверный вывод SageMaker упрощает работу разработчиков, исключая необходимость в распределении ресурсов заранее и управлении политиками масштабирования. Бессерверный вывод SageMaker может осуществлять мгновенное масштабирование для разного числа логических выводов (от десятков до тысяч) в течение нескольких секунд исходя из шаблонов использования, благодаря чему это решение идеально подходит для приложений машинного обучения с непостоянным или непредсказуемым трафиком. Например, в сервисе Chatbot, используемом компанией, которая выполняет расчеты заработной платы, наблюдается увеличение числа запросов в конце месяца, тогда как трафик в оставшуюся часть месяца непостоянен. Распределение инстансов на весь месяц в таких сценариях не является настолько экономичным, как если прекратить оплачивать периоды простоя. SageMaker Serverless Inference помогает урегулировать эти типы стандартных примеров использования, предоставляя готовое решение для быстрого автоматического масштабирования без необходимости прогнозировать трафик заранее или управлять политиками масштабирования. Кроме того, вы платите только за время вычислений, которое требуется для выполнения кода логического вывода (с оплатой за миллисекунды), и за обработку данных, благодаря чему этот вариант становится более экономичным для рабочих нагрузок с непостоянным трафиком.
Provisioned Concurrency позволяет развертывать модели на бессерверных адресах с предсказуемой производительностью и высокой масштабируемостью, обеспечивая готовность адресов к заданному количеству одновременных запросов.

При использовании бессерверных адресов по запросу, если адрес какое-то время не получает трафик, а затем внезапно получает новые запросы, может потребоваться некоторое время, чтобы адрес выделил вычислительные ресурсы для обработки запросов. Это называется холодным стартом. Холодный старт также может произойти, если количество одновременных запросов превышает текущее использование одновременных запросов. Время холодного старта зависит от размера модели, времени загрузки модели и времени запуска контейнера.

Чтобы уменьшить вариативность профиля задержки, вы можете дополнительно включить функцию Provisioned Concurrency для бессерверных адресов. Благодаря Provisioned Concurrency ваши бессерверные адреса всегда готовы и могут мгновенно обслуживать большие объемы трафика без холодного старта.

Как и для бессерверного получения логических выводов по требованию, при использовании функции Provisioned Concurrency платить нужно только за объем вычислительных ресурсов, использованных для обработки запросов на получение логических выводов (плата начисляется по миллисекундам), и объем обработанных данных. Вы также платите за использование Provisioned Concurrency в зависимости от настроенной памяти, продолжительности выделенной памяти и степени задействования функции Provisioned Concurrency. Подробнее см. на странице цен на Amazon SageMaker.

SageMaker помогает проводить теневые тесты для оценки новой модели машинного обучения перед выпуском в производство путем тестирования ее производительности по сравнению с текущей развернутой моделью. SageMaker развертывает новую модель в теневом режиме рядом с текущей производственной моделью и зеркалирует указанную пользователем часть производственного трафика на новую модель. Опционально выполняется регистрация выводов модели для автономного сравнения. Он также предоставляет живую приборную панель со сравнением ключевых показателей производительности, таких как задержка и частота ошибок, между производственной и теневой моделями, чтобы помочь вам решить, стоит ли продвигать новую модель в производство.
SageMaker упрощает процесс настройки и мониторинга теневых вариантов, чтобы вы могли оценить производительность новой модели машинного обучения на живом производственном трафике. SageMaker избавляет вас от необходимости организовывать инфраструктуру для теневого тестирования. Это позволяет контролировать такие параметры тестирования, как процент трафика, зеркалируемого на теневой вариант, и продолжительность тестирования. В результате вы можете начать с малого и увеличить запросы на вывод для новой модели после того, как получите уверенность в производительности модели. SageMaker создает панель управления, отображающую различия в производительности по ключевым показателям, поэтому вы можете легко сравнить производительность модели, чтобы оценить, насколько новая модель отличается от производственной.

Рекомендательная система Amazon SageMaker для логического вывода сокращает время, требующееся для запуска моделей машинного обучения в работу, посредством автоматизации тестирования и настройки производительности моделей в ML-инстансах SageMaker. Теперь вы можете использовать Рекомендательную систему SageMaker для логического вывода для развертывания своей модели на адресе, который обеспечивает наилучшую производительность и сводит расходы к минимуму. Приступить к работе с SageMaker Inference Recommender можно за считанные минуты, выбрав тип инстанса и получив рекомендации по оптимальным конфигурациям адреса в течение нескольких часов, исключая недели, требующиеся на тестирование и настройку вручную. При использовании SageMaker Inference Recommender вы платите только за ML-инстансы SageMaker, которые используются во время тестирования нагрузок. Никакие дополнительные платы не начисляются.

Использовать SageMaker Inference Recommender следует в тех случаях, когда вам необходимы рекомендации по правильной конфигурации адреса для повышения производительности и сокращения расходов. Ранее специалистам по работе с данными, которые хотели развернуть свои модели, для выбора правильной конфигурации адреса приходилось запускать тесты производительности вручную. Сперва им требовалось выбрать правильный тип ML-инстанса из более 70 доступных исходя из требований к ресурсам для своих моделей и образцов полезных данных, а затем – оптимизировать модель с учетом разного аппаратного обеспечения. После этого им нужно было провести обширные тесты нагрузок, чтобы убедиться в соблюдении требований касательно задержки и пропускной способности, а также обеспечить низкие расходы. SageMaker Inference Recommender упрощает этот процесс, чтобы вы смогли: 1) начать работу с рекомендацией по инстансу в течение нескольких минут; 2) провести тесты нагрузок для разных типов инстансов с целью получения рекомендаций по конфигурации адреса в течение нескольких часов; 3) автоматически настроить параметры сервера для контейнера и модели, а также выполнить оптимизации моделей для заданного типа инстанса.
Специалисты по работе с данными могут получать доступ к SageMaker Inference Recommender из SageMaker Studio, AWS SDK for Python (Boto3) или AWS CLI. Они могут получать рекомендации по развертыванию в пределах SageMaker Studio в реестре моделей SageMaker для зарегистрированных их версий. Специалисты по работе с данными могут осуществлять поиск рекомендаций и фильтровать их с помощью студии SageMaker, AWS SDK или AWS CLI.

Нет. В настоящий момент мы обеспечиваем поддержку только для одной модели на адрес.

В настоящий момент мы обеспечиваем поддержку только адресов в реальном времени.

Мы обеспечиваем поддержку всех регионов, которые поддерживаются в Amazon SageMaker, кроме регионов AWS Китай.

Да. Мы обеспечиваем поддержку всех типов контейнеров. Для Amazon EC2 Inf1, в зависимости от чипа AWS Inferentia, требуется получение артефакта скомпилированной модели с использованием компилятора Neuron или Amazon SageMaker Neo. После получения скомпилированной модели для целевого объекта Inferentia и связанного с ней URI образа контейнера можно использовать Рекомендательную систему SageMaker для логического вывода с целью тестирования производительности для различных типов инстансов Inferentia.

Монитор модели SageMaker позволяет разработчикам обнаруживать и устранять концептуальное отклонение. Монитор модели SageMaker автоматически обнаруживает концептуальные отклонения в развернутых моделях и выдает подробные оповещения, которые помогают определить источник проблемы. Все модели, прошедшие обучение в SageMaker, автоматически генерируют основные метрики, которые можно собирать и просматривать в SageMaker Studio. Внутри студии SageMaker можно настроить собираемые данные, способы их просмотра и ситуации, которые будут генерировать отправку оповещений.

Нет. SageMaker управляет вычислительной инфраструктурой от имени клиента, что позволяет выполнять проверку работоспособности, применять обновления безопасности и выполнять другие рутинные работы по обслуживанию. Кроме того, сервис дает возможность развертывать артефакты моделей обучения с собственным кодом логического вывода в своей среде хостинга.

Хостинг SageMaker автоматически масштабирует производительность на основании потребностей приложения, используя Application Auto Scaling. Сервис также позволяет вручную изменить количество и тип инстансов при редактировании конфигурации адреса, не останавливая работу системы.

SageMaker отправляет метрики производительности в Amazon CloudWatch. Это позволяет отслеживать метрики, устанавливать предупреждения и автоматически реагировать на изменения в рабочем трафике. Кроме того, SageMaker записывает журналы в Журналы Amazon CloudWatch, что дает возможность отслеживать и устранять проблемы рабочего развертывания.

SageMaker может разместить любую модель, которая соответствует задокументированной спецификации для образов Docker, используемых для логического вывода. Сюда входят модели, созданные из артефактов моделей SageMaker и кода логического вывода.

SageMaker рассчитан на масштабирование для обеспечения большого количества транзакций в секунду. Точное количество определяется конкретной моделью, а также количеством и типом инстансов, на которых выполнено развертывание.

Amazon SageMaker — полностью управляемый сервис для настройки инстансов, совместимостей с версиями ПО, а также исправлений версий и управления ими. Он также предоставляет встроенные метрики и журналы для адресов, которые можно использовать для мониторинга и получения оповещений. Благодаря инструментам и управляемым рабочим процессам SageMaker упрощается весь процесс упаковки и развертывания моделей машинного обучения. Это позволяет с легкостью оптимизировать адреса для достижения желаемой производительности и сокращения затрат. Вы можете без лишних усилий развернуть модели машинного обучения, включая базовые модели, в SageMaker Studio или используя новый PySDK.

Пакетное преобразование позволяет выполнять прогнозирование на основе крупных или малых пакетов данных. Вам не придется разбивать набор данных на несколько фрагментов или управлять адресами реального времени. С помощью простого API можно запрашивать прогнозы для большого количества записей данных, а затем быстро и просто преобразовывать данные.

SageMaker поддерживает следующие варианты адресов: Адреса для одной модели — одна модель в контейнере, размещенная на выделенных инстансах, или бессерверная модель, ориентированная на низкую задержку и высокую пропускную способность. Адреса для нескольких моделей — размещение нескольких моделей, использующих общую инфраструктуру для экономии затрат и максимально эффективного использования ресурсов. Вы можете контролировать объем вычислительных ресурсов и памяти, доступных каждой модели, которые необходимы ей для эффективной работы. Последовательные конвейеры логического вывода — несколько контейнеров, совместно использующих выделенные инстансы и выполняющихся последовательно. Конвейер логических выводов можно использовать для объединения задач предварительной обработки, прогнозирования и последующего анализа данных.
Политики масштабирования можно использовать для автоматического масштабирования базовых вычислительных ресурсов в соответствии с колебаниями запросов на выводы. Вы можете управлять политиками масштабирования для каждой модели машинного обучения отдельно, что помогает упростить обработку изменений в использовании модели, а также оптимизировать затраты на инфраструктуру.

Менеджер периферии SageMaker упрощает оптимизацию, защиту, мониторинг и обслуживание моделей машинного обучения на большом числе периферийных устройств (интеллектуальные камеры, роботы, персональные компьютеры и мобильные устройства). Менеджер периферии SageMaker помогает разработчикам машинного обучения работать с моделями машинного обучения на множестве периферийных устройств в любом масштабе.

Нет, не нужно. Вы можете обучить свои модели любым другим способом или выбрать предварительно обученную моделью из открытого источника или от любого поставщика моделей.

Да, нужно. SageMaker Neo преобразует и скомпилирует модели в исполняемые фалы, которые вы сможете легко упаковать и развернуть на периферийных устройствах. После развертывания пакета модели агент Менеджера периферии SageMaker распакует его и запустит модель на устройстве.

Neo dlr представляет собой среду выполнения с открытым исходным кодом, которая выполняет только модели, скомпилированные в сервисе SageMaker Neo. В отличие от dlr с открытым исходным кодом, пакет SDK Менеджера периферии SageMaker содержит агент устройства корпоративного уровня, который обеспечивает дополнительные возможности для безопасности, управления моделями и обслуживания моделей. SDK Менеджера периферии SageMaker подходит для развертывания продукта в большом масштабе.

Менеджер периферии SageMaker доступен в шести регионах AWS: Восток США (Северная Вирджиния), Восток США (Огайо), Запад США (Орегон), Европа (Ирландия), Европа (Франкфурт) и Азиатско-Тихоокеанский регион (Токио). Подробнее см. в списке региональных сервисов AWS.

SageMaker Neo позволяет обучить модели машинного обучения однократно, а затем запускать их где угодно в облаке и на периферии. SageMaker Neo автоматически оптимизирует модели, созданные на базе популярных платформ глубокого обучения, которые можно использовать для развертывания на нескольких аппаратных платформах. Оптимизированные модели выполняются до 25 раз быстрее и потребляют менее десятой части ресурсов по сравнению со стандартными моделями машинного обучения.

Нет. Для обученных в любом месте моделей можно применить SageMaker Neo, чтобы оптимизировать их для инстансов машинного обучения SageMaker или устройств с поддержкой AWS IoT Greengrass.

В настоящее время SageMaker Neo поддерживает наиболее популярные модели машинного обучения, которые лежат в основе приложений компьютерного зрения и наиболее популярные модели дерева принятия решений, которые сегодня используются в SageMaker. SageMaker Neo оптимизирует производительность моделей AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet и DenseNet, обученных в MXNet и TensorFlow, а также обученных в XGBoost моделей классификации и моделей на основе алгоритма Random Cut Forest.

Списки поддерживаемых облачных инстансов, периферийных устройств и версий платформ можно найти в документации по SageMaker Neo.

Список поддерживаемых регионов приведен в списке региональных сервисов AWS.

Тарифы Amazon SageMaker Savings Plans

Экономичные планы SageMaker предлагают гибкую модель ценообразования на основе использования для SageMaker, применяемую при условии, что клиент обязуется использовать постоянный объем вычислительных ресурсов (измеряемый в USD/час) на протяжении одного года или трех лет. Экономичные планы SageMaker – это самый гибкий вариант, помогающий экономить до 64 %. Эти тарифы автоматически применяются к соответствующим инстансам SageMaker ML, включая блокноты Студии SageMaker, блокноты SageMaker по требованию, Обработку SageMaker, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference и SageMaker Batch Transform, независимо от семейства инстансов, размера и региона. Например, для обработки рабочих нагрузок, связанных с получением логических выводов, вместо инстанса ml.c5.xlarge, работающего в регионе Восток США (Огайо), можно в любое время перейти к использованию инстанса ml.Inf1 в регионе Запад США (Орегон) и автоматически продолжать пользоваться тарифами Экономичных планов.

Если вы с определенной частотой (измеряемой в USD в час) используете инстансы SageMaker и несколько компонентов SageMaker или ожидаете, что ваша конфигурация (например, семейство инстансов, регион) будет со временем меняться, тарифы Экономичных планов SageMaker позволят вам получить максимальную экономию при одновременном обеспечении гибкости изменения конфигурации базовых технологий с учетом потребностей приложений и внедрения инноваций. Тарифы Экономичных планов применяется автоматически ко всем подходящим инстансам машинного обучения без какого-либо ручного вмешательства.

Экономичные планы SageMaker можно подключить в Обозревателе затрат AWS на Консоли управления или с помощью API либо командной строки. Пользуясь рекомендациями в AWS Cost Explorer, вы без труда выберете оптимальные обязательства по Savings Plans, чтобы добиться максимальной экономии средств. Рекомендуемые почасовые обязательства основаны на вашей истории использования ресурсов по требованию и личном выборе типа плана, срока действия и способа оплаты. После регистрации плана оплаты по схеме Savings Plans плата за использование вычислительных ресурсов автоматически станет начисляться в соответствии с льготными ценами этого плана, а превышение выбранного объема будет оплачиваться по тарифам схемы по требованию.

Разница между Экономичными планами для SageMaker и для Amazon EC2 заключается в перечне поддерживаемых ими сервисов. Экономичные планы SageMaker применяются только к использованию инстансов машинного обучения SageMaker.

Тарифы Savings Plans можно приобрести в любом аккаунте группы AWS Organization и консолидированной оплаты. По умолчанию экономия, предоставляемая тарифами Savings Plans, распространяется на все аккаунты в рамках группы AWS Organization и консолидированной оплаты. Однако вы также можете ограничить действие экономичных планов только аккаунтом, в котором они были приобретены.