Инстансы Amazon EC2 P5
Инстансы на базе графических процессоров с высочайшей производительностью для приложений глубокого обучения и высокопроизводительных вычислений
Инстансы Amazon Elastic Compute Cloud (Amazon EC2) P5 на базе графических процессоров NVIDIA H100 Tensor Core и инстансов P5e на базе графических процессоров NVIDIA H200 Tensor Core обеспечивают самую высокую производительность в Amazon EC2 для приложений глубокого обучения и высокопроизводительных вычислений. Они помогают сократить время на создание решения до 4 раз по сравнению с инстансами EC2 на базе графических процессоров предыдущего поколения и снизить затраты на обучение моделей машинного обучения (экономия составит до 40 %). Эти инстансы помогают ускорить внедрение решений и быстрее выходить на рынок. Инстансы P5 и P5e можно использовать для обучения и развертывания все более сложных больших языковых моделей (LLM) и моделей диффузии, лежащих в основе самых требовательных приложений генеративного искусственного интеллекта (ИИ). Эти приложения включают ответы на вопросы, генерацию кода, генерацию видео и изображений и распознавание речи. Эти инстансы также можно использовать для развертывания требовательных масштабных HPC-приложений для фармацевтических исследований, сейсмического анализа, прогнозирования погоды и финансового моделирования.
Для повышения производительности и снижения затрат инстансы P5 и P5e дополняют графические процессоры NVIDIA Tensor Core H100 и H200, обеспечивающие в 2 раза больше производительности процессора, в 2 раза больше системной памяти и в 4 раза больше локальной памяти по сравнению с инстансами на базе графических процессоров предыдущего поколения. Они предоставляют лучшие на рынке возможности масштабирования для распределенного обучения и тесно связанных рабочих нагрузок высокопроизводительных вычислений со скоростью до 3200 Гбит/с с использованием интерфейса эластичной матрицы второго поколения (EFAv2). Для обеспечения крупномасштабных вычислений с низкой задержкой инстансы P5 и P5e развертываются в сверхкрупных кластерах Amazon EC2 UltraClusters, которые позволяют масштабировать до 20 000 графических процессоров H100 или H200. Они связаны между собой в неблокирующуюся сеть масштаба петабита. Инстансы P5 и P5e в сверхкрупных кластерах EC2 UltraClusters обеспечивают совокупную вычислительную мощность до 20 эксафлопс, что эквивалентно производительности суперкомпьютера.
Зарезервируйте инстансы P5 сейчас для использования в будущем
С помощью блоков ресурсов Amazon EC2 для машинного обучения можно легко резервировать инстансы P5 или P5e на несколько (до восьми) недель вперед. Эти инстансы можно резервировать на срок от 1 до 14 дней в виде кластеров, которые могут включать от 1 до 64 инстансов (512 графических процессоров), что обеспечивает гибкость при выполнении широкого спектра рабочих нагрузок.
Преимущества
Обучение моделей с более 100 млрд параметров в любом масштабе
Инстансы P5 и P5e могут обучать сверхбольшие модели генеративного искусственного интеллекта в любом масштабе и обеспечивать до 4 раз большую производительность по сравнению с инстансами EC2 на базе графических процессоров предыдущего поколения.
Сокращение времени нахождения решения и ускорение итераций
Инстансы P5 и P5e сокращают время обучения и время на решение проблем с нескольких недель до нескольких дней. Это позволяет ускорить итерации и быстрее выходить на рынок.
Снижение затрат на инфраструктуру глубокого обучения и высокопроизводительные вычисления
Инстансы P5 и P5e позволяют сократить расходы на глубокое обучение и инфраструктуру высокопроизводительных вычислений до 40 % по сравнению с инстансами EC2 предыдущего поколения на базе графических процессоров.
Распределенное обучение и высокопроизводительные вычисления с использованием эксафлопсных решений
Инстансы P5 и P5e обеспечивают пропускную способность сети EFAv2 до 3200 Гбит/с. Эти инстансы развернуты в сверхкрупных кластерах EC2 UltraClusters и обеспечивают совокупную вычислительную мощность 20 эксафлопс.
Функции
Графические процессоры NVIDIA Tensor Core H100 и H200
Инстансы P5 предоставляют до 8 графических процессоров NVIDIA H100 с общим объемом памяти графического процессора HBM3 до 640 ГБ на каждый инстанс. Инстансы P5e предоставляют до 8 графических процессоров NVIDIA H200 с общим объемом памяти графического процессора HBM3e до 1128 ГБ на каждый инстанс. Инстансы обоих типов поддерживают соединение графических процессоров NVSwitch со скоростью до 900 Гбит/с (общая пропускная способность для каждого инстанса составляет 3,6 ТБ/с), поэтому каждый графический процессор может взаимодействовать со всеми другими графическими процессорами того же инстанса с минимальной задержкой, без промежуточных переходов.
Новый движок-трансформер и инструкции DPX
Графические процессоры NVIDIA H100 и H200 оснащены новым движком-трансформером, который интеллектуально управляет и динамически выбирает между FP8 и 16-битными вычислениями. Эта функция помогает ускорить глубокое обучение на больших языковых моделях (LLM) по сравнению с графическими процессорами A100 предыдущего поколения. Для рабочих нагрузок высокопроизводительных вычислений графические процессоры NVIDIA H100 и H200 содержат новые инструкции DPX, которые еще больше ускоряют алгоритмы динамического программирования по сравнению с графическими процессорами A100.
Высокопроизводительная сеть
Инстансы P5 и P5e обеспечивают пропускную способность сети EFAv2 до 3200 Гбит/с. EFAv2 обеспечивает повышение производительности коллективных связей для распределенных учебных рабочих нагрузок до 50 %. EFAv2 также сочетается с NVIDIA GPUDirect RDMA, обеспечивая обмен данными между серверами графических процессоров с низкой задержкой в обход операционной системы.
Высокопроизводительное хранилище
Инстансы P5 и P5e поддерживают файловые системы Amazon FSx для Lustre, что позволяет получить доступ к данным с пропускной способностью в сотни Гбит/с и миллионами операций ввода-вывода в секунду, необходимых для крупномасштабных рабочих нагрузок глубокого обучения и высокопроизводительных вычислений. Каждый инстанс P5 и P5e также поддерживает локальное SSD-хранилище NVMe емкостью до 30 ТБ для быстрого доступа к большим наборам данных. Amazon Simple Storage Service (Amazon S3) также позволяет использовать практически неограниченное экономичное хранилище.
Сверхкрупные кластеры EC2 второго поколения
Инстансы P5 развертываются в сверхкрупных кластерах EC2 UltraCluster второго поколения, которые представляют собой сетевую структуру, обеспечивающую большую масштабируемость, меньшее количество сетевых переходов в кластере и меньшую задержку по сравнению с сверхкрупными кластерами UltraClusters предыдущего поколения. Инстансы P5 в сверхкрупных кластерах UltraClusters могут масштабироваться до 20 000 графических процессоров H100, подключенных к петабитной сети, и обеспечивать совокупную вычислительную мощность 20 эксафлопс.
Эффективная интеграция с другими сервисами AWS
Инстансы P5 и P5e можно развертывать с помощью образов глубокого обучения AWS AMI (DLAMI) и контейнеров AWS для глубокого обучения. Они доступны через управляемые сервисы, такие как Amazon SageMaker, Эластичный сервис Amazon Kubernetes (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), пакет AWS и другие.
Истории клиентов
Anthropic создает надежные, интерпретируемые и управляемые системы искусственного интеллекта, которые получат широкие возможности для создания коммерческой и общественной пользы.
«В Anthropic мы работаем над созданием надежных, интерпретируемых и управляемых систем искусственного интеллекта. Несмотря на то, что современные крупные системы искусственного интеллекта общего назначения могут иметь значительные преимущества, они также могут быть непредсказуемыми, ненадежными и непрозрачными. Наша цель — добиться прогресса в решении этих вопросов и внедрить системы, которые будут полезны людям. Наша организация — одна из немногих в мире, которая создает фундаментальные модели исследований глубокого обучения. Эти модели очень сложны, и для их разработки и обучения необходимо эффективно распределить их по большим кластерам графических процессоров. Сегодня мы активно используем инстансы Amazon EC2 P4 и с нетерпением ждем запуска инстансов P5. Мы рассчитываем, что они обеспечат существенные преимущества по сравнению с инстансами P4d и будут доступны в больших масштабах, необходимых для создания больших языковых моделей нового поколения и сопутствующих продуктов».
Том Браун, соучредитель Anthropic
Cohere, лидер в области языкового искусственного интеллекта, дает возможность каждому разработчику и предприятию создавать невероятные продукты с использованием ведущей в мире технологии обработки естественного языка (NLP), сохраняя при этом конфиденциальность и безопасность данных
«Cohere играет ведущую роль в том, чтобы помочь каждому предприятию использовать возможности языкового искусственного интеллекта для изучения, генерации, поиска и обработки информации естественным и интуитивно понятным способом, развертывая ее на нескольких облачных платформах в среде данных, наиболее подходящей для каждого клиента. Инстансы Amazon EC2 P5 на базе NVIDIA H100 позволят компаниям быстрее творить, расти и масштабироваться благодаря своим вычислительным мощностям в сочетании с передовыми возможностями больших языковых моделей Cohere и генеративным искусственным интеллектом».
Эйдан Гомес, генеральный директор Cohere
Миссия Hugging Face — демократизация качественного машинного обучения.
«Являясь самым быстрорастущим сообществом разработчиков ПО с открытым исходным кодом для машинного обучения, мы предоставляем более 150 000 предварительно обученных моделей и 25 000 наборов данных на нашей платформе для обработки естественного языка, машинного зрения, биологии, обучения с подкреплением и многого другого. Благодаря значительному прогрессу в области больших языковых моделей и генеративного искусственного интеллекта мы работаем с AWS над созданием и внедрением моделей будущего с открытым исходным кодом. Мы с нетерпением ждем возможности использования инстансов Amazon EC2 P5 через Amazon SageMaker в сверхкрупных кластерах UltraClusters с EFA в любом масштабе, чтобы ускорить разработку новых базовых моделей искусственного интеллекта для каждого».
Жюльен Шомонд, технический директор и соучредитель Hugging Face
Сведения о продукте
| Размер инстанса | Виртуальные ЦПУ | Память инстанса (ТиБ) | Графический процессор | Память графического процессора | Пропускная способность сети (Гбит/с) | GPUDirect RDMA | Одноранговая связь графических процессоров | Хранилище инстансов (ТБ) | Пропускная способность EBS (Гбит/с) |
|---|---|---|---|---|---|---|---|---|---|
| p5.48xlarge | 192 | 2 | 8 H100 | 640 ГБ HBM3 |
EFA со скоростью 3200 Гбит/с | Да | NVSwitch 900 ГБ/с | 8 × 3.84 SSD на базе NVMe | 80 |
| p5e.48xlarge | 192 | 2 | 8 H200 | 1128 ГБ HBM3e |
EFA со скоростью 3200 Гбит/с | Да | NVSwitch 900 ГБ/с | 8 × 3.84 SSD на базе NVMe | 80 |
Начало работы со сценариями использования машинного обучения
Использование SageMaker
SageMaker – полностью управляемый сервис для создания, обучения и развертывания моделей машинного обучения. При использовании этого сервиса совместно с инстансами P5 можно с легкостью выполнять масштабирование рабочих нагрузок на десятки, сотни и тысячи графических процессоров для быстрого обучения моделей в любом масштабе, не беспокоясь о настройке кластеров и конвейеров обработки данных.
Использование образов DLAMI или контейнеров глубокого обучения
Образы DLAMI предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты, которые позволяют ускорить работу с глубоким обучением в облаке в любых масштабах. Контейнеры для глубокого обучения – это образы Docker, на которые предварительно установлены платформы глубокого обучения. Они позволяют упростить процесс развертывания специальных сред для машинного обучения, избавляя от сложностей с их созданием и оптимизацией.
Использование Amazon EKS или Amazon ECS
Если вы предпочитаете управлять собственными контейнерными рабочими нагрузками с помощью сервисов оркестрации контейнеров, вы можете развернуть инстансы P5 с помощью Amazon EKS или Amazon ECS.
Начало работы со сценариями использования HPC
Инстансы P5 – идеальная платформа для инженерного моделирования, финансовых вычислений, сейсмического анализа, молекулярного моделирования, геномики, рендеринга и прочих рабочих нагрузок высокопроизводительных вычислений, требующих наличия графического процессора. Для работы HPC‑приложений часто требуется высокая производительность сети, хранилище с высокой скоростью чтения и записи, большая емкость памяти, огромные вычислительные мощности либо все эти ресурсы одновременно. Инстансы P5 поддерживают EFAv2, что позволяет HPC‑приложениям, использующим интерфейс передачи сообщений (MPI), масштабироваться до тысяч графических процессоров. Пакет AWS и AWS ParallelCluster помогают разработчикам высокопроизводительных вычислений быстро создавать и масштабировать распределенные приложения для высокопроизводительных вычислений.
Подробнее »
Начало работы с AWS
Обучение с помощью 10-минутных учебных пособий
Знакомьтесь с сервисами и учитесь с помощью простых учебных пособий.
Начать разработку в консоли
Начните разработку и запустите собственный проект в AWS с помощью пошаговых руководств.