Клиенты Amazon FSx для Lustre

Компания Adobe была основана 40 лет назад с простой целью: создавать инновационные продукты, которые изменят мир. Adobe предлагает революционные технологии, позволяющие людям, где бы они ни находились, фантазировать, творить и воплощать в жизнь любые цифровые проекты.

Задача. Вместо того, чтобы полагаться на модели с открытым исходным кодом, компания Adobe решила обучить собственные базовые модели генеративного искусственного интеллекта, предназначенные для творческих задач.

Решение. Компания Adobe наладила супермагистраль для искусственного интеллекта на AWS, чтобы создать платформу обучения искусственного интеллекта и конвейеры данных для быстрой итерации моделей. Она создала свое решение, используя инстансы Amazon Elastic Compute Cloud (Amazon EC2) P5 и P4d на базе графических процессоров NVIDIA, Эластичный сервис Amazon Kubernetes (Amazon EKS), Магазин эластичных блоков Amazon (Amazon EBS) и Интерфейс эластичной матрицы (EFA) Amazon. Компания Adobe также использовала Amazon Simple Storage Service (Amazon S3) в качестве озера данных и основного репозитория для огромных массивов данных. Высокопроизводительное файловое хранилище Amazon FSx для Lustre позволило Adobe обеспечить быстрый доступ к данным и сделать так, чтобы ресурсы графического процессора никогда не простаивали.

LG AI Research Совместно с ведущими мировыми экспертами в области искусственного интеллекта LG AI Research нацелена на то, чтобы стать лидером следующей эпохи искусственного интеллекта и вместе с вами реализовать перспективы многообещающего будущего, обеспечив оптимальные условия для исследований и используя самые современные технологии искусственного интеллекта.

Задача: LG AI Research было необходимо внедрить в производство свою базовую модель EXAONE за один год. EXAONE, что расшифровывается как «экспертный искусственный интеллект для всех», представляет собой мультимодальную модель с 300 миллиардами параметров, в которой используются как изображения, так и текстовые данные.

Решение: компания LG AI Research использовала Amazon SageMaker для обучения своей крупномасштабной базовой модели и Amazon FSx для Lustre для распределения данных по инстансам с целью ускорения обучения моделей. LG AI Research требовалось запустить в производство свою базовую модель EXAONE за один год. Компания LG AI Research успешно внедрила EXAONE за один год и сократила расходы примерно на 35 процентов, устранив необходимость в отдельной группе по управлению инфраструктурой.

Paige — ведущий поставщик услуг по цифровой трансформации патологии, предлагающий полномасштабное веб-решение с поддержкой искусственного интеллекта, которое обеспечивает эффективность и надежность диагностики рака.

Проблема: локальные решения Paige были использованы до максимума. Их целью было обучение моделей искусственного интеллекта и машинного обучения для лечения онкологической патологии. Компания Paige обнаружила, что чем больше у них вычислительных мощностей, тем быстрее они могут обучать свои модели и решать диагностические проблемы.

Решение: для выполнения рабочих нагрузок по обучению системы машинного обучения компания Paige выбрала инстансы Amazon EC2 P4d на базе графических процессоров NVIDIA A100 Tensor Core, которые обеспечивают высокую производительность для машинного обучения и приложений высокопроизводительных вычислений в облаке. Paige использует Amazon FSx для Lustre — полностью управляемое общее хранилище, созданное на основе популярной высокопроизводительной файловой системы. Компания подключила этот сервис к некоторым корзинам Amazon S3, что помогает командам разработчиков обрабатывать петабайты входных данных машинного обучения без предварительной обработки данных в высокопроизводительных файловых системах вручную. Результатом решения AWS стало то, что Paige может обучать в 10 раз больший объем локальных данных, используя инфраструктуру AWS для машинного обучения.  Кроме того, благодаря Amazon EC2 и Amazon FSx для Lustre внутренние рабочие процессы Paige ускорились на 72%. 

Toyota Research Institute выбирает FSx для Lustre, чтобы сократить продолжительность машинного обучения распознаванию объектов.

Toyota Research Institute (TRI) собирает и обрабатывает большие объемы данных датчиков, полученных во время тестирования автономных транспортных средств (AV). Каждый набор обучающих данных помещается на локальное устройство NAS и передается в Простой сервис хранения данных Amazon (Amazon S3), а затем обрабатывается на мощном вычислительном кластере GPU. Компании TRI требовалась высокопроизводительная файловая система для сопряжения с их вычислительными ресурсами, ускорения обучения моделей машинного обучения и анализа данных для специалистов компании по обработке данных.

Shell предлагает динамичный портфель вариантов энергетики — от нефти, газа и нефтехимии до ветра, солнца и водорода. Shell гордится тем, что поставляет своим клиентам энергию, необходимую для обеспечения их жизни. 

Проблема: Shell использует высокопроизводительные вычисления для построения, тестирования и проверки моделей. С 2020 по 2022 год использование графических процессоров в среднем составляло менее 90%, что привело к задержкам в реализации проектов и ограничениям на эксперименты с новыми алгоритмами.

Решение: Shell расширяет свои локальные вычислительные мощности, используя кластеры Amazon EC2 и Amazon FSx для Lustre в облаке. Это решение дает Shell возможность быстро масштабировать в большую и меньшую сторону и приобретать дополнительные вычислительные мощности только при их необходимости. Графические процессоры Shell теперь используются полностью, что снижает затраты на вычисления и ускоряет тестирование моделей машинного обучения.

Storengy, дочерняя компания группы ENGIE, – ведущий поставщик природного газа. Компания предлагает предприятиям по всему миру услуги по хранению газа, геотермальные решения, безуглеродное производство и технологии хранения энергии.

Чтобы обеспечить надлежащее хранение своих продуктов, Storengy использует высокотехнологичные симуляторы для оценки подземного хранения газа, что требует широкого использования рабочих нагрузок высокопроизводительных вычислений (HPC). Кроме того, компания использует технологию HPC для выполнения работ по разведке и изучению природного газа.

Smartronix использует FSx для Lustre, чтобы обеспечить надежную и высокую производительность развертывания SAS Grid.

Smartronix предоставляет облачные решения, средства кибербезопасности, системную интеграцию, всемирную аналитику C5ISR и аналитику данных, а также специализированное проектирование для многих ведущих мировых коммерческих и федеральных организаций. Smartronix использовала SAS Grid для анализа и предоставления ежедневной статистики COVID по всему штату и обнаружила, что администрировать их самоуправляемую параллельную файловую систему и защищать ее сложно.

Netflix — это стриминговый сервис, который предлагает широкий выбор отмеченных наградами сериалов, художественных и документальных фильмов, аниме и многого другого.

Задача: Netflix использует крупномасштабное распределенное обучение для мультимедийных моделей машинного обучения, для создания постпроизводственных миниатюр, визуальных эффектов и трейлеров для тысяч видео и миллионов клипов. Межузловая репликация и 40-процентный простой графического процессора Netflix приводили к длительному ожиданию.

Решение: Компания Netflix изменила архитектуру конвейера загрузки данных и повысила его эффективность за счет предварительного вычисления всех видео/аудиоклипов. Netflix также выбрала Amazon UltraClusters (инстансы EC2 P4d) для повышения производительности вычислений. Производительность Amazon FSx для Lustre позволяет Netflix перегружать графические процессоры и практически исключать время их простоя. Теперь при использовании предварительных вычислений и FSx для Lustre производительность Netflix улучшилась в 3-4 раза, благодаря чему время обучения модели сократилось с недели до 1-2 дней.

Hyundai Motor Company превратилась во всемирно признанного производителя автомобилей, который экспортирует свои фирменные автомобили более чем в 200 стран.

Проблема: одним из алгоритмов, часто используемых в автономном вождении, является семантическая сегментация, которая заключается в аннотировании каждого пикселя изображения классом объектов. Классом может быть дорога, человек, автомобиль, здание, растительность, небо и проч. Hyundai проверяет точность и собирает дополнительные изображения, чтобы исправить недостаточную эффективность прогнозирования в определенных ситуациях. Однако это может оказаться непростой задачей, поскольку часто не хватает времени на подготовку всех новых данных, при этом остается достаточно времени для обучения модели и соблюдения запланированных сроков.

Решение: Hyundai выбрала Amazon SageMaker для автоматизации обучения моделей и библиотеку Amazon SageMaker для параллелизма данных при переходе от одного графического процессора к распределенному обучению. Они выбрали Amazon FSx для Lustre для обучения моделей, не дожидаясь копий данных. Они также выбрали Amazon S3 в качестве постоянного хранилища данных. Hyundai достигла 93 % эффективности масштабирования при использовании 8 инстансов GPU или всего 64 графических процессоров. FSx для Lustre позволил Hyundai выполнять несколько обучающих заданий и экспериментов с одними и теми же данными без времени ожидания.

Миссия Rivian – навсегда сохранить мир приключений. Мы верим, что есть более ответственный подход к изучению мира, и полны решимости сделать переход к экологичным перевозкам увлекательным процессом.

Чтобы уложиться в сжатые сроки проектирования и снизить потребность в физических прототипах, производитель электромобилей Rivian использует передовые методы моделирования и симуляции. Моделирование с большой вычислительной мощностью дает возможность инженерам тестировать новые концепции и быстро выводить свои проекты на рынок.

Компания Denso разрабатывает датчики изображения для усовершенствованных систем помощи водителю (ADAS), которые облегчают водителям выполнять такие операции, как парковка и смена полосы движения.

Задача: для разработки необходимых моделей машинного обучения при распознавании изображений ADAS компания DENSO создала кластеры графических процессоров в своей локальной среде. Однако несколько инженеров машинного обучения одновременно использовали ограниченные ресурсы графического процессора, что сказалось на производительности, особенно в напряженный период перед выпуском нового продукта.

Решение: внедрив Amazon SageMaker и Amazon FSx для Lustre, компания Denso смогла ускорить создание моделей распознавания изображений ADAS за счет сокращения времени сбора данных, разработки, обучения и оценки моделей.

Компания Joby Aviation использует AWS, чтобы совершить революцию в транспортной сфере.

Задача: инженеры Joby используют высокопроизводительные вычисления (HPC) для проведения тысяч сложных и ресурсоемких симуляций вычислительной гидродинамики (CFD). Каждая симуляция использует сотни ядер процессора и занимает много часов.

Решение: с Эластичным вычислительным облаком Amazon (Amazon EC2) и Amazon FSx для Lustre компания Joby смогла быстрее получать результаты при выполнении рабочих нагрузок CFD по сравнению с выполнением таких задач в локальной высокопроизводительной вычислительной инфраструктуре.

Благодаря Amazon FSx для Lustre компания T-Mobile ежегодно экономит 1,5 миллиона долларов и удваивает скорость рабочих нагрузок SAS Grid.

Проблема: T-Mobile столкнулась с большими затратами на управление и трудностями с производительностью из-за самоуправляемой рабочей нагрузки SAS Grid.

Решение: T-Mobile развернула Amazon FSx для Lustre, полностью управляемую высокопроизводительную файловую систему, для миграции и масштабирования инфраструктуры SAS Grid. Компания T-Mobile воспользовалась тесной интеграцией Amazon FSx и S3, чтобы снизить нагрузку на хранилище и оптимизировать операции.

При создании четвертого сезона драматического сериала «Корона» Netflix столкнулся с неожиданными проблемами: незадолго до начала послесъемочного монтажа спецэффектов мир оказался в изоляции из-за пандемии COVID-19. Собственная команда Netflix по визуальным эффектам внедрила облачный рабочий процесс на AWS, включая файловый сервер Amazon FSx для Lustre для повышения пропускной способности, чтобы всего за 8 месяцев десять художников смогли в удаленном режиме беспрепятственно обработать более 600 кадров для 10 серий сезона. 

Maxar использует AWS, чтобы составлять прогнозы на 58 % быстрее, чем это делает суперкомпьютер для прогнозирования погоды.

Задача: компании Maxar Technologies, надежному партнеру и новатору в области разведки Земли и космической инфраструктуры, необходимо было быстрее предоставлять прогнозы погоды по сравнению с локальным суперкомпьютером.

Решение: Maxar совместно с AWS работали над созданием решения для высокопроизводительных вычислений при помощи ключевых технологий, включая Эластическое вычислительное облако Amazon (Amazon EC2) для безопасных и высоконадежных вычислительных ресурсов, Amazon FSx для Lustre для повышения пропускной способности приложений при чтении и записи, а также AWS ParallelCluster для быстрого создания высокопроизводительных вычислительных сред на AWS.

С помощью AWS компания INEOS TEAM UK быстрее проектирует яхты для Кубка Америки.

Задача: компания INEOS TEAM UK, основанная в 2018 году, ставит перед собой цель привезти в Великобританию старейший международный спортивный трофей в мире – Кубок Америки. Согласно правилам Кубка Америки, испытания на воде запрещено проводить за 150 дней до начала события. Поэтому высокопроизводительное моделирование монокорпусов и крыльев с помощью вычислительной гидродинамики (CFD) играет ключевую роль в создании модели судна, которая одержит победу.  

Решение: используя AWS, компания INEOS TEAM UK может в течение одной недели обработать тысячи проектных моделей судна, участвующего в Кубке Америки. В локальной среде на это требовалось более месяца. В 2021 году компания INEOS TEAM UK приняла участие в 36-м Кубке Америки. Команда использует среду высокопроизводительных вычислений, работающую на спотовых инстансах Amazon EC2.  Чтобы обеспечить высокую производительность дисков для тысяч симуляций, выполняемых каждую неделю, команда также использовала Amazon FSx для Lustre с целью создания быстрой, масштабируемой и безопасной высокопроизводительной файловой системы на основе Простого сервиса хранения данных Amazon (S3).

Hive VFX сокращает первоначальные затраты на студию, поскольку работает как облачная студия визуальных эффектов на AWS.

Задача: Hive нуждалась в высокопроизводительной инфраструктуре для запуска небольшой независимой облачной студии для удаленных художников по всему миру с целью создания качественного контента.

Решение: полностью управляемый сервис Amazon FSx для Lustre, интегрированный с Amazon S3, обеспечил быстрый доступ к вычислительным ресурсам AWS без больших первоначальных инвестиций или опыта собственной ИТ-команды. Благодаря эффективной синхронизации файловых данных и разрешений на файлы между FSx для Lustre и S3 компания Hive VFX может хранить большой объем изображений и обмениваться данными проектов на разных континентах.

С помощью Amazon FSx для Lustre компания Lyell быстрее исследует лечение рака на уровне клеток.

Задача: Lyell предлагает методы лечения рака на уровне клеток, требующие крупномасштабного компьютерного проектирования белков. Как правило, эти рабочие нагрузки выполнялись локально, но компании требовалось более масштабируемое и экономичное решение, поскольку компания могла проводить только один эксперимент в месяц.

Решение: после переноса файловой системы на FSx для Lustre специалисты по обработке данных могут ускорять и замедлять тысячи кластеров высокопроизводительных вычислений, состоящих из инстансов EC2 и файловых систем Amazon FSx, что позволяет им быстро проводить эксперименты с большими объемами обработки данных и платить только за вычислительные ресурсы и хранилище в течение всей рабочей нагрузки.

BlackThorn Therapeutics ускоряет получение информации с помощью FSx для Lustre.

Задача: чтобы обработать данные магнитно-резонансной томографии (МРТ) с использованием стандартных облачных файловых систем типа «сделай сам», требовалось много ресурсов и времени. BlackThorn нуждалась в эффективном вычислительном решении для совместного хранения файлов, с помощью которого можно было бы упростить рабочие процессы обработки данных и машинного обучения.

Решение: Amazon FSx для Lustre интегрирован с Amazon S3 и Amazon SageMaker, что обеспечивает быструю обработку наборов обучающих данных машинного обучения и беспрепятственный доступ к вычислительным ресурсам с помощью инстансов Amazon EC2.

С помощью Amazon FSx для Lustre компания Qubole повышает надежность хранения данных и снижает затраты.

Задача: компания Qubole искала для своих клиентов высокопроизводительное решение для хранения данных с целью обработки аналитических задач и рабочих нагрузок искусственного интеллекта и машинного обучения. Им нужно было легко хранить и обрабатывать промежуточные данные, хранящиеся в их спотовом парке EC2.

Решение: компания Qubole использовала Amazon FSx для Lustre для хранения и обработки промежуточных данных через параллельную высокоскоростную файловую систему.