Что такое глубокое обучение?
Глубокое обучение – это метод искусственного интеллекта, который учит компьютеры обрабатывать данные таким же способом, как и человеческий мозг. Модели глубокого обучения могут распознавать сложные закономерности в изображениях, тексте, звуках и других данных для получения точных сведений и прогнозов. Методы глубокого обучения можно использовать для автоматизации задач, которые обычно требуют применения человеческого интеллекта, таких как описание изображений или преобразование звукового файла в текст.
Почему глубокое обучение важно?
Искусственный интеллект (ИИ) пытается научить компьютеры мыслить и учиться так же, как это делают люди. Технология глубокого обучения управляет многими приложениями ИИ, используемыми в повседневных продуктах, в том числе следующих.
- Цифровые помощники
- Телевизионные пульты с голосовой активацией
- Выявление мошенничества
- Автоматическое распознавание лиц
Это также важнейший компонент новых технологий, таких как беспилотные автомобили, виртуальная реальность и многое другое.
Модели глубокого обучения – это компьютерные файлы, которые специалисты по обработке данных обучили выполнять задачи с использованием алгоритма или заранее определенного набора шагов. Компании используют модели глубокого обучения для анализа данных и прогнозирования в различных приложениях.
Какова польза от глубокого обучения?
Глубокое обучение имеет несколько вариантов использования в автомобилестроении, аэрокосмической промышленности, производстве, электронике, медицинских исследованиях и других областях. Ниже приведено несколько примеров глубокого обучения.
- В беспилотных автомобилях используются модели глубокого обучения для автоматического обнаружения дорожных знаков и пешеходов.
- Системы защиты используют глубокое обучение для автоматического обозначения областей интереса на спутниковых снимках.
- В анализе медицинских изображений глубокое обучение используется для автоматического обнаружения раковых клеток в ходе медицинской диагностики.
- Заводы используют приложения глубокого обучения, чтобы автоматически выявлять, когда люди или объекты находятся на небезопасном расстоянии от машин.
Эти различные варианты использования глубокого обучения можно разделить на четыре широкие категории: компьютерное зрение, распознавание речи, обработка естественного языка (NLP) и механизмы рекомендаций.
Машинное зрение
Машинное зрение – это способность компьютеров извлекать информацию и смысл из изображений и видео. Компьютеры могут использовать методы глубокого обучения, чтобы распознавать изображения так, как это делают люди. Машинное зрение применяется в нескольких областях, например:
- Модерация контента для автоматического удаления небезопасного или неприемлемого контента из архивов изображений и видео
- Распознавание лиц для идентификации людей и распознавания таких атрибутов, как открытые глаза, очки и растительность на лице
- Классификация изображения для идентификации логотипов бренда, одежды, защитного снаряжения и других деталей изображения
Распознавание речи
Модели глубокого обучения могут анализировать человеческую речь независимо от ее речевых моделей, высоты, тона, языка и акцента. Виртуальные помощники, такие как Amazon Alexa и программное обеспечение для автоматической расшифровки, используют распознавание речи для выполнения следующих задач:
- Помощь операторам колл-центра и автоматическая классификация звонков.
- Преобразование клинических рекомендаций в документацию в режиме реального времени.
- Точные субтитры к видео и записям совещаний для более широкого охвата контента.
Обработка естественного языка
Компьютеры используют алгоритмы глубокого обучения для извлечения информации и значений из текстовых данных и документов. Эта способность обрабатывать естественный текст, созданный человеком, нашла несколько вариантов применения, в том числе в приведенных далее функциях.
- Автоматизированные виртуальные агенты и чат-боты
- Автоматическое резюмирование документов или новостных статей
- Бизнес-аналитика длинных документов: например, электронных писем и форм
- Индексация ключевых фраз, указывающих на настроение: например, положительных и отрицательных комментариев в социальных сетях
Сервисы рекомендаций
Приложения могут использовать методы глубокого обучения для отслеживания активности пользователей и составления персонализированных рекомендаций. Они могут анализировать поведение различных пользователей и помогать им находить новые продукты или услуги. Например, многие компании сферы мультимедиа-и развлечений, такие как Netflix, Fox и Peacock, используют глубокое обучение для предоставления персонализированных рекомендаций по видео.
Как работает глубокое обучение?
Алгоритмы глубокого обучения – это нейронные сети, смоделированные по образцу человеческого мозга. Например, в человеческом мозге есть миллионы взаимосвязанных нейронов, которые совместно изучают и обрабатывают информацию. Точно так же нейронные сети глубокого обучения, или искусственные нейронные сети, состоят из множества слоев искусственных нейронов, которые совместно работают внутри компьютера.
Искусственные нейроны – это программные модули, называемые узлами, которые обрабатывают данные с использованием математических вычислений. Искусственные нейронные сети – это алгоритмы глубокого обучения, которые применяют эти узлы для решения сложных задач.
Из каких компонентов состоят сети глубокого обучения?
Ниже перечислены компоненты глубокой нейронной сети.
Входной слой
Искусственная нейронная сеть содержит несколько узлов, через которые в нее поступают данные. Эти узлы составляют входной слой системы.
Скрытый слой
Входной слой обрабатывает и передает данные на слои, расположенные дальше в нейронной сети. Эти скрытые слои обрабатывают информацию на разных уровнях, адаптируя свое поведение по мере получения новых данных. Сети глубокого обучения имеют сотни скрытых слоев, которые они могут использовать для анализа проблемы с разных точек зрения.
Например, если вам дали изображение неизвестного животного, которое нужно классифицировать, вы бы сравнили его с животными, которых вы уже знаете. Вы посмотрели бы на форму глаз и ушей, размер, количество ног и рисунок шерсти. Вы попытались бы определить закономерности, например такие:
- у животного есть копыта, значит, это может быть корова или олень;
- у животного кошачьи глаза, значит, это может быть какая-то дикая кошка.
Скрытые слои в глубоких нейронных сетях работают аналогичным образом. Если алгоритм глубокого обучения пытается классифицировать изображение животного, каждый из его скрытых слоев обрабатывает разные характеристики животного и пытается точно классифицировать его.
Выходной слой
Выходной слой состоит из узлов, которые выводят данные. Модели глубокого обучения, которые выводят ответы «да» или «нет», имеют на выходном слое только два узла. С другой стороны, модели, которые выводят более широкий диапазон ответов, содержат больше узлов.
Что такое глубокое обучение в контексте машинного обучения?
Глубокое обучение – это часть машинного обучения. Алгоритмы глубокого обучения возникли при попытке повысить эффективность традиционных методов машинного обучения. Традиционные методы машинного обучения требуют значительных человеческих усилий для обучения программного обеспечения. Например, при распознавании изображений животных вам нужно сделать описанное ниже.
- Вручную ввести пометки для сотен тысяч изображений животных.
- Запустить алгоритмы машинного обучения для обработки этих изображений.
- Протестировать эти алгоритмы на наборе неизвестных изображений.
- Определить, почему некоторые результаты неточны.
- Улучшить набор данных, снабдить пометками новые изображения для повышения точности результатов.
Этот процесс называется обучением с учителем. При обучении под наблюдением точность результатов повышается только при наличии обширного и достаточно разнообразного набора данных. Например, алгоритм может точно идентифицировать черных кошек, но не белых кошек, потому что в обучающем наборе данных было больше изображений черных кошек. В этом случае вам нужно будет пометить больше изображений белых кошек и снова обучить модели машинного обучения.
Каковы преимущества глубокого обучения перед машинным обучением?
Сеть глубокого обучения имеет следующие преимущества по сравнению с традиционным машинным обучением.
Эффективная обработка неструктурированных данных
Методы машинного обучения затрудняют обработку неструктурированных данных, таких как текстовые документы, поскольку обучающий набор данных может иметь бесконечное количество вариаций. С другой стороны, модели глубокого обучения могут понимать неструктурированные данные и проводить общие наблюдения без извлечения признаков вручную. Например, нейронная сеть может установить, что два разных входных предложения имеют одно и то же значение:
- Не подскажете как произвести оплату?
- Как мне перевести деньги?
Скрытые связи и обнаружение закономерностей
Приложение глубокого обучения может проводить углубленный анализ больших объемов данных и выявлять новые идеи, для поиска которых оно, возможно, даже не было обучено. Например, рассмотрим модель глубокого обучения, которая обучена анализировать потребительские покупки. В модели есть данные только о товарах, которые вы уже приобрели. Однако искусственная нейронная сеть может предлагать новинки, которые вы не покупали, сравнивая ваши модели покупок с моделями других аналогичных клиентов.
Обучение без учителя
Модели глубокого обучения со временем могут обучаться и улучшаться в зависимости от поведения пользователей. Они не требуют больших вариаций маркированных наборов данных. Например, рассмотрим нейронную сеть, которая автоматически исправляет или предлагает слова, анализируя ваше поведение при наборе текста. Предположим, что она обучена английскому языку и может проверять орфографию английских слов. Однако, если вы часто вводите слова не на английском языке, например danke, нейронная сеть автоматически учит и автоматически исправляет эти слова.
Обработка неустойчивых данных
Неустойчивые наборы данных содержат значительные вариации. Один из примеров – суммы погашения кредита в банке. Нейронная сеть с глубоким обучением также может классифицировать и сортировать эти данные, например, анализируя финансовые транзакции и помечая некоторые из них для обнаружения мошенничества.
С какими трудностями сталкивается глубокое обучение?
Поскольку глубокое обучение – относительно новая технология, ее практическое внедрение сопряжено с определенными проблемами.
Большие объемы высококачественных данных
Алгоритмы глубокого обучения дают лучшие результаты, если обучать их на больших объемах высококачественных данных. Отклонения или ошибки во входном наборе данных могут существенно повлиять на процесс глубокого обучения. Например, в нашем примере с изображением животного модель глубокого обучения может классифицировать самолет как черепаху, если в набор данных были случайно введены изображения, не связанные с животными.
Чтобы избежать таких неточностей, необходимо очистить и обработать большие объемы данных, прежде чем обучать модели глубокого обучения. Для предварительной обработки входных данных требуется хранилище большого объема.
Крупные вычислительные мощности
Для правильного функционирования алгоритмов глубокого обучения требуются крупные вычислительные ресурсы и инфраструктура с достаточной вычислительной мощностью. В противном случае обработка результатов занимает много времени.
Каковы преимущества глубокого обучения в облаке?
Использование алгоритмов глубокого обучения в облачной инфраструктуре позволяет решить многие из этих проблем. Глубокое обучение в облаке можно использовать для ускорения проектирования, разработки и обучения приложений глубокого обучения.
Скорость
Можно ускорить обучение моделей глубокого обучения, используя кластеры графических и центральных процессоров для выполнения сложных математических операций, необходимых для нейронных сетей. Затем вы можете развертывать эти модели глубокого для обработки больших массивов данных с получением все более подходящих результатов.
Возможности масштабирования
Доступность широкого спектра ресурсов по требованию в облаке позволяет практически без ограничений получать использовать аппаратные ресурсы для работы с моделями глубокого обучения при любом масштабе. Ваши нейронные сети могут использовать несколько процессоров, что обеспечит беспрепятственное и эффективное распределение рабочих нагрузок между различными типами процессоров и разным их количеством.
Что такое глубокое обучение на AWS?
Сервисы глубокого обучения AWS используют возможности облачных вычислений, чтобы вы могли масштабировать свои нейронные сети глубокого обучения с меньшими затратами и оптимизировать их для повышения скорости. Чтобы получить полный контроль над конкретными приложениями глубокого обучения, вы можете использовать также описанные ниже сервисы AWS.
- Amazon Rekognition для добавления предварительно обученных или настраиваемых функций машинного зрения в ваше приложение
- Amazon Transcribe для автоматического распознавания и точной расшифровки речи
- Amazon Lex для создания интеллектуальных чат-ботов, которые понимают намерения, поддерживают диалоговый контекст и автоматизируют простые задачи на разных языках.
Начните работу с глубоким обучением в AWS с помощью Amazon SageMaker, чтобы быстро и легко создавать, обучать и развертывать нейронные сети в любом масштабе. Также можно использовать решение AMI глубокого обучения AWS для разработки пользовательских сред и рабочих процессов для глубокого обучения. Создайте бесплатный аккаунт AWS, чтобы начать работу уже сегодня.
Глубокое обучение на AWS: дальнейшие шаги
Получите мгновенный доступ к уровню бесплатного пользования AWS.
