Вопросы и ответы по Amazon Bedrock

Агенты Amazon Bedrock – это полностью управляемые возможности, позволяющие разработчикам создавать приложения на базе генеративного искусственного интеллекта, которые могут выполнять сложные задачи в самых разных сценариях использования и предоставлять актуальные ответы на основе собственных источников знаний. Несколькими простыми действиями агенты Amazon Bedrock автоматически разбивают задачи и создают план оркестрации, избавляя от написания кода вручную. Агент безопасно подключается к данным компании через API, автоматически преобразует их в машиночитаемый формат и дополняет запрос необходимой информацией для получения наиболее точного ответа. Затем агенты могут автоматически вызывать API для выполнения запроса пользователя. Например, производственная компания может решить разработать приложение с использованием генеративного искусственного интеллекта, которое автоматизирует отслеживание уровней запасов, данных о продажах и информации о цепочке поставок, а также может рекомендовать оптимальные точки и объемы повторных заказов для максимальной эффективности. Благодаря полностью управляемым возможностям агенты Amazon Bedrock избавляют от необходимости управлять системной интеграцией и выделением инфраструктуры, позволяя разработчикам в полной мере использовать генеративный искусственный интеллект в своей организации.

С помощью агентов Amazon Bedrock можно безопасно подключать базовые модели к источникам данных вашей компании. С помощью базы знаний можно использовать агентов для предоставления FM в Amazon Bedrock доступа к дополнительным данным, которые помогают модели генерировать более релевантные, контекстные и точные ответы без постоянного переобучения FM. На основе вводимых пользователем данных агенты определяют соответствующую базу знаний, извлекают определенную информацию и добавляют ее в строку ввода, предоставляя модели больше контекстной информации для завершения задания.

Агенты Amazon Bedrock помогут повысить производительность, улучшить качество обслуживания и автоматизировать рабочие процессы (например, обработку страховых требований).

Благодаря агентам разработчики получают полную поддержку для мониторинга, шифрования, а также управления разрешениями пользователей, версиями и вызовами API, и при этом у них нет необходимости писать код. Агенты Amazon Bedrock автоматизируют подсказки по цепочке рассуждений и оркестрацию задач, запрошенных пользователями. Разработчики могут использовать созданный агентом шаблон подсказки в качестве основы и дорабатывать его для повышения удобства пользователей. Они могут обновлять данные, вводимые пользователем, план оркестрации и ответ базовой модели. Благодаря доступу к шаблону подсказки разработчики могут лучше контролировать оркестрацию агентов.

Благодаря полностью управляемым агентам не нужно беспокоиться о выделении инфраструктуры или управлении ею, а также можно быстрее запускать приложения в производство.

Весь контент клиентов, который обрабатывается сервисом Amazon Bedrock, шифруется и сохраняется в той области AWS, в которой вы используете Amazon Bedrock.

Нет. Пользовательские входные и выходные модели не передаются любым поставщикам моделей.

Amazon Bedrock включает ряд возможностей для соблюдения требований безопасности и конфиденциальности. На Amazon Bedrock распространяются общие стандарты соответствия, такие как стандарты Fedramp среднего уровня, Средства управления сервисной организацией (SOC), политики Международной организации по стандартизации (ISO), стандарты соответствия Закону о передаче и защите данных учреждений здравоохранения (HIPAA). Кроме того, клиенты могут использовать Bedrock в соответствии с Общим регламентом по защите данных (GDPR). Amazon Bedrock входит в состав отчетов SOC 1, 2, 3, что позволяет клиентам получить представление о наших средствах управления безопасностью. Мы подтверждаем соответствие требованиям путем тщательного стороннего аудита наших средств управления AWS. Amazon Bedrock входит в число сервисов AWS, соответствующих требованиям стандартов ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 и ISO 20000. Amazon Bedrock имеет сертификат CSA Security Trust Assurance and Risk (STAR) уровня 2, который подтверждает использование передовых методик и уровень безопасности предложений в облаке AWS. В Amazon Bedrock ваш контент не используется для улучшения базовых моделей и не передается сторонним поставщикам моделей. С помощью AWS PrivateLink можно установить частное соединение между Amazon VPC и Amazon Bedrock без необходимости передавать свои данные через Интернет.

Нет. AWS и сторонние поставщики моделей не будут использовать входные или выходные данные Amazon Bedrock для обучения Amazon Nova, Amazon Titan либо сторонних моделей.

Amazon Bedrock поддерживает пакеты SDK для служб выполнения. Пакеты SDK для iOS и Android, а также Java, JS, Python, CLI, .Net, Ruby, PHP, Go и C++ поддерживают как текстовый, так и речевой ввод.

Потоковая передача поддерживается во всех пакетах SDK.

Ознакомиться с действующими тарифами можно на странице с ценами на Amazon Bedrock.

Поддержка сервиса Amazon Bedrock зависит от договора на поддержку AWS и осуществляется для планов поддержки «Для разработчиков», «Для бизнеса» и «Корпоративный».

Метрики CloudWatch можно использовать для отслеживания входных и выходных токенов.

Клиенты видят счет за AWS Marketplace из-за некоторых бессерверных моделей Bedrock и моделей Bedrock Marketplace. Это связано с тем, что эти модели продаются сторонними поставщиками как «сторонний контент», как описано в разделе 50.12 Условий обслуживания AWS.

Amazon Bedrock позволяет индивидуально настраивать FM, сохраняя контроль над использованием и шифрованием данных. Amazon Bedrock создает отдельную частную копию базовой модели (FM) и обучает ее. Ваши данные, включая подсказки, информацию, используемую для дополнения подсказок, и ответы от FM. Пользовательские FM остаются в регионе, где обрабатывается вызов API.

Во время настройки модели ваши данные никогда не попадают в общедоступный Интернет, никогда не покидают сеть AWS, безопасно передаются через VPC и шифруются при передаче и хранении. При этом Amazon Bedrock применяет те же средства контроля доступа к AWS, что и любые другие наши сервисы.

Мы запустили непрерывное предварительное обучение моделей Amazon Titan Text Express и Amazon Titan на Amazon Bedrock. Непрерывное предварительное обучение позволяет продолжить процесс обучения на базовой модели Amazon Titan с использованием большого количества немаркированных данных. Этот тип обучения помогает адаптировать модель, переходя от общих предметных областей к более конкретным, таким как медицина, юриспруденция, финансы и т. д., с сохранением большинства возможностей базовой модели Amazon Titan. 

Предприятиям может требоваться создавать модели для задач в определенной предметной области. Базовые модели невозможно обучить техническому жаргону, используемому в такой предметной области. Поэтому точная настройка базовой модели напрямую требует большого количества маркированных обучающих записей и большей продолжительности обучения. Чтобы облегчить эту задачу, клиент может предоставить большие объемы немаркированных данных для задания непрерывного предварительного обучения. Это задание поможет адаптировать базовую модель Amazon Titan к новой предметной области. Затем клиент может доработать новую предварительно обученную пользовательскую модель для выполнения последующих задач, используя меньшее количество маркированных обучающих записей и меньшую продолжительность обучения. 

Требования Amazon Bedrock к непрерывному предварительному обучению (CPT) и точной настройке (FT) очень похожи. По этой причине мы решили создать универсальные API, поддерживающие как предварительное обучение, так и точную настройку. Создание универсальных API сокращает время обучения и помогает клиентам использовать стандартные функции, такие как Amazon Event Bridge для отслеживания длительных заданий, интеграция с Amazon S3 для получения данных обучения, теги ресурсов и шифрование моделей. 

Непрерывное предварительное обучение поможет вам адаптировать модели Amazon Titan к данным, специфичным для вашей предметной области, сохраняя при этом базовые функции моделей Amazon Titan. Чтобы создать задание непрерывного предварительного обучения, перейдите на консоль Amazon Bedrock и нажмите «Пользовательские модели». Вы перейдете на страницу пользовательской модели с двумя вкладками: «Модели» и «Задания обучения». На обеих вкладках справа имеется раскрывающееся меню «Настроить модель». Выберите «Непрерывное предварительное обучение» в выпадающем меню, чтобы перейти к разделу «Создать задание на непрерывное предварительное обучение». Вы указываете исходную модель, имя, шифрование модели, входные данные, гиперпараметры и выходные данные. Кроме того, вы можете указать теги, а также сведения о ролях AWS Identity and Access Management (IAM) и политиках ресурсов для задания.

Семейство моделей Amazon Titan, эксклюзивно представленное в Amazon Bedrock, вобрало в себя 25-летний опыт компании Amazon по внедрению инноваций в области искусственного интеллекта и машинного обучения во всех аспектах своей деятельности. Базовые модели (FM) Amazon Titan предоставляют в распоряжение клиентов широкий выбор высокопроизводительных графических, мультимодальных и текстовых моделей посредством полностью управляемого API. Модели Amazon Titan создаются AWS и предварительно обучены на больших наборах данных: это мощные универсальные модели, предназначенные для поддержки различных сценариев использования, а также для ответственного использования искусственного интеллекта. Используйте их в исходном виде или самостоятельно настраивайте их, используя собственные данные. Подробнее об Amazon Titan.

Более подробные сведения о данных, обрабатываемых для разработки и обучения базовых моделей Amazon Titan, можно найти на странице конфиденциальности и обучения моделей Amazon Titan.

Вы можете получать контент из различных источников, включая Интернет, Amazon Simple Storage Service (Amazon S3), Confluence (предварительная версия), Salesforce (предварительная версия) и SharePoint (предварительная версия). Кроме того, можно программно принимать потоковые данные или данные из неподдерживаемых источников. Вы также можете подключиться к своим структурированным источникам данных, таким как хранилище данных Redshift и каталог данных AWS Glue.

Базы данных Amazon Bedrock предоставляют управляемый естественный язык в SQL для преобразования естественного языка в выполнимые SQL-запросы и извлечения данных, что позволяет создавать приложения на основе данных из этих источников.

Да, управление контекстом сеанса встроено, что позволяет вашим приложениям сохранять контекст при нескольких взаимодействиях, что очень важно для поддержки многооборотных разговоров.

Да, вся полученная информация содержит цитаты, повышающие прозрачность и сводящие к минимуму риск галлюцинаций в полученных ответах.

Базы знаний Amazon Bedrock поддерживают мультимодальную обработку данных, что позволяет разработчикам создавать приложения на базе генеративного искусственного интеллекта, анализирующие текстовые и визуальные данные, включая изображения, диаграммы, схемы и таблицы. В ответах модели можно использовать не только текст, но и визуальные элементы, что позволяет получить более точные и контекстуально релевантные ответы. Кроме того, атрибуция источников ответов включает визуальные элементы, повышающие прозрачность ответов и доверие к ним.

Базы знаний Amazon Bedrock могут обрабатывать визуально насыщенные документы в формате PDF, которые могут содержать изображения, таблицы, схемы и диаграммы. Для данных, содержащих только изображения, базы знаний Bedrock поддерживают стандартные форматы изображений, такие как JPEG и PNG, предоставляя возможности поиска, позволяющие пользователям извлекать релевантные изображения на основе текстовых запросов.

У клиентов есть три варианта анализа баз знаний Bedrock. Для обработки только текста встроенный парсер Bedrock по умолчанию доступен без доплаты, что идеально подходит для случаев, когда мультимодальная обработка данных не требуется. Для анализа мультимодальных данных можно использовать автоматизацию обработки данных Amazon Bedrock (Bedrock Data Automation – BDA) или базовые модели. Подробные сведения см. в документации о продукте. 

База знаний Amazon Bedrock справляется с различными сложностями рабочего процесса, такими как сравнение контента, обработка сбоев, контроль пропускной способности и шифрование, обеспечивая безопасную обработку данных и управление ими в соответствии со строгими стандартами безопасности AWS.

Оценка модели в Amazon Bedrock позволяет оценить, сравнить и выбрать наилучшую базовую модель (FM) для вашего варианта использования без лишних усилий. В Amazon Bedrock можно выбрать автоматическую оценку и оценку с участием человека. Можно использовать автоматическую оценку с заранее заданными показателями, такими как точность, надежность и токсичность. Вы можете использовать рабочие процессы оценки людьми для получения субъективных или индивидуальных показателей, таких как дружелюбие, стиль и соответствие голосу бренда. Для оценки с участием человека можно привлечь своих штатных сотрудников или команду специалистов AWS. При оценке модели Amazon Bedrock используются встроенные тщательно подобранные наборы данных. Вы также можете использовать собственные наборы данных.

С помощью автоматических оценок можно оценить множество заранее заданных метрик, таких как точность, надежность и токсичность. Также можно использовать рабочие процессы оценки человеком для субъективных или пользовательских метрик, таких как дружественность, релевантность, стиль и соответствие голосу бренда.

Автоматическая оценка позволяет быстро сузить круг доступных базовых моделей по стандартным критериям (таким как точность, токсичность и надежность). Оценки, выполняемые человеком, часто используются, чтобы оценить более специфические или субъективные критерии, требующие вынесения суждения человеком, а также когда автоматическая оценка невозможна (например, при оценке голоса бренда, творческого замысла, дружественности).

Можно быстро оценить модели Amazon Bedrock на соответствие таким метрикам, как точность, надежность и токсичность, используя тщательно подобранные встроенные наборы данных или собственные наборы данных подсказок. После загрузки наборов данных в модели Amazon Bedrock итоговые ответы моделей проходят количественную оценку с помощью алгоритмов оценки по каждому параметру. Внутренний механизм объединяет отдельные количественные оценки ответов по подсказкам в сводные баллы и представляет их в виде простых для понимания визуальных отчетов.

Amazon Bedrock позволяет в несколько шагов настроить рабочие процессы проверки человеком и привлечь собственных сотрудников либо воспользоваться помощью группы экспертов под управлением AWS. Благодаря удобному интерфейсу Amazon Bedrock можно просматривать ответы моделей и оставлять отзывы, нажимая кнопку «палец вверх» или «палец вниз», выставляя оценки по шкале от 1 до 5, выбирая наилучший из нескольких ответов или располагая подсказки в порядке возрастания или убывания. Например, участнику рабочей группы можно показать, как две модели отвечают на одну и ту же подсказку, а затем попросить выбрать модель, которая выдает более точные, релевантные или стилистически правильные результаты. Можно указать важные для вас критерии оценки, настроив инструкции и кнопки, которые будут отображаться для рабочей группы в пользовательском интерфейсе оценки. Кроме того, пользователям можно предоставить подробные инструкции с примерами и описанием общей цели оценки модели, чтобы они могли выполнять свою работу соответствующим образом. Этот метод полезен для оценки субъективных критериев, которые требуют вынесения суждения человеком или наличия более специфических знаний в предметных областях, при этом которые нелегко оценить с помощью автоматизированных средств.

Ограничения Amazon Bedrock помогают реализовать средства защиты для приложений на базе генеративного искусственного интеллекта, исходя из ваших сценариев использования и политик ответственного использования ИИ. Ограничения помогают контролировать взаимодействие между пользователями и базовыми моделями (FM), отфильтровывая нежелательный и вредоносный контент, а также вскоре смогут редактировать информацию, позволяющую установить личность (PII), тем самым повышая безопасность и конфиденциальность контента в приложениях на основе генеративного искусственного интеллекта. Можно создать несколько ограничений с различными настройками, адаптированными к конкретным сценариям использования. Кроме того, в рамках ограничений можно непрерывно отслеживать и анализировать вводимые пользователями исходные данные и ответы базовых моделей, которые могут нарушать правила, установленные.

Ограничения помогают определить набор политик, которые помогут защитить приложения, основанные на генеративном искусственном интеллекте. В ограничении можно настроить следующие политики.

• Проверки контекстных обоснований: помогают выявлять и фильтровать галлюцинации, то есть необоснованные ответы (которые содержат, например, фактические неточности или информацию неизвестного происхождения), а также ответы, которые не соответствуют запросу или инструкции пользователя.
• Проверки автоматизированных рассуждений: помогают выявлять фактические неточности в генерируемом контенте, предлагать исправления и объяснять, почему ответы верны, сопоставляя их со структурированным математическим представлением знаний, называемым политикой автоматизированных рассуждений.
• Фильтры контента: помогают настроить пороговые значения для обнаружения и фильтрации вредоносного текстового контента по таким категориям, как ненависть, оскорбления, сексуальное поведение, насилие, неправомерное поведение и мгновенные атаки. Кроме того, фильтры контента могут обнаруживать и фильтровать вредоносный графический контент в этих категориях, тем самым помогая создавать безопасные мультимодальные приложения.
• Запрещенные темы: помогают определить набор тем, нежелательных в контексте вашего приложения. Например, помощник в системе онлайн-банкинга можно разработать таким образом, чтобы он не проводил консультации по инвестициям.
• Фильтры слов: помогают определить набор слов, которые будут заблокированы при вводе данных пользователем и в ответах, генерируемых FM.
• Фильтр конфиденциальной информации: помогает реагировать на конфиденциальную информацию, например на набор персональных данных, которые можно отредактировать в ответах, генерируемых FM. В зависимости от варианта использования ограничения также могут помочь заблокировать ввод данных пользователем, если они содержат информацию, позволяющую установить личность.

Ограничения Amazon Bedrock работают с широким спектром моделей, включая модели FM, поддерживаемые Amazon Bedrock, настроенные модели, а также модели, самостоятельно размещенные за пределами Amazon Bedrock. Пользовательские входы и выходы модели можно оценивать независимо для сторонних и автономных моделей с помощью API ApplyGuardrail. Ограничения Amazon Bedrock также можно интегрировать с агентами Amazon Bedrock и базами знаний Amazon Bedrock, чтобы безопасно создавать приложения на базе генеративного искусственного интеллекта с соблюдением политик ответственного использования ИИ

AWS предлагает неограниченную компенсацию за результаты интеллектуальной деятельности по претензиям на авторские права в отношении генеративных выходных данных, полученных в следующих общедоступных сервисах Amazon на базе генеративного искусственного интеллекта: модели Amazon Titan и другие сервисы, перечисленные в разделе 50.10 с описанием условий обслуживания («Сервисы на базе генеративного искусственного интеллекта, для которых предусмотрена компенсация»). Это означает, что клиенты защищены от претензий третьих лиц, предполагающих нарушение авторских прав в отношении выходных данных Сервисов генеративного искусственного интеллекта, для которых предусмотрена компенсация, полученных из исходных данных или других данных, предоставленных клиентом. Клиенты также должны ответственно использовать сервисы, например не вводить данные, нарушающие чьи-либо права, и не отключать функции фильтрации в сервисе.

Есть пять политик ограничений, каждая из которых имеет разные готовые к использованию средства защиты.

• Фильтры контента. Эта политика имеет 6 готовых категорий: «ненависть», «оскорбление», «сексуальный подтекст», «насилие», «неправомерное поведение» (включая преступную деятельность) и «атаки через запросы» (взлом и внедрение запросов). Каждая категория может иметь дополнительные настраиваемые пороговые значения агрессивности фильтрации: низкие, средние, высокие – как для текстового, так и для графического контента.
• Запрещенная тема. Клиент может указывать любые темы, используя простое описание на естественном языке.
• Фильтр конфиденциальной информации. В этой политике есть более 30 готовых к использованию ограничений для информации, позволяющей установить личность. Ее можно дополнительно настроить, добавив конфиденциальную информацию клиента.
• Фильтры слов. По умолчанию они фильтруют ненормативную лексику, и их можно дополнительно настроить, добавив слова на свой выбор.
• Контекстные проверки обоснования. Их можно использовать для выявления галлюцинаций в приложениях RAG, для резюмирования и поддержания разговора в приложении, если есть возможность использовать исходную информацию в качестве справочной для проверки ответа модели.

Есть пять политик ограничений, каждая из которых имеет разные готовые к использованию средства защиты.

• Фильтры контента. Эта политика имеет 6 готовых категорий: «ненависть», «оскорбление», «сексуальный подтекст», «насилие», «неправомерное поведение» (включая преступную деятельность) и «атаки через запросы» (взлом и внедрение запросов). Для каждой категории можно дополнительно настраивать уровни агрессивности контента для фильтрации: низкий/средний/высокий.
• Запрещенная тема. Клиент может указывать любые темы, используя простое описание на естественном языке.
• Фильтр конфиденциальной информации. В этой политике есть более 30 готовых к использованию ограничений для информации, позволяющей установить личность. Ее можно дополнительно настроить, добавив конфиденциальную информацию клиента.
• Фильтры слов. По умолчанию они фильтруют ненормативную лексику, и их можно дополнительно настроить, добавив слова на свой выбор.
• Контекстные проверки обоснования. Их можно использовать для выявления галлюцинаций в приложениях RAG, для резюмирования и поддержания разговора в приложении, если есть возможность использовать исходную информацию в качестве справочной для проверки ответа модели.

Базовые модели имеют встроенные средства защиты. Они являются средствами защиты по умолчанию, связанными с каждой моделью. Эти встроенные средства защиты НЕ являются ограничениями Amazon Bedrock. Ограничения Amazon Bedrock – это дополнительный уровень индивидуальных средств защиты, которые могут применять клиенты в зависимости от своих требований к приложению и политик ответственного использования ИИ.

Ограничения Amazon Bedrock включают определение номеров социального страхования и телефонов, а также другой информации, позволяющей установить личность (PII): существует более 30 ограничений для таких типов данных, готовых к использованию. Полный список см. здесь.

За использование ограничений Amazon Bedrock взимается отдельная плата. Их можно применять для операций как ввода, так и вывода. Цены указаны внизу этой страницы. Цены на поддержку изображений с помощью контентных фильтров (в настоящее время в общедоступной предварительной версии) будут объявлены во время общедоступной версии.

За использование ограничений Amazon Bedrock взимается отдельная плата. Их можно применять для операций как ввода, так и вывода. Цены указаны внизу этой страницы.

Да, API ограничений Amazon Bedrock помогают клиентам проводить автоматическое тестирование. А такой инструмент, как проектировщик контрольных примеров, возможно, лучше использовать перед развертыванием ограничений в рабочей среде. Такого встроенного инструмента пока нет. Для постоянного мониторинга трафика в рабочей среде с помощью инструмента ограничений можно получать подробные журналы всех нарушений по каждой операции ввода и вывода, чтобы клиенты могли тщательно следить за всеми действиями своего приложения с генеративным искусственным интеллектом. Эти журналы можно хранить в CloudWatch или S3 и использовать для создания настраиваемых информационных панелей в соответствии с требованиями клиентов.

Используя политику автоматизированных рассуждений, проверки автоматизированных рассуждений позволяют выявлять как точные утверждения, так и фактические неточности в контенте. Как для точных, так и для неточных утверждений проверка автоматизированных рассуждений предоставляет достоверные и логические объяснения результатов. Проверка автоматизированных рассуждений требует предварительного участия эксперта в предметной области для создания политики и поддерживает только контент, определяющий правила. С другой стороны, при проверках контекстных обоснований в рамках ограничений Bedrock используются методы машинного обучения, позволяющие точно соответствовать документам, предоставленным в качестве входов из базы знаний, без дополнительной предварительной работы. Как проверки автоматизированных рассуждений, так и проверки контекстных обоснований предоставляют свои отзывы в выходных данных API ограничения. Вы можете использовать обратную связь для обновления созданного контента.

Amazon Bedrock Marketplace предлагает клиентам более 100 популярных, новых или специализированных моделей, а также бессерверные базовые модели Amazon Bedrock, позволяющие клиентам легко создавать и оптимизировать приложения на базе генеративного искусственного интеллекта. В консоли Amazon Bedrock клиенты смогут найти широкий каталог моделей FM, предлагаемых различными поставщиками. Затем эти модели можно развернуть на полностью управляемых адресах, где вы сможете выбрать желаемое количество и типы инстансов. После развертывания моделей к ним можно получить доступ через API вызова Amazon Bedrock. Для моделей с преобразованием текста в текст, настроенных в чате, клиенты могут использовать наш новый API Converse – унифицированный API, который позволяет абстрагировать различия FM и переключать модели с помощью одного изменения параметра. Если применимо, модели можно использовать с игровой площадкой Amazon Bedrock, агентами, базами знаний, оперативным управлением, оперативными потоками, ограничениями и оценкой моделей.

Используйте Amazon Bedrock Marketplace, чтобы воспользоваться мощными моделями, которые быстро появляются по мере того, как индустрия генеративного искусственного интеллекта продолжает внедрять инновации. Вы можете быстро получить доступ к популярным, новым и специализированным моделям, адаптированным к вашим уникальным требованиям, и развернуть их, что поможет ускорить выход на рынок, повысить точность или снизить стоимость рабочих процессов на базе генеративного искусственного интеллекта. Вы можете получить доступ к моделям через унифицированные API Bedrock и, если они совместимы с API Bedrock Converse, использовать их нативно с инструментами Bedrock, такими как агенты, базы знаний и ограничения. Amazon Bedrock Marketplace можно легко подключить к бессерверным моделям Amazon Bedrock из одного места.
 

Перейдите на страницу каталога моделей Amazon Bedrock в консоли Bedrock, где вы сможете найти списки моделей Amazon Bedrock Marketplace, а также бессерверные модели Amazon Bedrock. После выбора модели Amazon Bedrock Marketplace, которую необходимо использовать, можно подписаться на модель на странице со сведениями о модели, приняв EULA и цены, установленные поставщиком. После осуществления подписки, что обычно занимает несколько минут, можно развернуть модель на полностью управляемый адрес SageMaker, нажав кнопку Deploy (Развернуть) на странице сведений о модели или используя API. На этапе развертывания можно выбрать нужное количество и типы инстансов в соответствии с рабочей нагрузкой. После настройки адреса, что обычно занимает 10-15 минут, можно начать делать логические выводы на адрес и использовать модель в расширенных инструментах Bedrock при условии, что модель совместима с API Bedrock Converse.

Модели с архитектурами, поддерживаемыми функцией пользовательского импорта моделей (Mistral, Mixtral, Flan и Llama2/3/3.1/3.2), можно настроить в SageMaker и сделать доступными в Amazon Bedrock с помощью импорта пользовательских моделей. Модели, которые не поддерживаются функцией импорта пользовательских моделей, по-прежнему можно настроить в SageMaker. Однако настроенную версию этих моделей нельзя использовать в Amazon Bedrock.

Что такое автоматизация обработки данных Bedrock? Автоматизация обработки данных Amazon Bedrock – это функция Bedrock на базе технологии генеративного искусственного интеллекта, которая упрощает разработку приложений на базе генеративного искусственного интеллекта и автоматизирует рабочие процессы, связанные с документами, изображениями, аудио и видео. Использование автоматизации обработки данных Bedrock позволяет разработчикам сократить время и усилия, затрачиваемые на разработку, упростить разработку интеллектуальных решений для обработки документов, анализ мультимедийных данных и других мультимодальных решений для автоматизации на основе данных. Автоматизация обработки данных Bedrock обеспечивает наиболее высокую в отрасли точность при меньших затратах по сравнению с альтернативными решениями, а также предоставляет такие функции, как визуальное обоснование с показателем доверия для наглядности и встроенная система нейтрализации галлюцинаций. Благодаря этому можно получать достоверную и точную информацию из неструктурированных мультимодальных источников данных. Клиенты могут легко настроить вывод данных для автоматизации обработки данных Bedrock в целях получения конкретной и точной информации в согласованных форматах, необходимых их бизнес-системам и приложениям. Разработчики могут начать работу с автоматизацией обработки данных Bedrock на консоли Amazon Bedrock, где можно настроить и адаптировать выходы, используя собственные образцы данных. Затем они могут интегрировать унифицированный API мультимодального вывода автоматизации обработки данных Bedrock в свои приложения для обработки неструктурированного контента в производственных масштабах с высокой точностью и согласованностью. Автоматизация обработки данных Bedrock также интегрирована с базами знаний Bedrock, что упрощает создание разработчиками значимой информации на основе неструктурированного мультимодального содержимого для получения более релевантных ответов на запросы дополненной извлеченными данными генерации (RAG).

Автоматизация обработки данных Bedrock позволяет легко преобразовывать неструктурированные корпоративные данные в выходные форматы для конкретных приложений, которые могут использоваться приложениями на базе генеративного искусственного интеллекта и рабочими процессами ETL. Заказчикам больше не нужно тратить время и силы на управление и координацию нескольких моделей, текстовых запросов на проектирование, установку ограничений или объединение выходов в соответствии с требованиями последующих систем. Автоматизация обработки данных Bedrock обеспечивает высокоточную, последовательную и экономичную обработку неструктурированных данных. Автоматизация обработки данных Bedrock разработана с учетом требований ответственного использования ИИ и предоставляет клиентам ключевые функции, такие как визуальное обоснование и оценки достоверности, которые позволяют легко интегрировать автоматизацию обработки данных Bedrock в корпоративные рабочие процессы.

Возможности автоматизации обработки данных Bedrock доступны через полностью управляемый API, который клиенты могут легко интегрировать в свои приложения. Заказчикам не нужно беспокоиться о масштабировании базовых вычислительных ресурсов, выборе и оркестрации моделей или управлении текстовыми запросами для базовых моделей.

Чертеж – это функция, с помощью которой заказчики определяют свои требования к выходам на основе естественного языка или редактора схем. Он включает список полей, которые необходимо извлечь, формат данных для каждого поля и инструкции на естественном языке для каждого поля. Например, разработчики могут ввести команду «Create a blueprint for invoices with the following fields: tax, dueDate, ReceiptDate» (Создать схему счетов со следующими полями: налог, срок оплаты, дата получения) или «Confirm the invoice total matches the sum of line items» (Подтвердите соответствие суммы счетов-фактур сумме строк). Они ссылаются на схемы как часть вызовов API логических выводов, чтобы система возвращала информацию в формате, описанном в схеме.

Документы

Автоматизация обработки данных Bedrock поддерживает как стандартный выход, так и настраиваемый выход документов.

• Стандартный выход обеспечит извлечение текста из документов и генеративный выход, такой как сводка документа и подписи к таблицам, рисункам, диаграммам. Выходные данные возвращаются в порядке чтения и могут быть дополнительно сгруппированы по элементам макета, которые будут включать заголовок, нижние колонки, заголовки, таблицы, рисунки, диаграммы. Стандартный выход будет использоваться для интеграции BDA с базами знаний Bedrock.
• Настраиваемый выход использует чертежи, которые определяют требования к выходам на естественном языке или в редакторе схем. Чертежи включают список полей для извлечения и формат данных для каждого поля.

Автоматизация обработки данных Bedrock поддерживает форматы PDF, PNG, JPG, TIFF, до 1500 страниц и максимальный размер файла 500 МБ на запрос API. По умолчанию BDA будет поддерживать 50 одновременных заданий и 10 транзакций в секунду на каждого клиента.

Образы

Автоматизация обработки данных Bedrock поддерживает как стандартный выход, так и настраиваемый выход изображений.

• Стандартные выходные данные будут содержать сводку, обнаруженный контент для взрослых, обнаруженный текст, обнаруженный логотип и таксономию рекламы: IAB для изображений. Стандартный выход будет использоваться для интеграции BDA с базами знаний Bedrock.
• Настраиваемый выход использует чертежи, которые определяют требования к выходам на естественном языке или в редакторе схем. Чертежи включают список полей для извлечения и формат данных для каждого поля.

Автоматизация обработки данных Bedrock поддерживает JPG, PNG, максимальное разрешение 4K и максимальный размер файла 5 МБ на запрос API. По умолчанию BDA поддерживает до 20 параллельных изображений со скоростью 10 транзакций в секунду (TPS) на каждого клиента.

Видео

Автоматизация обработки данных Bedrock поддерживает оба стандартных видеовыхода.

• Стандартные выходные данные будут содержать полное описание видео, сегментацию части, краткое описание части, полную расшифровку аудио, идентификацию выступающих, обнаруженный контент для взрослых, обнаруженный текст, обнаруженный логотип и таксономию видеороликов Некоммерческого партнерства содействия развитию интерактивной рекламы (IAB). Полный обзор видео оптимизирован для контента с описательными диалогами, таких как обзоры продуктов, тренинги, выпуски новостей и документальные фильмы.

Автоматизация обработки данных Bedrock поддерживает MOV и MKV с H.264, VP8, VP9, максимальной продолжительностью видео 4 часа и максимальным размером файла 2 Гб на запрос API. По умолчанию BDA поддерживает до 20 параллельных видео со скоростью 10 транзакций в секунду (TPS) на одного клиента.

Аудио

Автоматизация обработки данных Bedrock поддерживает оба стандартных аудиовыхода.

• Стандартный вывод будет содержать краткое содержание, включая краткое описание частей, полную транскрипцию и обнаружение явной модерации содержимого аудиофайлов.

Автоматизация обработки данных Bedrock поддерживает FLAC, M4A, MP3, MP4, Ogg, WebM, WAV, с максимальной продолжительностью звука 4 часа и максимальным размером файла 2 ГБ на запрос API.

Автоматизация обработки данных Amazon Bedrock обычно доступна в регионах AWS «Запад США» (Орегон) и «Восток США» (Северная Вирджиния).

Автоматизация обработки данных Amazon Bedrock в настоящее время поддерживает английский язык. Поддержка других языков появится в течение 2025 года.

Доступ к Amazon Bedrock можно получить через Консоль управления AWS, API или Единую студию Amazon SageMaker. В Единой студии Amazon SageMaker пользователи могут быстро создавать и повторять приложения на основе генеративного искусственного интеллекта с использованием высокопроизводительных базовых моделей (FM). Благодаря интуитивно понятному интерфейсу вы можете экспериментировать с моделями, совместно работать над проектами и получать упрощенный доступ к различным инструментам и ресурсам Bedrock для быстрого создания приложений на основе генеративного искусственного интеллекта.

Чтобы получить доступ к возможностям Amazon Bedrock в Единой студии Amazon SageMaker, разработчикам и их администраторам необходимо выполнить следующие шаги:

1. Создайте новый домен в унифицированной Студии Amazon SageMaker.
2. Включите профиль проекта разработки приложений на базе генеративного искусственного интеллекта.
3. Получите доступ к Amazon Bedrock через разделы Generative AI Playground (Discover) и Generative AI App Development (Build), используя учетные данные компании для единого входа (SSO) в Единую студию Amazon SageMaker.

Хотя доступ к Amazon Bedrock возможен через консоль управления AWS, API или Единую студию Amazon SageMaker, его возможности в Единой студии Amazon SageMaker строятся на оригинальной версии Amazon Bedrock Studio (которая больше не доступна) с многочисленными существенными улучшениями. Доступ через Единую студию Amazon SageMaker позволяет использовать передовые модели искусственного интеллекта ведущих компаний, инструменты создания и тестирования текстовых запросов ИИ, а также беспрепятственную интеграцию с базами знаний Amazon Bedrock, Amazon Bedrock Guardrails, Amazon Bedrock Flows и агентами Amazon Bedrock. Команды могут совместно работать в общем рабочем пространстве для создания собственных приложений на базе искусственного интеллекта, адаптированных к их потребностям.

Новые функции включают центр моделей для параллельного сравнения моделей искусственного интеллекта, расширенную игровую площадку, поддерживающую взаимодействие в чате, изображениях и видео, а также улучшенное создание базы знаний с помощью сбора данных на веб-страницах. Сервис позволяет создавать агенты для более сложных приложений чата и упрощает обмен приложениями и текстовыми запросами искусственного интеллекта в организациях. Также предоставляется доступ к базовому коду приложения и возможность экспорта приложений чата в виде шаблонов CloudFormation. Благодаря управлению сведениями инфраструктуры AWS сервис предоставляет пользователям с разным уровнем квалификации возможность более эффективно создавать приложения на базе искусственного интеллекта, что делает его более универсальным и мощным инструментом по сравнению с предшественником.

Название Amazon Bedrock IDE было изменено, чтобы лучше отражать основные возможности Amazon Bedrock, доступ к которым осуществляется через управляемую среду Единой студии Amazon SageMaker.

При доступе к интерфейсу Amazon Bedrock через Единую студию Amazon SageMaker команды получают преимущества управляемой среды, обеспечивающей совместную работу. Команды могут создавать проекты, приглашать коллег и совместно разрабатывать приложения на базе генеративного искусственного интеллекта. Они могут быстро получать отзывы о своих прототипах и делиться приложениями с кем угодно в Единой студии Amazon SageMaker или с определенными пользователями домена. Надежные средства контроля доступа и функции управления позволяют только авторизованным участникам получать доступ к ресурсам проекта, таким как данные или приложения на базе генеративного искусственного интеллекта, обеспечивая конфиденциальность и соответствие требованиям и тем самым способствуя безопасному межфункциональному сотрудничеству и обмену информацией. Кроме того, конструктор может предоставлять приложения с генеративным искусственным интеллектом конкретным пользователям в домене Единой студии Amazon SageMaker или отдельным пользователям, обеспечивая надлежащие права доступа, контроль и управление такими ресурсами.

Хотя доступ к Amazon Bedrock возможен через Консоль управления AWS, API или Единую студию Amazon SageMaker, такая интеграция устраняет барьеры между данными, инструментами и программистами в процессе разработки на основе генеративного искусственного интеллекта. Команды приобретают унифицированный опыт разработки, получая доступ к знакомым средам и аналитическим инструментам JupyterLab, а также беспрепятственно используя мощные возможности генеративного искусственного интеллекта Amazon Bedrock – и все это в одном рабочем пространстве.

Унифицированная среда обеспечивает беспрепятственное сотрудничество между разработчиками различных уровней квалификации на протяжении всего жизненного цикла разработки: от подготовки данных до разработки моделей и создания приложений на базе генеративного искусственного интеллекта. Команды могут получить доступ к интегрированным инструментам для создания баз знаний, настройки ограничений и разработки высокопроизводительных приложений на базе генеративного искусственного интеллекта в безопасной и управляемой среде.

В унифицированной Студии Amazon SageMaker разработчики могут легко переключаться между различными инструментами в соответствии со своими потребностями, сочетая аналитику, машинное обучение и возможности генеративного искусственного интеллекта в одном рабочем пространстве. Такой консолидированный подход снижает сложность разработки и ускоряет окупаемость проектов на базе генеративного искусственного интеллекта. Интегрируя Amazon Bedrock в Единую студию Amazon SageMaker, AWS снижает входные барьеры для разработки на базе генеративного искусственного интеллекта, сохраняя при этом безопасность и управление корпоративного уровня, что в конечном итоге позволяет организациям быстрее и эффективнее внедрять инновации с помощью генеративного искусственного интеллекта.

Возможности Amazon Bedrock в Единой студии Amazon SageMaker идеально подходят для корпоративных команд, которым нужна управляемая среда для совместной разработки и развертывания приложений на базе генеративного искусственного интеллекта. С помощью Единой студии Amazon SageMaker команды могут получить доступ к следующим возможностям:
 

• Игровая площадка генеративного искусственного интеллекта (Generative AI Playground) в разделе Знакомство (Discover) позволяет командам экспериментировать с базовыми моделями (FM), тестировать различные модели и конфигурации, сравнивать выходные данные моделей и совместно работать над текстовыми запросами и приложениями. Эта среда позволяет командам легко оценивать и понимать возможности различных моделей перед их внедрением в свои приложения.
   
• Раздел разработки приложений на базе генеративного искусственного интеллекта (Generative AI App Development) в разделе Создание (Build) предоставляет командам инструменты, необходимые для создания готовых к работе приложений на базе генеративного искусственного интеллекта. Команды могут создавать базы знаний и управлять ими, внедрять ограничения для ответственного использования искусственного интеллекта, разрабатывать агентов и потоки, а также безопасно сотрудничать, сохраняя контроль над управлением и соответствием требованиям. Эта среда особенно ценна для организаций, которым требуется безопасное сотрудничество и беспрепятственный доступ ко всему спектру возможностей Amazon Bedrock при соблюдении корпоративных стандартов безопасности и соответствия требованиям.

Возможности Amazon Bedrock теперь доступны всем в Единой студии Amazon SageMaker. Это управляемая среда для совместной работы, позволяющая разработчикам быстро создавать и настраивать приложения на основе генеративного искусственного интеллекта. Этот интуитивно понятный интерфейс предназначен для разработчиков любого уровня квалификации и обеспечивает беспрепятственный доступ к высокопроизводительным базовым моделям (FM) Amazon Bedrock и расширенным инструментам настройки для совместной разработки специализированных приложений на основе генеративного искусственного интеллекта.

В Единой студии Amazon SageMaker сервис Amazon Bedrock легко интегрируется с аналитикой, машинным обучением и возможностями генеративного искусственного интеллекта Amazon SageMaker. Организации могут быстрее перейти от концепции к производству, создав прототипы и поэкспериментировав с базовыми моделями в Amazon Bedrock, а затем легко перейдя на Блокноты JupyterLab или редакторы кода для интеграции этих ресурсов в более широкие приложения и рабочие процессы. Это консолидированное рабочее пространство упрощает работу, ускоряет создание прототипов, итерацию и развертывание готовых к производству и ответственных приложений на основе генеративного искусственного интеллекта, соответствующих конкретным бизнес-требованиям.

К Amazon Bedrock в Единой студии SageMaker применяются лимиты и квоты аккаунтов, определенные для платформы и базовых ресурсов Amazon Bedrock, таких как базовые модели (FM), базы знаний, агенты, потоки и ограничения.

Доступ к Amazon Bedrock через Единую студию SageMaker не требует дополнительных затрат, и пользователи платят только за использование базовых ресурсов, необходимых для создаваемых ими приложений на базе генеративного искусственного интеллекта. Например, клиенты будут платить только за соответствующую модель, ограничения и базы знаний, которые они использовали в приложении на базе генеративного искусственного интеллекта. Подробные сведения см. на странице цен на Amazon Bedrock.

На Amazon Bedrock IDE в Единой студии SageMaker распространяются те же SLA, что и на Amazon Bedrock. Подробные сведения см. на странице соглашения об уровне обслуживания Amazon Bedrock.

Чтобы облегчить процесс внедрения Amazon Bedrock в Единой студии SageMaker, см. подробную документацию в руководстве пользователя. В случае возникновения вопросов или при необходимости дополнительной помощи обращайтесь к специалистам по работе с клиентами AWS.