Базы знаний Amazon Bedrock

Чтобы снабдить базовые модели (ФМ) актуальной и конфиденциальной информацией, организации используют технологию Retrieval Augmented Generation (RAG), которая получает данные из источников данных компании и обогащает их, чтобы обеспечить более релевантные и точные ответы. Базы знаний Amazon Bedrock – это полностью управляемая функция, которая помогает реализовать весь рабочий процесс RAG от получения до извлечения и быстрого дополнения, без необходимости создавать собственные интеграции с источниками данных и управлять потоками данных. Кроме того, можно задавать вопросы и обобщать данные из одного документа, не создавая векторную базу данных. Вы также можете встроить управление контекстом сеанса, что позволит вашему приложению легко поддерживать различные варианты ведения диалога.

Вам нужно лишь указать расположение корпоративных данных, а базы знаний Amazon Bedrock автоматически извлекут нужные документы. Вы можете получать контент из Интернета, а также из репозиториев Amazon Simple Storage Service (Amazon S3), Confluence (предварительная версия), Salesforce (предварительная версия) или SharePoint (предварительная версия). Завершив загрузку содержимого, базы знаний Amazon Bedrock разделят его на текстовые блоки, преобразуют текст во вложения и сохранят их в векторную базу данных.
Также базы знаний Amazon Bedrock поддерживают такие усложнения рабочего процесса, как сравнение содержимого, обработка сбоев, контроль пропускной способности, шифрование и многое другое. Если у вас нет векторной базы данных, Amazon Bedrock создаст для вас векторное хранилище в бессерверном Amazon OpenSearch. Или же можно указать существующее векторное хранилище в одной из поддерживаемых баз данных, включая бессерверный Amazon OpenSearch, Pinecone, корпоративное облако Redis, Amazon Aurora и MongoDB.

Теперь вы можете точно настраивать прием и обработку данных для повышения точности в разных сценариях использования. Используйте широкие возможности синтаксического анализа для обработки неструктурированных данных (например, PDF-файлов и отсканированных изображений) и содержимого сложных форматов (например, таблиц). Используя широкие возможности разбиения данных, в том числе с настройкой под свои задачи, вы можете создать собственную процедуру разбиения в формате функции Lamda или применить готовые компоненты из таких фреймворков, как LangChain и LlamaIndex. При желании вы также можете использовать любую из встроенных стратегий разбиения: стратегия по умолчанию, фиксированный размер, без разбиения, иерархическое или семантическое разбиение. На этапе приема данных можно изменить формулировку запроса, чтобы улучшить способность системы понимать сложные запросы.

Retrieve API можно использовать для получения актуальных результатов пользовательского запроса из баз знаний. RetrieveAndGenerate API обладает расширенной функциональностью, напрямую используя полученные результаты для дополнения подсказки базовой модели и возврата ответа. Можно также добавить базы знаний Amazon Bedrock в агенты для Amazon Bedrock, чтобы предоставлять агентам контекстную информацию.

Вся информация, полученная из баз знаний Amazon Bedrock, снабжена ссылками для повышения прозрачности и минимизации галлюцинаций.