Amazon Bedrock 常见问题

Amazon Bedrock 代理是一种完全托管的功能，可让开发人员更轻松地创建基于生成式人工智能的应用程序，这些应用程序可以完成各种应用场景的复杂任务，并根据专有知识来源提供最新答案。只需几个步骤，Amazon Bedrock 代理即可自动分解任务并创建编排计划，无需任何手动编码。该代理通过 API 安全地连接到公司数据，自动将数据转换为机器可读格式，并在请求中添加相关信息以生成最准确的响应。然后，代理可以自动调用 API 来满足用户的请求。例如，一家制造公司可能想要开发一款生成式人工智能应用程序，该应用程序可以自动跟踪库存水平、销售数据、供应链信息，还可以推荐最佳的再订购点和数量，以最大限度地提高效率。作为完全托管式功能，Amazon Bedrock 代理消除了管理系统集成和基础设施预置的无差别工作，使开发人员能够在整个组织中最大限度地使用生成式人工智能。

您可以使用 Amazon Bedrock 代理将 FM 安全地连接到您公司的数据来源。利用知识库，您可以使用代理让 Amazon Bedrock 中的 FM 访问更多数据，从而帮助模型生成更相关、更符合特定情境且更准确的响应，而无需持续重新训练 FM。根据用户输入，代理可以识别相应的知识库，检索相关信息，并将信息添加到输入提示中，从而为模型提供更多上下文信息以生成补全。

Amazon Bedrock 代理可以帮助您提高工作效率、改善客户服务体验并自动化工作流程（例如处理保险索赔）。

借助代理，开发人员无需编写自定义代码即可无缝支持监控、加密、用户权限、版本控制和 API 调用管理。Amazon Bedrock 代理可以自动对用户请求的任务进行提示工程设计和编排。开发人员可以使用代理创建的提示模板作为基准，进一步完善它，以增强用户体验。他们可以更新用户输入、编排计划和 FM 响应。通过访问提示模板，开发人员可以更好地控制代理编排。

使用完全托管的代理，您不必担心预置或管理基础设施，并且可以更快地将应用程序投入生产。

Amazon Bedrock 处理的任何客户内容都会被加密，并静态存储在您使用 Amazon Bedrock 所在的 AWS 区域中。

不。用户输入和模型输出不会与任何模型提供商共享。

Amazon Bedrock 提供多种支持安全和隐私要求的功能。Amazon Bedrock 符合 Fedramp Moderate、服务和组织控制（SOC）、国际标准化组织（ISO）、健康保险流通与责任法案（HIPAA）等常见合规标准，客户可以在符合《通用数据保护条例》（GDPR）的情况下使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 报告的范围内，使客户能够深入了解我们的安全控制措施。我们通过对我们的 AWS 控制进行广泛的第三方审核来证明合规性。Amazon Bedrock 是符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 标准的 AWS 服务之一。Amazon Bedrock 已获得 CSA 安全信任保障和风险（STAR）2 级认证，该认证验证 AWS 云产品的最佳实践使用情况和安全状况。在 Amazon Bedrock 中，您的内容不会用于改进基本模型，也不会与任何模型提供商共享。您可以使用 AWS PrivateLink 建立从 Amazon VPC 到 Amazon Bedrock 的私有连接，而无需将数据暴露给互联网流量。

不会，AWS 和第三方模型提供商不会使用 Amazon Bedrock 的任何输入或输出来训练 Amazon Titan 或任何第三方模型。

Amazon Bedrock 支持运行时系统服务的软件开发工具包。iOS 和安卓软件开发工具包以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 C++ 同时支持文本和语音输入。

所有 SDK 都支持流式传输。

有关最新定价信息，请参阅 Amazon Bedrock 定价页面。

根据您签订的 AWS Support 合同，Amazon Bedrock 可以获得开发人员支持计划、商业支持计划和企业支持计划的支持。

您可以使用 CloudWatch 指标来跟踪输入和输出令牌。

我们在 Amazon Bedrock 上启动了 Amazon Titan Text Express 和 Amazon Titan 模型的持续预训练。持续预训练允许您使用大量未标记的数据持续在 Amazon Titan 基础模型上进行预训练。这种类型的训练将使模型从通用领域语料库调整为更具体领域（例如医学、法律、金融等）的语料库，同时仍然保留 Amazon Titan 基础模型的大部分功能。 

企业可能希望为特定领域的任务构建模型。基本模型可能没有根据该特定领域中使用的技术术语进行训练。因此，直接对基础模型进行微调需要大量标记的训练记录和较长的训练时间才能得到准确的结果。为了减轻这种负担，客户可以改而为持续预训练作业提供大量未标记的数据。这项工作将使 Amazon Titan 基础模型适应新领域。然后，客户可以通过数量少得多的标记训练记录和更短的训练持续时间，根据下游任务微调新的预训练自定义模型。 

Amazon Bedrock 持续预训练和微调具有非常相似的要求。出于这个原因，我们选择创建同时支持持续预训练和微调的统一 API。API 的统一缩短了学习曲线，并有助于客户使用标准功能，例如用于跟踪长时间运行的作业的 Amazon EventBridge、用于获取训练数据的 Amazon S3 集成、资源标签和模型加密。 

持续预训练可以帮助您根据特定领域的数据调整 Amazon Titan 模型，同时保留 Amazon Titan 模型的基本功能。要创建持续预训练作业，请导航到 Amazon Bedrock 控制台并单击“自定义模型”。 您将导航到包含两个选项卡的自定义模型页面：模型和训练作业。这两个选项卡都在右侧提供了“自定义模型”下拉菜单。从下拉菜单中选择“持续预训练”，导航至“创建持续预训练作业”。 您需要提供源模型、名称、模型加密、输入数据、超参数和输出数据。此外，您还可以提供标签以及有关作业的 AWS Identity and Access Management（IAM）角色和资源策略的详细信息。

Amazon Bedrock 独有的 Amazon Titan 系列模型融合了 Amazon 25 年来在业务范围内积累的人工智能和机器学习创新的经验。Amazon Titan 基础模型通过完全托管的 API 为客户提供广泛的高性能图像、多模式和文本模型选择。Amazon Titan 模型由 AWS 创建并在大型数据集上进行预训练，使其成为强大的通用模型，旨在支持各种用例，同时还支持负责任地使用 AI。您可以按原样使用，也可以根据自己的数据私下进行自定义。了解有关 Amazon Titan 的更多信息。

要了解为开发和训练 Amazon Titan FM 而处理的数据的更多相关信息，请访问 Amazon Titan 模型训练和隐私页面。

支持的数据格式包括.pdf、.txt、.md、.html、.doc 和.docx、.csv、.xls 和.xlsx 文件。必须将文件上传到 Amazon S3。指向您的数据在 Amazon S3 中的位置，Amazon Bedrock 知识库就会处理向量数据库的整个摄取工作流程。

Amazon Bedrock 知识库提供三种在将文本转换为嵌入之前对文本进行分块的选项。 

1.  默认选项：Amazon Bedrock 知识库会自动将您的文档拆分成多个区块，每个区块包含 200 个令牌，确保句子不会在中间断开。如果文档包含少于 200 个令牌，则不会对其进行进一步拆分。两个连续的区块之间保持 20% 的令牌重叠。

2.  固定大小分块：在此选项中，您可以指定每个区块的最大令牌数以及 Amazon Bedrock 知识库区块之间的重叠百分比，以便自动将您的文档拆分为多个区块，从而确保句子不会在中间断开。 

3.  为每个文档创建一个嵌入选项：Amazon Bedrock 会为每个文档创建一个嵌入。如果您已通过将文档拆分为单独的文件来对文档进行预处理，并且不希望 Amazon Bedrock 进一步对文档进行分块，则此选项非常适用。

目前，Amazon Bedrock 知识库使用 Amazon Bedrock 中提供的最新版本的 Amazon Titan 文本嵌入模型。Titan Text Embeddings V2 模型支持 8K 令牌和 100 多种语言，并可灵活创建 256、512 和 1024 维度大小的嵌入。 

Amazon Bedrock 知识库负责整个摄取工作流程，即将您的文档转换为嵌入（向量），然后将嵌入存储在专门的向量数据库中。  Amazon Bedrock 知识库支持常见的向量存储数据库，包括 Amazon OpenSearch 无服务器的向量引擎、Pinecone、Redis Enterprise Cloud、Amazon Aurora（即将推出）和 MongoDB（即将推出）。如果您当前没有向量数据库，Amazon Bedrock 会为您创建一个 OpenSearch 无服务器向量存储区。

根据您的使用案例，您可以使用 Amazon EventBridge 在 Amazon S3 与 Amazon Bedrock 知识库之间创建定期或事件驱动的同步。

借助 Amazon Bedrock 上的模型评估，只需几个简短的步骤即可针对您的使用案例评估、比较和选择最佳基础模型。Amazon Bedrock 提供了自动评估和人工评估选项。您可以使用带有预定义指标（例如准确性、稳定性和毒性）的自动评估。您可以使用人工评估工作流程来评估主观或自定义指标，例如友好度、风格和与品牌声音的一致性。对于人工评估，您可以使用内部员工或 AWS 管理的团队作为评审者。Amazon Bedrock 上的模型评估提供内置的精选数据集，或者您可以自带数据集。

您可以使用自动评估来评估各种预定义指标，例如准确性、稳健性和毒性。您还可以使用人工评估工作流程来衡量主观或自定义指标，例如友好度、相关性、风格以及与品牌声音的一致性。

自动评估使您能够根据标准标准（例如准确性、毒性和稳健性）快速缩小可用 FM 的列表范围。人工评估通常用于评估需要人类判断，并且可能无法自动评估的更细致或主观的标准（例如品牌声音、创意意图、友好度）。

您可以使用精选的内置数据集或引入您自己的提示数据集，快速评估 Amazon Bedrock 模型的准确性、稳健性和毒性等指标。将提示数据集发送到 Amazon Bedrock 模型进行推理后，将使用每个维度的评估算法对模型响应进行评分。后端引擎将个人即时响应分数汇总为汇总分数，并通过易于理解的可视化报告呈现。

Amazon Bedrock 让您只需几个简短的步骤即可设置人工审核工作流程，并可以通过内部员工或利用 AWS 管理的专家团队来评估模型。通过 Amazon Bedrock 的直观界面，人们可以通过点击向上或向下按钮、按 1-5 的等级评分、选择多个响应中的最佳选项或排名提示来查看模型响应并提供反馈。例如，可以向团队成员展示两个模型如何响应相同的提示，然后要求他们选择显示更准确、相关或风格化输出的模型。通过自定义团队评估 UI 上显示的说明和按钮，可以指定对您而言重要的评估标准。您还可以提供带有示例的详细说明以及模型评估的总体目标，以便用户可以相应地调整他们的工作。此方法可用于评估需要人类判断或更细致的主题专业知识且无法通过自动评估轻松判断的主观标准。

Amazon Bedrock 防护机制可帮助您根据使用案例和负责任的人工智能策略为生成式人工智能应用程序实施保护措施。防护机制通过过滤不良和有害内容来帮助控制用户和基础模型之间的交互，并将快速编辑个人身份信息（PII），从而增强生成式人工智能应用程序中的内容安全和隐私。您可以针对特定用例创建多个具有不同配置的防护机制。此外，借助防护机制，您还可以持续监控和分析可能违反客户定义策略的用户输入和基础模型响应。

防护机制帮助您定义一组策略来帮助保护您的生成式人工智能应用程序。您可以在防护机制中配置以下策略。

• 被拒绝的主题：帮助您定义一组在应用程序上下文中不合乎需要的主题。例如，可以将网上银行助理设计为不提供投资建议。
• 内容过滤器：帮助您配置阈值来过滤仇恨、侮辱、性和暴力类别的有害内容。
• 字词过滤器：帮助您定义一组字词来阻止用户输入和 FM 生成的响应。
• PII 编辑：帮助您选择一组可以在 FM 生成的响应中进行编辑的 PII。根据用例，防护机制还可以帮助您屏蔽包含 PII 的用户输入。
• 情境化基础检查：如果源信息中的响应不合理（例如事实上不准确或新信息）以及与用户查询或指令无关，则可以帮助检测和筛除幻觉。

Guardrails 可与 Amazon Bedrock 上提供的所有大型语言模型（LLM）一起使用。它还可以与微调的 FM 以及 Amazon Bedrock 代理一起使用。

AWS 为因以下正式发布的 Amazon 生成式人工智能服务的生成式输出而产生的版权索赔提供无上限的知识产权（IP）赔偿：Amazon Titan 模型、Amazon CodeWhisperer 专业版以及服务条款第 50.10 条中列出的其他服务（“享受赔偿的生成式人工智能服务”）。这意味着客户可以免受指控享受赔偿的生成式人工智能服务为响应客户提供的输入或其他数据而生成的输出侵犯版权的第三方索赔影响。客户仍然必须负责任地使用服务，例如不输入侵权数据或禁用服务的筛选功能。

此外，我们针对使用服务的标准知识产权赔偿可保护客户免受指控服务和用于训练他们的数据侵犯知识产权（包括版权索赔）而提出的第三方索赔影响。

有五种防护机制策略，每种策略都有不同的现成保护措施

• 内容过滤器 — 有 6 个现成的类别：仇恨、侮辱、性、暴力、不当行为（包括犯罪活动）和即时攻击（越狱和即时注入）。每个类别均可根据过滤的严格程度进一步自定义阈值 — 低/中/高。
• 被拒绝的主题 — 这是客户可以使用简单的自然语言描述定义的自定义主题
• 敏感信息过滤器 — 此策略带有 30 多个现成的 PII。可以通过添加客户的敏感专有信息进一步自定义。
• 文字过滤器 — 此策略带有现成的脏话过滤功能，可以使用自定义词语进一步自定义。
• 情境化基础检查 — 它有助于检测 RAG、摘要和对话应用程序的幻觉，其中源信息可用作验证模型响应的参考。

基础模型具有原生防护措施，它们是与每个模型相关的默认保护措施。这些原生防护措施不是 Amazon Bedrock 防护机制的一部分。Amazon Bedrock 防护机制是一层额外的定制防护措施，客户可以根据其应用要求和负责任的人工智能策略选择应用这些防护措施。

作为 Amazon Bedrock 防护机制的一部分，SSN 和电话号码检测是 30 多个现成 PII 的一部分。如需完整列表，请访问此处。

使用 Amazon Bedrock 防护机制需要单独付费。输入和输出都需要付费。定价请见此处页面底部。

有，Amazon Bedrock 防护机制 API 可以帮助客户进行自动测试。在生产环境中部署防护机制之前，您可能想要使用“测试用例生成器”。目前还没有原生的测试用例生成器。为了持续监控生产流量，防护机制会为每个输入和输出提供所有违例的详细日志，这样，客户就可以精细地监控来自其生成式人工智能应用程序的每个输入。这些日志可以存储在 CloudWatch 或 S3 中，并且可以使用这些日志，根据客户的要求创建自定义仪表板。