快速开始使用精选数据集（例如 CrowS-Pairs、TriviaQA 和 WikiText）以及精选算法（例如 Bert-Score、Rouge 和 F1）。您可以自定义专门针对您的生成式人工智能应用程序的提示数据集和评分算法。自动评估还可以作为 GitHub 中的开源库提供，以便您可以在任何地方运行它。示例笔记本向您展示如何以编程方式对任何 FM（包括未托管在 AWS 上的模型）运行评估，以及如何将 FM 评估与 SageMaker MLOps 和治理工具（例如 SageMaker Pipelines、SageMaker Model Registration 和 SageMaker Model Cards）集成。

一些评估标准是微妙的或主观的，需要通过人工判断进行评测。除了基于指标的自动化评估之外，您还可以要求人工（您自己的员工或 AWS 管理的评估团队）根据有用性、语气和对品牌声音的遵守等维度评估模型输出。人工评估员还可以检查与公司特定指南、术语和品牌声音的一致性。设置自定义说明来指导您的评估团队如何评估提示，例如通过排名或表示赞成/反对。

使用自动和/或人工评估来评估您的 FM，以确定它是否为您的特定生成式人工智能任务提供高质量的响应。使用针对特定生成式人工智能任务（例如摘要、问答（Q&A）和分类）量身定制的特定评估算法（例如 Bert Score、Rouge 和 F1）来评估模型准确性。当提示对输入进行语义保留扰动（例如 ButterFingers、随机大写和空格添加删除）时，检查 FM 输出的语义稳健性。

通过自动和/或人工评估，评估您的基础模型在编程时引入刻板印象以及种族/肤色、性别/性别认同、性取向、宗教、年龄、国籍、残疾、外貌和社会经济地位等类别的风险。您还可以评估毒舌内容的风险。这些评估可以应用于任何涉及内容生成的任务，包括开放式生成、摘要和问题解答。

实时数据的变化可能会暴露模型的新行为。例如，在某个地理区域数据上训练的信用风险预测模型应用于另一个区域的数据时，可能会改变该模型对各种特征的重要性。SageMaker Clarify 与 SageMaker Model Monitor 集成，以在输入特征重要性改变并因此导致模型行为变化时，通过 CloudWatch 等警报系统提醒您。

模型训练完成后，您可以通过 Amazon SageMaker Experiments 运行 SageMaker Clarify 偏差分析来检查模型是否存在潜在偏差，例如某项预测对一组产生负面结果的频率高于对另一组产生负面结果的频率。您指定要测量模型结果偏差的输入特征，然后，SageMaker 将运行分析并为您提供可视化报告，识别每个特征的不同类型偏差。AWS 开源方法 Fair Bayesian Optimization 可通过调整模型的超参数来帮助减小偏差。

如果训练数据与模型在部署期间发现的实时数据不同，则部署的机器学习模型中可能会引入偏差或加剧偏差。例如，如果用于训练模型的抵押贷款利率与当前的抵押贷款利率不同，则用于预测房价的模型输出可能会出现偏差。SageMaker Clarify 偏差检测功能已集成到 Amazon SageMaker Model Monitor 中，因此，当 SageMaker 检测到超过特定阈值的偏差时，它会自动生成指标，您可以在 Amazon SageMaker Studio 中或通过 Amazon CloudWatch 指标和警报查看这些指标。