使用精選資料集，例如 CrowS-Pairs、TriviaQA 和 WikiText，以及精選演算法，例如 Bert-Score、Rouge 和 F1，快速入門。您可以為個人的生成式 AI 應用程序自訂提示資料集和評分演算法。自動評估也作為開源庫在 GitHub 上提供，讓您隨處運行。範例筆記本說明如何針對任何以程式設計方式對任何 FM 進行評估，包括未託管在 AWS 上的模型，以及如何將 FM 評估與 SageMaker MLOps 和治理工具整合，例如 SageMaker Pipelines、SageMaker Model Registry 和 SageMaker Model Cards。

某些評估標準較細微或主觀，需要人為判斷進行評估。除了以指標為基礎的自動化評估外，您還可以請求人類 (您自己的員工或 AWS 管理的評估團隊) 根據幫助性、語氣和品牌聲音等維度評估模型的輸出。人工評估人員還可以檢查是否符合公司特定的指導方針、術語和品牌聲音。設定自訂指示，指導評估團隊如何評估提示，例如透過排名或選擇按讚/倒讚。

使用以自動和/或人工為基礎的評估，針對您的 FM 進行是否為特定生成式 AI 任務提供高品質回應評估。使用針對特定生成式 AI 任務 (如摘要、問答 (Q&A) 和分類) 量身定制的評估算法 (如 Bert Score、Rouge 和 F1) 評估模型的準確性。當提示輸入對保留語義有干擾時，例如 ButterFingers (手殘)、隨機大寫和空格新增/刪除時，檢查您 FM 輸出的語義穩定性。

使用自動和/或人工評估，針對您的 FM 進行根據種族/膚色、性別/性別認同、性取向、宗教、年齡、國籍、身心障礙、外表和社會經濟狀況等類型的刻板印象風險評估。您還可以評估有害內容的風險。這些評估可套用到任何涉及生成內容的任務，包括開放式產生、摘要和問題回答。

即時資料的變更可能會暴露模型的新行為。例如，在一個地理區域的資料上訓練的信用風險預測模型，在套用至另一個區域的資料時可能會變更其對各種特徵的重要性。SageMaker Clarify 與 SageMaker Model Monitor 整合，以在輸入功能的重要性發生變化時使用提醒系統 (例如 CloudWatch) 通知您，從而導致模型行為發生變更。

訓練模型後，可透過 Amazon SageMaker Experiments 執行 SageMaker Clarify 偏差分析來檢查模型是否存在潛在偏差，例如對一組產生負面結果的預測頻率高於對另一組產生負面結果的預測。您將指定想測量的模型結果中的偏差輸入特徵，SageMaker 將執行分析並為您提供視覺化報告，確定每個特徵的不同類型的偏差。AWS 開放原始碼方法 Fair Bayesian Optimization 可透過調整模型的超參數來協助減輕偏差。

當訓練資料與模型在部署期間看到的即時資料不同時，在部署的機器學習模型中可能會引入或加劇偏差。例如，如果用於訓練模型的抵押貸款利率與目前的抵押貸款利率不同，則用於預測房價的模型的輸出可能會出現偏差。SageMaker Clarify 偏差偵測功能已整合至 Amazon SageMaker Model Monitor，因此當 Amazon SageMaker 偵測到超過特定閾值的偏差時，會自動產生您可以在 Amazon SageMaker Studio 中，以及透過 Amazon CloudWatch 指標和警示查看的指標。