Crows-Pairs、TriviaQA、WikiText などの厳選されたデータセットと、BERT スコア、ROUGE、F1 などの厳選されたアルゴリズムを使って、すぐに使用を開始しましょう。自社の生成 AI アプリケーションに合わせてプロンプトデータセットとスコアリングアルゴリズムをカスタマイズできます。自動評価は、GitHub のオープンソースライブラリとしても利用できるため、どこでも実行できます。サンプルノートブックには、AWS でホストされていないモデルを含め、あらゆる FM の評価をプログラムを使用して実行する方法や、SageMaker MLOps や SageMaker Pipelines、SageMaker Model Registry、SageMaker Model Cards などのガバナンスツールと FM 評価を統合する方法が示されています。

評価基準の中には、微妙な違いや主観的なものもあり、評価には人間の判断が必要です。自動化されたメトリクスベースの評価に加えて、人間 (自社の従業員または AWS が管理する評価チーム) に、有用性、トーン、ブランドボイスの順守などの側面でモデルのアウトプットを評価してもらうこともできます。人間の評価担当者は、企業固有のガイドライン、命名法、ブランドボイスとの整合性をチェックすることもできます。カスタムインストラクションを設定して、評価チームにプロンプトの評価方法を指示します。たとえば、ランク付けや高評価/低評価を示すなどです。

自動評価および/または人間による評価を使用して、FM が特定の生成 AI タスクに対して高品質な応答を提供しているかどうかを評価します。要約、質問応答 (Q&A)、分類などの特定の生成 AI タスクに合わせた、特定の評価アルゴリズム (Bert スコア、ROUGE、F1 など) を使用してモデルの精度を評価します。ButterFingers、ランダムな大文字、空白の追加と削除など、入力に対するセマンティック保存のための摂動を提示した際に、FM 出力のセマンティックな堅牢性を確認します。

FMが人種/肌の色、性別/性同一性、性的指向、宗教、年齢、国籍、障害、外見、社会経済的地位のカテゴリーに沿ってステレオタイプをエンコードしたリスクを、自動評価または人間ベースの評価を使用して評価します。有毒物質のリスクを評価することもできます。これらの評価は、自由形式の生成、要約、質疑応答など、コンテンツの生成を伴うあらゆるタスクに適用できます。

実データが変化すると、新しいモデルの動作が起こることがあります。例えば、ある地理的リージョンのデータでトレーニングされた信用リスク予測モデルでは、他のリージョンのデータに適用された場合、さまざまな特徴量に割り当てられた重要度が変化することがあります。SageMaker Clarify は SageMaker Model Monitor と統合されており、入力特徴量の重要度が変化してモデルの動作が変化した場合に、CloudWatch などのアラートシステムを使用してユーザーに通知されます。

モデルのトレーニングをした後、 Amazon SageMaker Experiments で SageMaker Clarify バイアス分析を実行して、あるグループに対して他のグループよりも否定的な結果を出すことが多いといった潜在的なバイアスがモデルにあるかどうかを確認できます。モデル結果の偏りを測定したい入力特徴を指定すると、SageMaker が分析を実行して、各特徴のさまざまなタイプの偏りを識別する視覚的なレポートを提供します。AWS のオープンソースメソッドである Fair Bayesian Optimization は、モデルのハイパーパラメータを調整することによってバイアスを軽減するのに役立ちます。

デプロイされているときにモデルが参照する実データとトレーニングデータが異なる場合に、デプロイされた ML モデルにバイアスが発生したり悪化したりすることがあります。例えば、モデルのトレーニング時の住宅ローン金利と現在の金利が異なると、住宅価格を予測するモデルの出力にバイアスが発生することがあります。SageMaker Clarify のバイアス検出機能は Amazon SageMaker Model Monitor と統合します。これにより、SageMaker が一定のしきい値を超えるバイアスを検出した場合、Amazon SageMaker Studio および Amazon CloudWatch メトリクスとアラームを通じて表示できるメトリクスを自動的に生成します。