Comece rapidamente com conjuntos de dados selecionados, como CrowS-Pairs, TriviaQA e WikiText, e algoritmos selecionados, como Bert-Score, Rouge e F1. Você pode personalizar conjuntos de dados imediatos e algoritmos de pontuação específicos para sua aplicação de IA generativa. A avaliação automática também está disponível como uma biblioteca de código aberto no GitHub para permitir que você a execute em qualquer lugar. Exemplos de cadernos mostram como executar avaliações de FM de forma programática para qualquer FM, incluindo modelos que não estão hospedados na AWS, e como integrar avaliações de FM com MLOPs e ferramentas de governança do SageMaker, como SageMaker Pipelines, Registro de Modelos do SageMaker e Cartões de Modelos do SageMaker.

Alguns critérios de avaliação são diferenciados ou subjetivos e exigem julgamento humano para serem avaliados. Além das avaliações automatizadas baseadas em métricas, você pode pedir para as pessoas (seus funcionários ou uma equipe de avaliação gerenciada pela AWS) que avaliem os resultados do modelo em dimensões como utilidade, tom e adesão à voz da marca. Os avaliadores humanos também podem verificar a consistência com as diretrizes, a nomenclatura e a voz da marca específicas da empresa. Configure instruções personalizadas para orientar sua equipe de avaliação sobre como analisar os prompts, por exemplo, classificando ou indicando com um polegar para cima/para baixo.

Avalie o FM para determinar se ele fornece respostas de alta qualidade para sua tarefa específica de IA generativa usando avaliações automáticas e/ou humanas. Analise a precisão do modelo com algoritmos de avaliação específicos, como Bert Score, Rouge e F1, adaptados para tarefas específicas de IA generativa, como resumo, resposta a perguntas e classificação. Verifique a robustez semântica da saída do FM quando solicitado com perturbações de preservação semântica nas entradas, como ButterFingers, letras maiúsculas aleatórias e espaços em branco adicionados ou removidos.

Avalie o risco do FM codificar estereótipos nas categorias de raça/cor, gênero/identidade de gênero, orientação sexual, religião, idade, nacionalidade, deficiência, aparência física e status socioeconômico usando avaliações automáticas e/ou humanas. Você também pode avaliar o risco de conteúdo tóxico. Essas avaliações podem ser aplicadas a qualquer tarefa que envolva geração de conteúdo, incluindo geração aberta, resumo e resposta a perguntas.

Alterações nos dados ao vivo podem expor um novo comportamento do seu modelo. Por exemplo, um modelo de previsão de risco de crédito treinado nos dados de uma região geográfica pode alterar a importância que ele atribui a vários recursos quando aplicado aos dados de outra região. O SageMaker Clarify é integrado ao SageMaker Model Monitor para notificá-lo usando sistemas de alerta, como o CloudWatch, se a importância dos recursos de entrada mudar, fazendo com que o comportamento do modelo mude.

Depois de treinar seu modelo, você pode executar uma análise de vieses do SageMaker Clarify por meio do Amazon SageMaker Experiments para verificar se há possíveis vieses em seu modelo, como previsões que produzem um resultado negativo com mais frequência para um grupo do que para outro. Você especifica os atributos de entrada determinando quais gostaria de medir a tendência nos resultados do modelo, e o SageMaker executa uma análise e fornece um relatório visual que identifica os diferentes tipos de tendência para cada atributo. O método de código aberto da AWS Fair Bayesian Optimization pode ajudar a mitigar as tendências ajustando os hiperparâmetros de um modelo.

Os vieses podem ser introduzidos ou exacerbados em modelos de ML implantados quando os dados ativos de treinamento diferem dos dados que o modelo vê durante a implantação. Por exemplo, as saídas de um modelo para prever preços de imóveis podem se tornar tendenciosas se as taxas de hipoteca usadas para treinar o modelo forem diferentes das taxas de hipoteca atuais. Os recursos de detecção de tendências do SageMaker Clarify são integrados ao Amazon SageMaker Model Monitor de modo que, quando o SageMaker detecta tendências acima de um determinado limite, ele gera automaticamente métricas que você pode visualizar no Amazon SageMaker Studio e por meio de métricas e alarmes do Amazon CloudWatch.