Amazon SageMaker Clarify

Avalie modelos e explique as previsões do modelo

O que é o Amazon SageMaker Clarify?

Benefícios do SageMaker Clarify

Avalie automaticamente os FMs para seu caso de uso de IA generativa com métricas como precisão, robustez e toxicidade para apoiar sua iniciativa de IA responsável. Para critérios ou conteúdo diferenciado que exija julgamento humano sofisticado, você pode escolher aproveitar sua própria força de trabalho ou usar uma força de trabalho gerenciada fornecida pela AWS para analisar as respostas do modelo.
Explique como os atributos de entrada contribuem para as previsões do seu modelo durante o desenvolvimento e a inferência do modelo. Avalie seu FM durante a personalização usando avaliações automáticas e baseadas em humanos.
Gere métricas, relatórios e exemplos fáceis de entender em todo o fluxo de trabalho de personalização de FM e MLOps.
Detecte possíveis dados tendenciosos e outros riscos, conforme prescrito por diretrizes como a ISO 42001, durante a preparação dos dados e a personalização do modelo, bem como nos modelos já implantados.

Avalie modelos de base

Assistente de avaliação e relatórios

Para iniciar uma avaliação, selecione o modelo, a tarefa e o tipo de avaliação (relatórios humanos ou automáticos). Aproveite os resultados da avaliação para selecionar o melhor modelo para seu caso de uso e quantificar o impacto das técnicas de personalização do modelo, como engenharia de prompts, aprendizado por reforço a partir de feedback humano (RLHF), geração aumentada por recuperação (RAG) e ajuste fino supervisionado (SFT). Os relatórios de avaliação resumem as pontuações em várias dimensões, permitindo comparações e decisões rápidas. Relatórios mais detalhados fornecem exemplos dos resultados do modelo de pontuação mais alta e mais baixa, permitindo que você se concentre em onde otimizar ainda mais.
Assistente de avaliação e relatórios

Personalização

Comece rapidamente com conjuntos de dados selecionados, como CrowS-Pairs, TriviaQA e WikiText, e algoritmos selecionados, como Bert-Score, Rouge e F1. Você pode personalizar conjuntos de dados imediatos e algoritmos de pontuação específicos para sua aplicação de IA generativa. A avaliação automática também está disponível como uma biblioteca de código aberto no GitHub para permitir que você a execute em qualquer lugar. Exemplos de cadernos mostram como executar avaliações de FM de forma programática para qualquer FM, incluindo modelos que não estão hospedados na AWS, e como integrar avaliações de FM com MLOPs e ferramentas de governança do SageMaker, como SageMaker Pipelines, Registro de Modelos do SageMaker e Cartões de Modelos do SageMaker.
Personalização

Avaliações por pessoas

Alguns critérios de avaliação são diferenciados ou subjetivos e exigem julgamento humano para serem avaliados. Além das avaliações automatizadas baseadas em métricas, você pode pedir para as pessoas (seus funcionários ou uma equipe de avaliação gerenciada pela AWS) que avaliem os resultados do modelo em dimensões como utilidade, tom e adesão à voz da marca. Os avaliadores humanos também podem verificar a consistência com as diretrizes, a nomenclatura e a voz da marca específicas da empresa. Configure instruções personalizadas para orientar sua equipe de avaliação sobre como analisar os prompts, por exemplo, classificando ou indicando com um polegar para cima/para baixo.
Avaliações por pessoas

Avaliações da qualidade de modelos

Avalie o FM para determinar se ele fornece respostas de alta qualidade para sua tarefa específica de IA generativa usando avaliações automáticas e/ou humanas. Analise a precisão do modelo com algoritmos de avaliação específicos, como Bert Score, Rouge e F1, adaptados para tarefas específicas de IA generativa, como resumo, resposta a perguntas e classificação. Verifique a robustez semântica da saída do FM quando solicitado com perturbações de preservação semântica nas entradas, como ButterFingers, letras maiúsculas aleatórias e espaços em branco adicionados ou removidos.
Avaliações da qualidade de modelos

Avaliações de responsabilidade de modelos

Avalie o risco do FM codificar estereótipos nas categorias de raça/cor, gênero/identidade de gênero, orientação sexual, religião, idade, nacionalidade, deficiência, aparência física e status socioeconômico usando avaliações automáticas e/ou humanas. Você também pode avaliar o risco de conteúdo tóxico. Essas avaliações podem ser aplicadas a qualquer tarefa que envolva geração de conteúdo, incluindo geração aberta, resumo e resposta a perguntas.

Avaliações de responsabilidade de modelos

Previsões de modelos

Explicar previsões de modelos

O SageMaker Clarify é integrado ao SageMaker Experiments para fornecer pontuações que detalham quais recursos mais contribuíram para a previsão do seu modelo em uma entrada específica para modelos tabulares, de processamento de linguagem natural (PLN) e de visão computacional. Para conjuntos de dados tabulares, o SageMaker Clarify também pode gerar um gráfico de importância de recursos agregados que fornece insights sobre o processo geral de previsão do modelo. Esses detalhes podem ajudar a determinar se uma entrada específica do modelo exerce mais influência do que o esperado no comportamento geral do modelo.
Captura de tela de um gráfico de importância de recurso para um modelo treinado no SageMaker Experiments

Monitore seu modelo para mudanças de comportamento

Alterações nos dados ao vivo podem expor um novo comportamento do seu modelo. Por exemplo, um modelo de previsão de risco de crédito treinado nos dados de uma região geográfica pode alterar a importância que ele atribui a vários recursos quando aplicado aos dados de outra região. O SageMaker Clarify é integrado ao SageMaker Model Monitor para notificá-lo usando sistemas de alerta, como o CloudWatch, se a importância dos recursos de entrada mudar, fazendo com que o comportamento do modelo mude.
Captura de tela do monitoramento da importância do recurso no SageMaker Model Monitor

Detectar viés

Identifique desequilíbrios nos dados

O SageMaker Clarify ajuda a identificar possíveis tendências durante a preparação de dados sem escrever código. Você especifica recursos de entrada, como gênero ou idade, e o SageMaker Clarify executa um trabalho de análise para detectar possíveis vieses nesses recursos. O SageMaker Clarify fornece um relatório visual com uma descrição das métricas e medições de possíveis vieses para que você possa identificar as etapas para corrigi-los. No caso de desequilíbrios, você pode usar o SageMaker Data Wrangler para equilibrar seus dados. O SageMaker Data Wrangler oferece três operadores de balanceamento: subamostragem aleatória, sobreamostragem aleatória e SMOTE para reequilibrar dados em seus conjuntos de dados não balanceados.

Captura de tela das métricas de vieses durante a preparação de dados no SageMaker Data Wrangler

Verifique seu modelo treinado para vieses

Depois de treinar seu modelo, você pode executar uma análise de vieses do SageMaker Clarify por meio do Amazon SageMaker Experiments para verificar se há possíveis vieses em seu modelo, como previsões que produzem um resultado negativo com mais frequência para um grupo do que para outro. Você especifica os atributos de entrada determinando quais gostaria de medir a tendência nos resultados do modelo, e o SageMaker executa uma análise e fornece um relatório visual que identifica os diferentes tipos de tendência para cada atributo. O método de código aberto da AWS Fair Bayesian Optimization pode ajudar a mitigar as tendências ajustando os hiperparâmetros de um modelo.

Captura de tela das métricas de tendências de um modelo treinado no SageMaker Experiments

Monitore as tendências do seu modelo implantado

Os vieses podem ser introduzidos ou exacerbados em modelos de ML implantados quando os dados ativos de treinamento diferem dos dados que o modelo vê durante a implantação. Por exemplo, as saídas de um modelo para prever preços de imóveis podem se tornar tendenciosas se as taxas de hipoteca usadas para treinar o modelo forem diferentes das taxas de hipoteca atuais. Os recursos de detecção de tendências do SageMaker Clarify são integrados ao Amazon SageMaker Model Monitor de modo que, quando o SageMaker detecta tendências acima de um determinado limite, ele gera automaticamente métricas que você pode visualizar no Amazon SageMaker Studio e por meio de métricas e alarmes do Amazon CloudWatch.

Captura de tela do monitoramento de viés no SageMaker Model Monitor

Novidades

  • Data (do mais recente ao mais antigo)
Nenhum resultado encontrado
1