O que são modelos autorregressivos?
Modelos autorregressivos são uma classe de modelos de machine learning (ML) que preveem automaticamente o próximo componente em uma sequência fazendo medições de entradas anteriores na sequência. A autorregressão é uma técnica estatística usada na análise de séries temporais que pressupõe que o valor atual de uma série temporal é uma função de seus valores passados. Modelos autorregressivos usam técnicas matemáticas semelhantes para determinar a correlação probabilística entre elementos em uma sequência. Eles então usam o conhecimento derivado para adivinhar o próximo elemento em uma sequência desconhecida. Por exemplo, durante o treinamento, um modelo autorregressivo processa várias frases em inglês e identifica que a palavra “is” sempre segue a palavra “there”. Em seguida, ele gera uma nova sequência que tem “there is” junto.
Como os modelos autorregressivos são usados na IA generativa?
A inteligência artificial generativa (IA generativa) é uma tecnologia avançada de ciência de dados capaz de criar conteúdo novo e exclusivo aprendendo com dados de treinamento massivos. As seções a seguir descrevem como a modelagem autorregressiva permite aplicações de IA generativa.
Processamento de linguagem natural (PLN)
A modelagem autorregressiva é um componente importante dos grandes modelos de linguagem (LLMs). Os LLMs são alimentados pelo transformador generativo pré-treinado (GPT), uma rede neural profunda derivada da arquitetura do transformador. O transformador consiste em um codificador-decodificador, que permite a compreensão da linguagem natural e a geração da linguagem natural, respectivamente. O GPT usa somente o decodificador para modelagem de linguagem autorregressiva. Isso permite que o GPT compreenda as linguagens naturais e responda da maneira que os humanos compreendem. Um modelo de linguagem grande baseado em GPT prevê a próxima palavra considerando a distribuição de probabilidade do corpus de texto em que é treinado.
Leia sobre o processamento de linguagem natural (PLN)
Leia sobre grandes modelos de linguagem (LMMs)
Síntese de imagens
A autorregressão permite que modelos de aprendizado profundo gerem imagens analisando informações limitadas. Redes neurais de processamento de imagens, como PixelRNN e PixelCNN, usam modelagem autorregressiva para prever dados visuais examinando as informações de pixels existentes. Você pode usar técnicas autorregressivas para aprimorar, aprimorar e reconstruir imagens, mantendo a qualidade.
Previsão de séries temporais
Modelos autorregressivos são úteis para prever a probabilidade de eventos de séries temporais. Por exemplo, modelos de aprendizado profundo usam técnicas autorregressivas para prever preços de ações, condições climáticas e de tráfego com base em valores históricos.
Aumento de dados
Os engenheiros de ML treinam modelos de IA com conjuntos de dados selecionados para melhorar a performance. Em alguns casos, não há dados suficientes para treinar o modelo adequadamente. Os engenheiros usam modelos autorregressivos para gerar dados de treinamento de aprendizado profundo novos e realistas. Eles usam os dados gerados para aumentar os conjuntos de dados de treinamento limitados existentes.
Como funciona a modelagem autorregressiva?
Um modelo autorregressivo usa uma variação da análise de regressão linear para prever a próxima sequência a partir de um determinado intervalo de variáveis. Na análise de regressão, o modelo estatístico é fornecido com várias variáveis independentes, que ele usa para prever o valor de uma variável dependente.
Regressão linear
Você pode imaginar a regressão linear como desenhar uma linha reta que melhor represente os valores médios distribuídos em um gráfico bidimensional. A partir da linha reta, o modelo gera um novo ponto de dados correspondente à distribuição condicional dos valores históricos.
Considere a forma mais simples da equação do gráfico de linha entre y (variável dependente) e x (variável independente); y=c*x+m, onde c e m são constantes para todos os valores possíveis de x e y. Então, por exemplo, se o conjunto de dados de entrada para (x, y) fosse (1,5), (2,8) e (3,11). Para identificar o método de regressão linear, você realizaria as seguintes etapas:
- Plotar uma linha reta e medir a correlação entre 1 e 5.
- Mude a direção da linha reta para novos valores (2,8) e (3,11) até que todos os valores se ajustem.
- Identificar a equação de regressão linear como y=3*x+2.
- Extrapolar ou predizer que y é 14 quando x é 4.
Autorregressão
Modelos autorregressivos aplicam regressão linear com variáveis defasadas de sua saída retiradas de etapas anteriores. Ao contrário da regressão linear, o modelo autorregressivo não usa outras variáveis independentes, exceto os resultados previstos anteriormente. Considere a fórmula a seguir.
Quando expresso no termo probabilístico, um modelo autorregressivo distribui variáveis independentes em n-etapas possíveis, assumindo que variáveis anteriores influenciam condicionalmente o resultado da próxima.
Também podemos expressar a modelagem autorregressiva com a equação abaixo.
Aqui, y é o resultado da predição de várias ordens de resultados anteriores multiplicado por seus respectivos coeficientes, ϕ. O coeficiente representa pesos ou parâmetros que influenciam a importância do preditor para o novo resultado. A fórmula também considera ruídos aleatórios que podem afetar a previsão, indicando que o modelo não é ideal e que melhorias adicionais são possíveis.
Atraso
Os cientistas de dados adicionam mais valores defasados para melhorar a precisão da modelagem autorregressiva. Eles fazem isso aumentando o valor de t, que indica o número de etapas na série temporal de dados. Um número maior de etapas permite que o modelo capture mais previsões passadas como entrada. Por exemplo, você pode expandir um modelo autorregressivo para incluir a temperatura prevista de 7 dias até os últimos 14 dias para obter um resultado mais preciso. Dito isso, aumentar a ordem defasada de um modelo autorregressivo nem sempre resulta em maior precisão. Se o coeficiente estiver próximo de zero, o preditor específico terá pouca influência no resultado do modelo. Além disso, a expansão indefinida da sequência resulta em um modelo mais complexo que exige mais recursos de computação para ser executado.
O que é autocorrelação?
A autocorrelação é um método estatístico que avalia a intensidade com que a saída de um modelo autorregressivo é influenciada por suas variáveis defasadas. Os cientistas de dados usam a autocorrelação para descrever a relação entre a saída e as entradas atrasadas de um modelo. Quanto maior a correlação, maior a precisão da predição do modelo. A seguir estão algumas considerações sobre autocorrelação:
- Uma correlação positiva significa que a produção segue as tendências traçadas nos valores anteriores. Por exemplo, o modelo prevê que o preço das ações aumentará hoje porque aumentou nos últimos dias.
- Uma correlação negativa significa que a variável de saída é oposta aos resultados anteriores. Por exemplo, o sistema autorregressivo observa que os últimos dias estavam chovendo, mas previu um dia ensolarado amanhã.
- A correlação zero pode indicar a falta de padrões específicos entre a entrada e a saída.
Os engenheiros de dados usam a autocorrelação para determinar quantas etapas devem incluir no modelo para otimizar os recursos de computação e a precisão das respostas. Em algumas aplicações, o modelo autorregressivo pode mostrar uma forte autocorrelação ao usar variáveis do passado imediato, mas uma autocorrelação mais fraca para entradas distantes. Por exemplo, engenheiros descobriram que um preditor meteorológico autorregressivo é menos sensível às previsões anteriores de mais de 30 dias. Então, eles revisaram o modelo para incluir apenas os resultados atrasados dos últimos 30 dias. Isso levou a resultados mais precisos usando menos recursos de computação.
Qual é a diferença entre autorregressão e outros tipos de técnicas de análise regressiva?
Além da autorregressão, várias técnicas regressivas foram introduzidas para analisar variáveis e suas interdependências. As seções a seguir descrevem as diferenças.
Regressão linear comparada com autorregressão
Ambos os métodos de regressão assumem que variáveis passadas compartilham uma relação linear com valores futuros. A regressão linear prevê um resultado com base em várias variáveis independentes dentro do mesmo período de tempo. Enquanto isso, a autorregressão usa apenas um tipo de variável, mas a expande em vários pontos para prever o resultado futuro. Por exemplo, você usa regressão linear para prever o tempo de trajeto com base no clima, no volume do tráfego e na velocidade de caminhada. Como alternativa, um modelo de autorregressão usa seus tempos de deslocamento anteriores para estimar a hora de chegada de hoje.
Regressão polinomial comparada com autorregressão
A regressão polinomial é um método estatístico que captura a relação de variáveis não lineares. Algumas variáveis não podem ser representadas linearmente por uma linha reta e exigem termos polinomiais adicionais para refletir melhor seus relacionamentos. Por exemplo, engenheiros usam regressão polinomial para analisar os ganhos dos funcionários com base em seu nível educacional. Enquanto isso, a autorregressão é adequada para prever a renda futura de um funcionário com base em seus salários anteriores.
Regressão logística comparada com autorregressão
A regressão logística permite que um modelo estatístico preveja a probabilidade de um evento específico no termo probabilístico. Ele expressa o resultado da previsão em porcentagem em vez de um intervalo de números. Por exemplo, analistas de negócios usam um modelo de regressão logística para prever uma chance de 85% de aumento no custo de fornecimento no mês seguinte. Por outro lado, o modelo de autorregressão prevê o preço provável do estoque, dada sua previsão histórica dos meses anteriores.
Regressão de Ridge comparada com autorregressão
A regressão de Ridge é uma variante da regressão linear que permite restringir o coeficiente de um modelo. Os cientistas de dados podem ajustar um fator de penalidade, compensando a influência do coeficiente na modelagem do resultado. O coeficiente do parâmetro pode ser suprimido para quase zero em um modelo de regressão de crista. Isso é útil quando o algoritmo regressivo está propenso a sobreajuste. O sobreajuste é uma condição em que o modelo pode generalizar bem com dados de treinamento, mas não com dados desconhecidos do mundo real. Um modelo de autorregressão, entretanto, não tem um mecanismo de penalidade de coeficiente.
Regressão de laço comparada com autorregressão
A regressão de laço é semelhante à regressão de crista, que pode restringir o coeficiente variável com um fator de penalidade. No entanto, a regressão do laço pode suprimir o coeficiente para zero. Isso permite que os cientistas de dados simplifiquem modelos complexos ignorando parâmetros não críticos. Enquanto isso, os modelos autorregressivos não regulam suas previsões com redução do coeficiente.
Como a AWS pode ajudar com seus modelos autorregressivos?
Com a Amazon Web Services (AWS), as equipes de software podem criar, treinar, implantar e escalar modelos autorregressivos para aplicações de IA generativa com mais eficiência. Com segurança de nível empresarial e infraestrutura gerenciada, a AWS simplifica o desenvolvimento de modelos generativos para empresas e reduz o tempo de colocação no mercado. Por exemplo, é possível usar:
- Amazon Bedrock, que é um serviço gerenciado que fornece modelos básicos que você pode usar para personalizar e inovar com seus próprios dados.
- Amazon SageMaker para criar, treinar e implantar modelos de ML para qualquer caso de uso.
- AWS Trainium e AWS Inferentia treinarão, hospedarão e escalarão aplicações de IA generativa na nuvem com poder de computação de alta performance e baixo custo.
Comece a usar modelos autorregressivos na AWS criando uma conta hoje mesmo.
Próximas etapas na AWS
Obtenha acesso instantâneo ao nível gratuito da AWS.
