Como a Proto está dando vida a avatares de ponta com o Amazon Bedrock

Um paciente na Austrália precisa de atendimento especializado urgente de um médico no Reino Unido. Uma empresa de robótica precisa demonstrar sua última invenção para possíveis investidores sem o incômodo de transportar máquinas. Um novo hotel quer impressionar os hóspedes com uma experiência premium. A Proto está possibilitando todas essas coisas e muito mais com hologramas alimentados por IA generativa. 

A Proto aproveita a inteligência artificial generativa (IA) para criar avatares realistas que são transmitidos para uma impressionante máquina de holograma de mais de dois metros, com a qual eles podem se envolver em conversas autênticas, fornecer informações, ajudar em tarefas e entreter. Eles já atuam em setores como publicidade e varejo, entretenimento, transporte, hotelaria, educação, treinamento e saúde, atendendo a empresas da Fortune 500 e a algumas das equipes esportivas e celebridades mais conhecidas do mundo.

Assim, esse paciente que precisa de atendimento urgente pode ser avaliado remotamente por um especialista a milhares de quilômetros de distância. A empresa de robótica pode exibir seu produto mais recente sem precisar lidar com o custo e a complexidade de exportar kits caros. E o hotel pode receber hóspedes com chatbots em tamanho real e fornecer um serviço de concierge digital personalizado para diferenciar seus negócios da concorrência.

Cada um desses casos de uso tem características (por exemplo, custos, latência, precisão) que exigema escolha de um modelo de base (FM) em detrimento de outro. Dessa forma, a Proto precisava de uma solução que facilitasse a experimentação, os testes e a adaptação de avatares aprimorados por IA com base em um caso de uso específico. A migração para o Amazon Bedrock proporcionou essa solução, dando à Proto acesso a uma ampla variedade de FMs que podem ser avaliados, experimentados, implantadas e personalizados com facilidade.

Melhorias e otimização com o Amazon Bedrock

Apesar de ser líder em seu campo, a demanda do mercado por menor latência, maior realismo e maior precisão nos engajamentos significava que a Proto estava procurando uma maneira de melhorar seus avatares de IA. Os avatares da Proto podem ser transmitidos para milhares de espectadores ou personalizados para uma única pessoa, transmitir informações em tempo real ou oferecer treinamento de alto nível. Seja qual for o propósito ou o setor, eles devem proporcionar um nível sofisticado de realismo, precisão e segurança, ao mesmo tempo em que oferecem uma persona de avatar adaptada ao caso de uso. Por exemplo, um concierge virtual de hotel precisaria de ajustes específicos para aprimorar a experiência dos hóspedes, enquanto um professor de arte virtual precisa de flexibilidade para processar a linguagem em imagens.

Fundamentalmente, a Proto também queria agilizar o processo de criação e gerenciamento de aplicações. Isso era complicado porque ela usava diferentes serviços e ferramentas no passado: a Proto estava usando um conjunto de serviços da AWS, mas construindo com outro provedor.

A IA generativa é um espaço em rápida evolução. Protagonistas exigentes continuam inovando seus produtos e atendendo melhor aos seus clientes. Isso requer tempo e recursos humanos, apoiados por ferramentas flexíveis capazes de ajudar no trabalho pesado. Fragmentado em várias soluções, o ambiente legado da Proto dificultava o gerenciamento dos serviços existentes da AWS e a implantação de novos. Com uma abordagem baseada no Amazon Bedrock, a Proto é capaz de iterar continuamente seus avatares e adaptá-los com base nas interações dos usuário em tempo real. Isso ajuda a garantir que o conteúdo seja sempre apropriado para qualquer contexto. Por exemplo, a Proto pode decidir no momento se um determinado tópico é apropriado ou não e configurar diretrizes (conhecidas como barreiras de proteção) no meio da interação para manter esses engajamentos seguros.

Esses fatores, bem como a necessidade das mais recentes ferramentas de IA generativa, motivaram a decisão da Proto de migrar para o Claude da Anthropic no Amazon Bedrock. Isso permitiu que a empresa melhorasse seus avatares de IA e os processos usados para criá-los.

Por que usar o Amazon Bedrock

O Amazon Bedrock é um serviço totalmente gerenciado que oferece uma variedade de modelos de base (FMs) de alta performance por meio de uma única API, juntamente com um amplo conjunto de recursos para ajudar as startups a criar aplicações de IA generativa com segurança, privacidade e IA responsável.

O Amazon Bedrock permite que os usuários experimentem e avaliem facilmente os principais FMs para uma variedade de casos de uso, personalizem esses FMs de maneira privada com seus próprios dados, usando técnicas como ajuste fino e geração aumentada via recuperação (RAG), e criem atendentes que executam tarefas usando seus próprios sistemas corporativos e fontes de dados.

O Amazon Bedrock também não tem servidor, o que significa que as startups não precisam gerenciar nenhuma infraestrutura e podem integrar e implantar recursos de IA generativa com segurança nas aplicações usando os serviços da AWS com os quais já estão familiarizados. 

A mecânica da migração

A Proto migrou para o Amazon Bedrock e escolheu o Claude Instant da Anthropic, um FM disponível no Amazon Bedrock, para demonstrar um avatar conversacional em uma grande conferência. Ela ajustou esse modelo para otimizar seu avatar de IA, estabelecendo barreiras de proteção para garantir que as interações fossem apropriadas para o ambiente, o público e o contexto.

O Amazon Bedrock permitiu que a Proto testasse a performance de várias máquinas virtuais antes de avançar para o próximo estágio de desenvolvimento, o que significa que ela pôde escolher a solução mais econômica para cada caso de uso. Por se tratar de um processo simples, isso não afetou o fluxo de trabalho nem os canais de implantação, o que é essencial para startups que desejam permanecer na vanguarda do desenvolvimento de IA. Como explica Raffi Kryszek, diretor de produtos e inteligência artificial da Proto, “o Amazon Bedrock nos permitiu testar a performance do nosso avatar gerado de diferentes modelos de base, alterando apenas uma linha de código”.

A Proto também implantou o Amazon Polly, um serviço em nuvem que converte texto em fala realista, e o Amazon Transcribe, um serviço de reconhecimento de fala que converte fala em texto automaticamente. Isso lhes dá a agilidade de adaptar sua solução para oferecer suporte à conversação em diferentes idiomas, como japonês, coreano e espanhol.

Além da variedade de serviços oferecidos, os recursos específicos do Amazon Bedrock garantiram um processo tranquilo durante a migração e permitiram que a Proto se adaptasse rapidamente e aproveitasse as mais recentes ferramentas de IA generativa à medida que se expandia.

O ponto crucial da migração concentrou-se na reconfiguração da API. Isso exigiu um mergulho profundo no funcionamento interno de ambos os sistemas para garantir uma comunicação perfeita entre a interface de usuário da Proto e os serviços do Amazon Bedrock. A equipe técnica da Proto conseguiu refatorar rapidamente seu código usando as APIs do Amazon Bedrock e utilizou a técnica de formatação de prompts específica do Claude para aumentar a qualidade das respostas do avatar.

A migração sinalizou uma mudança fundamental na abordagem da Proto à personalização de parâmetros de inferência, por meio da qual os parâmetros são ajustados para controlar as respostas do modelo. O processo envolveu o uso abrangente dos recursos de API do Amazon Bedrock, com a equipe aproveitando suas amplas opções de configuração para ajustar a geração de respostas. Isso incluiu a temperatura e as configurações de Top K.

O melhor tratamento da temperatura permite o controle mais diferenciado da criatividade em relação à fidelidade. Para um avatar de IA informativo, como um usado por uma empresa de saúde para fornecer informações médicas, a Proto pode optar por uma configuração de temperatura mais baixa, priorizando a precisão e a relevância. A capacidade de ajustar a temperatura dessa maneira significa que a Proto pode adotar uma abordagem mais diferenciada para atender às necessidades de diferentes clientes que implementam diferentes tipos de avatares de IA. É importante ressaltar que sua equipe pode fazer isso com muito mais rapidez e facilidade do que no passado, pois o Amazon Bedrock reduz as demandas técnicas impostas aos seus usuários.

A Proto também pode ser mais preciso no processo de calibração quando se trata de controlar configurações de Top K. Assim como a temperatura, a configuração de Top K é outra categoria de parâmetros de inferência que pode ser ajustada para limitar ou influenciar a resposta do modelo.

Top K é o número de opções mais prováveis que um modelo considera para o próximo token em uma sequência. Pode ser a próxima palavra em uma frase, o que torna a configuração de Top K fundamental para controlar a geração de texto e garantir que o texto seja coerente e preciso. Diminuir o valor reduz o tamanho do grupo de opções que o modelo pode escolher para as opções mais prováveis. Isso pode ser usado para resultados mais previsíveis e focados, como em uma documentação técnica. Um valor maior aumenta o tamanho desse grupo e permite que o modelo considere opções menos prováveis. Isso pode ser usado para contar histórias criativas, em que uma variedade maior de opções de palavras é desejável para aumentar a riqueza e a imprevisibilidade da narrativa.

O aproveitamento desse recurso permitiu que a Proto otimizasse a performance e a qualidade, personalizando cuidadosamente as saídas para diferentes avatares de IA, dependendo do caso de uso.

Finalmente, a Proto se beneficiou das capacidades de engenharia de prompts do Claude. A equipe desenvolveu um conjunto de melhores práticas para o ajuste de parâmetros, aprimorando a capacidade de resposta e a relevância da IA. Essa abordagem personalizada ressalta a importância de entender as capacidades e restrições subjacentes do modelo de IA, garantindo que os desenvolvedores possam aproveitar totalmente a tecnologia para atender aos requisitos específicos do avatar de IA que estão implantando, ao seu público e às suas próprias necessidades.

Implementação de uma arquitetura de alto nível

O uso do Amazon Bedrock permitiu que a Proto melhorasse a forma como os avatares de IA respondem às consultas dos usuários. A arquitetura começa com um usuário fazendo uma pergunta, que é então direcionada ao Amazon Bedrock. O processo RAG mescla as entradas do usuário em tempo real com insights profundos dos dados internos da Proto, bem como de repositórios de dados externos. Isso ajuda a gerar prompts precisos e relevantes, resultando em uma conversa personalizada para o usuário que está fazendo a consulta.

A Proto conseguiu escolher os tamanhos dos blocos das incorporações, o que permite que mais ou menos informações sejam usadas nas respostas fornecidas por seus avatares de IA. Incorporações menores são mais bem usadas para aplicações como um assistente pessoal, permitindo a inclusão de muitas memórias no prompt. Por outro lado, incorporações maiores são mais úteis quando os documentos são separados, de forma que as informações não fiquem dispersas.

Depois que o prompt é aumentado, ele é processado por uma seleção de modelos avançados de IA, incluindo o Claude. Em cada aplicação da Proto, um ID de avatar exclusivo direciona essas consultas, possibilitando respostas precisas e contextualmente sensíveis ao consultar o banco de dados apropriado.

Em seguida, as respostas são enviadas ao Amazon Polly para garantir que cada palavra falada por seus avatares não seja apenas representada visualmente com sincronização labial precisa, como também entregue em alta velocidade, resultando em respostas visuais e interativamente perfeitas. O avatar da IA parece mais humano quando fala com o usuário, e a conversa é a mais próxima possível do tempo real.

Conclusão

Como resultado da migração, a Proto agora está usando as ferramentas de IA generativa mais avançadas para fornecer as aplicações de IA generativa mais inovadoras para seus clientes. Como um serviço totalmente gerenciado, a migração para o Amazon Bedrock significou que a equipe da Proto não precisou perder tempo rearquitetando suas soluções para oferecer suporte a vários modelos de base. Agora, a equipe está livre para se concentrar no que importa: criar, escalar e otimizar produtos para adaptação às necessidades dos usuários finais e, como resultado, para a expansão de sua startup.

A otimização desses produtos já está clara: ao se concentrar na reconfiguração da API como parte da migração gerenciada, a Proto aprimorou os recursos de seus avatares, garantindo que eles permaneçam na vanguarda da tecnologia de IA conversacional. Adaptá-los a diferentes setores (e a velocidade com que isso pode ser feito) permite que a empresa atenda melhor a uma ampla base de clientes e estenda seu alcance a vários setores com uma velocidade competitiva.

A migração de workloads e aplicações para a AWS é apenas o começo. A Proto deu um passo adiante, adaptando-se e aproveitando os recursos de IA generativa da AWS. Agora, ela os utiliza em todo o fluxo de trabalho: desde mexer com ferramentas de líderes na área até implantar a tecnologia que cria engajamentos significativos para seus clientes.

Ao migrar para a AWS, ela conseguiu aliviar a carga (técnica) de sua equipe e, ao mesmo tempo, expandir suas habilidades criativas, além de criar, escalar e implantar com mais facilidade suas próprias aplicações de IA generativa com segurança, privacidade e IA responsável. Se você é uma startup que deseja começar sua jornada com IA generativa ou deseja otimizar e aprimorar seu fluxo de trabalho e seus produtos atuais, o Programa de Aceleração da Migração da AWS pode te ajudar a explorar as opções e saber mais sobre como o Amazon Bedrock pode trabalhar para você.

Com a contribuição de Shaun Wang e Tony Gabriel Silva