Cómo Proto crea avatares innovadores con Amazon Bedrock

Un paciente en Australia necesita atención especializada urgente por parte de un médico del Reino Unido. Una empresa de robótica necesita hacer una demostración de su último invento a posibles inversores sin tener que transportar maquinaria. Un hotel nuevo quiere sorprender a sus huéspedes con una experiencia de primera calidad. Proto permite todo esto y mucho más, con hologramas impulsados por IA generativa. 

Proto utiliza la inteligencia artificial (IA) generativa para crear avatares realistas que se transmiten a una impresionante máquina de hologramas de 7 metros, donde pueden entablar una conversación auténtica, proporcionar información, ayudar en las tareas y entretenerse. Ya están presentes en sectores como la publicidad y el comercio minorista, el entretenimiento, el transporte, la hostelería, la educación, la formación y la atención médica, y prestan servicios a empresas de la lista Fortune 500 y a algunos de los equipos deportivos y celebridades más conocidos del mundo.

Por lo tanto, ese paciente que necesita atención urgente puede ser evaluado de forma remota por un especialista a miles de kilómetros de distancia. La empresa de robótica puede mostrar su último producto sin tener que afrontar el costo y la complejidad de exportar un kit caro. Y el hotel puede recibir a sus huéspedes con chatbots de tamaño real y ofrecer un servicio de conserjería digital personalizado para diferenciar su empresa de la competencia.

Cada uno de estos casos de uso tiene características (por ejemplo, costos, latencia, precisión) que requieren elegir un modelo fundacional (FM) en particular por sobre otro. Por eso, Proto necesitaba una solución que facilitara la experimentación, las pruebas y la adaptación de avatares mejorados con inteligencia artificial en función de su caso de uso específico. La migración a Amazon Bedrock brindó esta solución y le permitió a Proto acceder a una amplia variedad de FM que se pueden evaluar, experimentar, implementar y personalizar con facilidad.

Mejora y optimización con Amazon Bedrock

A pesar de ser líder en su campo, la demanda del mercado por una menor latencia, más realismo y una mayor precisión en las interacciones impulsó a Proto a buscar una forma de mejorar sus avatares de IA. Los avatares de Proto pueden transmitirse a miles de espectadores o personalizarse para una sola persona, enviar información en tiempo real o impartir capacitaciones de alto nivel. Sea cual sea su finalidad o sector, deben ofrecer un nivel sofisticado de realismo, precisión y seguridad, al mismo tiempo que ofrecen una personalidad de avatar adaptada al caso de uso. Por ejemplo, un conserje virtual de un hotel necesitaría ajustes específicos para mejorar la experiencia de los huéspedes, mientras que un profesor de arte virtual necesitaría flexibilidad para procesar el lenguaje a imágenes.

Lo más importante es que Proto también quería optimizar el proceso de creación y gestión de aplicaciones. Esto se había complicado debido al uso que Proto hacía de diferentes servicios y herramientas en el pasado: utilizaba un paquete de servicios de AWS, pero desarrollaba con otro proveedor.

La IA generativa es un espacio en rápida evolución, en el que los jugadores exigentes siguen innovando en sus productos y prestando el mejor servicio a sus clientes. Esto requiere recursos y tiempo humanos, respaldados por herramientas flexibles que puedan ayudar con el trabajo pesado. Al estar fragmentado en varias soluciones, el entorno tradicional de Proto dificultaba la gestión de los servicios de AWS existentes y la implementación de otros nuevos. Con un enfoque basado en Amazon Bedrock, Proto ahora puede modificar continuamente sus avatares y adaptarlos en función de las interacciones de los usuarios en tiempo real. Esto ayuda a garantizar que el contenido sea siempre apropiado para cualquier contexto dado. Por ejemplo, Proto puede decidir en el momento si un cierto tema es adecuado o no y establecer pautas (conocidas como barreras de protección) en medio de las interacciones para mantenerlas seguras.

Estos factores, así como la necesidad de contar con las últimas herramientas de IA generativa, llevaron a Proto a tomar la decisión de migrar a Claude, de Anthropic, en Amazon Bedrock. Esto permitió a la empresa mejorar sus avatares de inteligencia artificial y los procesos utilizados para crearlos.

¿Por qué elegir Amazon Bedrock?

Amazon Bedrock es un servicio totalmente gestionado que ofrece una selección de modelos fundacionales (FM) de alto rendimiento a través de una única API, junto con un amplio conjunto de funcionalidades para ayudar a las startups a crear aplicaciones de IA generativa con seguridad, privacidad e IA responsable.

Amazon Bedrock permite a los usuarios experimentar y evaluar con facilidad los mejores FM para una gran variedad de casos de uso, personalizarlos de forma privada con sus propios datos mediante técnicas como el ajuste y la generación aumentada por recuperación (RAG), y crear agentes que ejecuten tareas utilizando los sistemas y orígenes de datos de su empresa.

Amazon Bedrock también funciona sin servidor, por lo que las startups no tienen que administrar ninguna infraestructura y pueden integrar e implementar de forma segura funcionalidades de IA generativa en sus aplicaciones mediante los servicios de AWS que ya conocen. 

La mecánica de la migración

Proto migró a Amazon Bedrock y eligió Claude Instant de Anthropic, un FM disponible en Amazon Bedrock, para presentar un avatar conversacional en una conferencia importante. Ajustó este modelo para optimizar su avatar de IA y puso barreras de protección para garantizar que las interacciones fueran adecuadas para el entorno, la audiencia y el contexto.

Amazon Bedrock le permitió a Proto probar el rendimiento de varios FM antes de pasar a la siguiente fase de desarrollo, lo que le permitió elegir la solución más rentable para cada caso de uso. Fue un proceso directo, por lo que no repercutió en el flujo de trabajo ni en los procesos de implementación, dos aspectos fundamentales para las startups que buscan mantenerse a la vanguardia del desarrollo de la IA. Como explica Raffi Kryszek, Director de producto e inteligencia artificial de Proto, “Amazon Bedrock nos permitió probar el rendimiento de nuestro avatar cuando procedía de diferentes modelos fundacionales, cambiando solo una línea de código”.

Proto también implementó Amazon Polly, un servicio en la nube que convierte el texto en voz realista, y Amazon Transcribe, un servicio de reconocimiento de voz que convierte automáticamente la voz en texto. Esto les brinda la agilidad necesaria para adaptar su solución para así permitir conversaciones en diferentes idiomas, como el japonés, el coreano y el español.

Además de la gama de servicios ofrecidos, las funcionalidades específicas de Amazon Bedrock aseguraron un proceso fluido durante la migración y permitieron a Proto adaptarse rápidamente y aprovechar las últimas herramientas de IA generativa a medida que crece.

El punto crucial de la migración se centró en la reconfiguración de la API. Esto requirió profundizar en el funcionamiento interno de ambos sistemas para garantizar una comunicación fluida entre la interfaz de usuario de Proto y los servicios de Amazon Bedrock. El equipo técnico de Proto pudo refactorizar rápidamente su código mediante las API de Amazon Bedrock, y usó la técnica de formateo de peticiones específicas de Claude para aumentar la calidad de las respuestas de los avatares.

La migración marcó un cambio fundamental en el enfoque de Proto para la personalización de los parámetros de inferencia, mediante el cual los parámetros se ajustan para controlar las respuestas del modelo. El proceso involucró un uso exhaustivo de las funcionalidades de la API de Amazon Bedrock, y el equipo aprovechó sus amplias opciones de configuración para mejorar la generación de respuestas. Esto incluyó la configuración de la temperatura y Top K.

Un mejor manejo de la temperatura permite un control más matizado de la creatividad frente a la fidelidad. Para un avatar de IA informativo, como el que usa una empresa sanitaria para proporcionar información médica, Proto puede optar por una configuración de temperatura más baja, priorizando la precisión y la relevancia. Al poder ajustar la temperatura de esta manera, Proto puede adoptar un enfoque más matizado para satisfacer las necesidades de sus diferentes clientes que implementan distintos tipos de avatares de IA. Es importante destacar que su equipo puede hacerlo de forma mucho más rápida y sencilla que en el pasado, ya que Amazon Bedrock reduce las exigencias técnicas impuestas a sus usuarios.

Proto también puede lograr más precisión en el proceso de calibración cuando se trata de controlar los ajustes de Top K. Al igual que la temperatura, la configuración de Top K es otra categoría de parámetros de inferencia que se puede ajustar para limitar o influir en la respuesta del modelo.

Top K es el número de opciones más probables que un modelo considera para el siguiente token de una secuencia. Este podría ser la siguiente palabra de una oración, lo que hace que la configuración de Top K sea fundamental para controlar la generación de texto y garantizar que el texto sea coherente y preciso. Reducir el valor disminuye el tamaño del conjunto de opciones entre las que el modelo puede elegir a las opciones más probables. Esto puede usarse para obtener resultados más predecibles y enfocados, como documentación técnica. Un valor más alto aumenta el tamaño de este grupo y permite que el modelo considere opciones menos probables. Esto puede usarse para narración creativa, donde se desea elegir una variedad más amplia de palabras para mejorar la riqueza e imprevisibilidad de la narración.

El uso de esta función le permitió a Proto optimizar el rendimiento y la calidad al personalizar cuidadosamente los resultados para los diferentes avatares de IA, según su caso de uso.

Por último, Proto también se benefició de las funcionalidades de ingeniería de peticiones de Claude. El equipo desarrolló un conjunto de mejores prácticas para el ajuste de parámetros, lo que mejoró la capacidad de respuesta y la relevancia de la IA. Este enfoque personalizado destaca la importancia de comprender las capacidades y limitaciones del modelo de IA subyacente, de modo que los desarrolladores puedan aprovechar al máximo la tecnología para cumplir con los requisitos específicos del avatar de IA que están implementando, así como los de su audiencia y sus necesidades.

Implementación de arquitectura de alto nivel

El uso de Amazon Bedrock le permitió a Proto mejorar la forma en que los avatares de IA responden a las consultas de los usuarios. La arquitectura comienza cuando un usuario plantea una pregunta que luego se dirige a Amazon Bedrock. El proceso de RAG combina las aportaciones de los usuarios en tiempo real con información detallada de los datos propios de Proto, así como de los repositorios de datos externos. Esto ayuda a generar peticiones precisas y relevantes, lo que da como resultado una conversación personalizada para el usuario que realiza la consulta.

Proto pudo elegir el tamaño de los fragmentos de las incrustaciones, lo que permite utilizar más o menos información en las respuestas proporcionadas por sus avatares de IA. Las incrustaciones más pequeñas son las más adecuadas para aplicaciones como las de un asistente personal, ya que permiten agregar muchas memorias a la petición. Por otro lado, las incrustaciones de mayor tamaño son más útiles cuando los documentos están separados de forma que la información no esté dispersa por todas partes.

Una vez que se aumenta la petición, se procesa mediante una selección de modelos avanzados de IA, incluido Claude. En cada aplicación de Proto, un identificador de avatar único dirige estas consultas, lo que permite obtener respuestas precisas y adaptadas al contexto consultando la base de datos adecuada.

Luego, las respuestas se envían a Amazon Polly para garantizar que cada palabra pronunciada por sus avatares no solo se represente visualmente con una sincronización de labios precisa, sino que también se entregue a gran velocidad, lo que da como resultado respuestas fluidas tanto de forma visual como interactiva. El avatar de IA se parece más a un ser humano cuando habla con su usuario, y la conversación es lo más cercana posible al tiempo real.

Conclusión

Como resultado de la migración, Proto ahora usa las herramientas de IA generativa más avanzadas para proporcionar las aplicaciones de IA generativa más innovadoras a sus clientes. Al tratarse de un servicio totalmente gestionado, al cambiarse a Amazon Bedrock, el equipo de Proto no tuvo que dedicar tiempo a rediseñar sus soluciones para que fueran compatibles con varios modelos fundamentales. El equipo ahora tiene más disponibilidad para centrarse en lo que importa: crear, escalar y optimizar los productos para que se adapten a las necesidades de los usuarios finales y, como resultado, hacer crecer su startup.

La optimización de esos productos ya está clara: al centrarse en la reconfiguración de las API como parte de la migración gestionada, Proto ha mejorado las funcionalidades de sus avatares, y así garantiza que permanezcan a la vanguardia de la tecnología de IA conversacional. Adaptarlos a los diferentes sectores (y a la velocidad a la que puede hacerlo) le permite a la empresa atender mejor a una amplia base de clientes y extender su alcance a varios sectores a un ritmo competitivo.

La migración de cargas de trabajo y aplicaciones a AWS fue solo el principio. Proto ha ido un paso más allá adaptando y aprovechando las capacidades de IA generativa de AWS. Ahora las utiliza en todo su flujo de trabajo: desde retocar las herramientas de los líderes del sector hasta implementar la tecnología que genera interacciones significativas para sus clientes.

Al migrar a AWS, ha aliviado la carga (técnica) de su equipo a la vez que ha ampliado sus capacidades creativas, y ha permitido crear, escalar e implementar con mayor facilidad sus propias aplicaciones de IA generativa con seguridad, privacidad e inteligencia artificial responsable. Tanto si es una startup que busca iniciar su camino con la IA generativa como si desea optimizar y mejorar su flujo de trabajo y productos actuales, el Programa de aceleración de la migración de AWS puede brindarle ayuda para explorar sus opciones y descubrir más sobre lo que Amazon Bedrock puede por usted.

Con la colaboración de Shaun Wang y Tony Gabriel Silva