“Boosted.ai’s generative AI portfolio manager surfaces near-instant finance insights with AWS”

Al cambiar de un LLM genérico que era demasiado extenso y engorroso para sus necesidades a un modelo adaptado a su dominio (mercados de capitales), Boosted.ai redujo los costos en un 90 por ciento, mejoró considerablemente la eficiencia y liberó la capacidad de GPU necesaria para escalar su aplicación de gestión de inversiones basada en IA generativa.

Resumen

En 2020, Boosted.ai amplió su plataforma de análisis financiero basada en inteligencia artificial (IA), Boosted Insights, mediante la creación de un asistente de cartera con IA para gestores de activos en un modelo de lenguaje de gran tamaño (LLM) que procesaba datos de 150 000 orígenes. El resultado fueron análisis macroeconómicos y de tendencias del mercado de más de 60 000 acciones de todos los mercados bursátiles mundiales (Norteamérica, la UE y el Reino Unido, APAC, Medio Oriente, América Latina e India). Sin embargo, el uso de un LLM conllevaba algunos inconvenientes importantes: un elevado coste anual de funcionamiento y limitaciones de capacidad de la GPU que lastraban su posibilidad de ampliación.

Boosted.ai comenzó a optimizar el dominio de un modelo que se ejecutaba en AWS y consiguió:

• Reducir los costos en un 90 por ciento sin sacrificar la calidad.
• Pasar de actualizaciones de un día para otro a actualizaciones casi en tiempo real, lo que generó más valor para sus clientes gestores de inversiones que utilizan cientos de miles de orígenes de datos.
• Mejorar la seguridad y la personalización gracias a tener la capacidad de ejecutar un modelo en la nube privada de un cliente, en lugar de ejecutar cargas de trabajo a través de una nube de LLM.

Introducción

2023 fue el año en que la IA generativa se generalizó; durante 2024 y más allá, lograr una mayor eficiencia para hacer más con menos seguirá siendo un objetivo para las empresas. Es fundamental que los equipos cuenten con una estrategia para la incorporación de la IA generativa con el objetivo de mejorar la productividad. Sin embargo, incluso cuando hay un caso de uso claro, no siempre resulta evidente la manera en la que se puede implementar la IA para lograr los resultados que desea una empresa.

Boosted.ai incorporó la IA generativa con el propósito de automatizar las tareas de investigación para sus clientes de gestión de inversiones, de forma que mejoraron los resultados tanto para Boosted.ai como para sus clientes.

Boosted.ai, fundada en 2017, ofrece una plataforma de inteligencia artificial y machine learning (ML), Boosted Insights, para ayudar a los gestores de activos a clasificar los datos de manera que sean más eficientes, mejoren las métricas de su cartera y tomen mejores decisiones que se basen en los datos. Cuando los fundadores vieron el impacto de los potentes LLM, decidieron utilizar un LLM de código cerrado para crear un asistente de gestión de carteras basado en inteligencia artificial. De la noche a la mañana, procesaba millones de documentos de 150 000 orígenes, incluidos conjuntos de datos no tradicionales, como formularios de la SEC (por ejemplo, 10K y 10Q), conferencias sobre ganancias, publicaciones comerciales, noticias internacionales, noticias locales e incluso publicaciones sobre moda. Al fin y al cabo, si hablamos de que una empresa como Shein sale a bolsa, un artículo de Vogue podría convertirse en información relevante para invertir. Boosted Insights resumió y recopiló toda esta información en una interfaz de usuario interactiva que sus clientes gestores de activos podían revisar por sí mismos.

Con su nuevo modelo de IA generativa, ahora Boosted.ai ofrecía información de inversión crítica a todos sus clientes, más de 180 gestores de activos de gran relevancia global. Para estos equipos, el tiempo es dinero. Cuando algo afecta al precio de las acciones de una empresa, la rapidez con la que alguien obtiene esa información y actúa en consecuencia puede suponer una diferencia de miles, incluso millones de dólares. Boosted.ai puso en una posición de ventaja a estos gestores. Por ejemplo, señaló que Apple estaba trasladando parte de su capacidad de fabricación a la India antes de que saliera a la luz la noticia en los principales medios de comunicación, porque Boosted Insights leía artículos en los medios de comunicación indios.

La incorporación de un componente de IA generativa a Boosted Insights automatizó gran parte de la investigación para convertir una hipótesis de inversión en una operación real. Por ejemplo, si un inversor estuviera preocupado por una guerra comercial con China, podría preguntar a Boosted Insights: “¿qué tipos de acciones debo comprar o vender?”. Antes de la aparición de la IA generativa, responder a esa pregunta requería un proceso de investigación de 40 horas, en el que se examinaban cientos de páginas de informes de analistas, artículos de noticias y resúmenes de resultados. Con un asistente de gestión de carteras basado en inteligencia artificial, el 80 por ciento de ese trabajo ahora estaba automatizado.

Resolver el problema de la escala con modelos lingüísticos de dominios específicos

El lanzamiento de la IA generativa de Boosted.ai fue muy bien recibido por los clientes, pero la empresa quería ampliarla para ejecutar hasta 5 o 10 veces más análisis y pasar de realizar informes de un día para otro a un verdadero sistema en tiempo real. Sin embargo, había un problema: administrar la IA costaba casi 1 000 000 USD al año en comisiones y, aunque quisieran comprar más capacidad de GPU, simplemente no podían hacerlo. No había suficiente capacidad de GPU para que su herramienta de análisis financiero de IA pudiera convertirse en una aplicación en tiempo real.

Ajustar el tamaño del modelo para reducir los costos y aumentar la escala

Los desafíos de Boosted.ai son cada vez más comunes para las organizaciones que adoptan los LLM y la IA generativa. Dado que los LLM se entrenan para un uso general, las empresas que entrenan estos modelos dedican mucho tiempo, pruebas y dinero a hacerlos funcionar. Cuanto más grande sea el modelo, mayor es la computación acelerada que tendrá que utilizar en cada solicitud. Como resultado, para la mayoría de las organizaciones, incluida Boosted.ai, simplemente no es viable usar un LLM para una tarea específica.

Boosted.ai decidió explorar un enfoque más específico y rentable: ajustar un modelo de lenguaje más pequeño para realizar una tarea específica. En el mundo de la inteligencia artificial y el machine learning, estos modelos suelen denominarse de “código abierto”, pero eso no significa que los hackeen personas aleatorias que comparten una wiki, como se puede imaginar si se piensa en los inicios de la codificación de código abierto. En lugar de eso, los modelos de lenguaje de código abierto, como Llama 2 de Meta, se entrenan con billones de puntos de datos y se mantienen en entornos seguros como Amazon Bedrock. La diferencia es que un modelo de código abierto brinda a los usuarios acceso total a sus parámetros y la opción de ajustarlos para tareas específicas. Los LLM de código cerrado, por el contrario, son una caja negra que no permite el tipo de personalización que Boosted.ai necesitaba crear.

La capacidad de perfeccionar su modelo haría que Boosted.ai marcase la diferencia. A través de la red de socios de AWS, Boosted.ai se puso en contacto con Invisible, cuya red global de especialistas en entrenamiento de IA permitió a Boosted.ai centrarse en su trabajo principal de desarrollo, mientras que Invisible proporcionaba anotaciones de datos de alta calidad de forma más rápida y rentable que un equipo interno contratado para el proyecto. Juntos, AWS, Invisible y Boosted.ai encontraron e implementaron el modelo más pequeño posible para su caso práctico, que se puso a prueba con el conjunto de datos MMLU (Massive Multitask Language Understanding) estándar del sector para evaluar el rendimiento.

“Nuestro objetivo era tener el modelo más pequeño posible con el coeficiente intelectual más alto posible para nuestras tareas. Recurrimos al MMLU y analizamos las subtareas que considerábamos muy relevantes para lo que está haciendo Boosted.ai: microeconomía y macroeconomía, matemáticas y algunas más. Tomamos el modelo más pequeño que creíamos que funcionaría y lo ajustamos para que se adaptara lo mejor posible a nuestras tareas. Si eso no funcionaba, pasábamos al siguiente modelo de tamaño superior y al siguiente nivel de inteligencia”.

– Joshua Pantony, Boosted.ai co-founder and CEO

Con un modelo más compacto y eficiente que funcionaba igual de bien en el análisis financiero, Boosted.ai redujo los costos en un 90 por ciento. La principal ventaja que percibieron de esta eficiencia fue la posibilidad de aumentar de forma masiva la cantidad de datos que obtenían, pasando de actualizarse de un día para otro a hacerlo prácticamente en tiempo real. Y lo que es más importante, obtuvieron las GPU que necesitaban para escalar. Mientras que antes Boosted.ai necesitaba la A100 y la H100 para ejecutar sus modelos, esta IA generativa para dominios específicos, más eficiente, les permitió ejecutar una capa en un hardware de menor tamaño y más fácilmente disponible.

Mayor seguridad y personalización con un modelo más pequeño

Tras ajustar un modelo más pequeño con la misma eficacia, Boosted.ai tenía la capacidad computacional necesaria para ejecutar aún más análisis. Ahora, en lugar de procesar los datos durante la noche, podían procesar los datos cada minuto y prometer a los clientes que solo pasarían entre 5 y 10 minutos entre que algo sucediera y Boosted Insights lo recogiera.

El modelo también le dio a Boosted.ai más opciones en cuanto a dónde y cómo implementarse. Con un LLM, Boosted.ai enviaba la carga de trabajo a una nube de código cerrado, recuperaba los resultados y luego los almacenaba. Ahora pueden realizar la implementación en la nube privada virtual (VPC) de otro cliente en AWS para aumentar la seguridad.

“Disponer de una estrategia de IA generativa será una expectativa básica para las empresas de gestión de inversiones en 2024, y estamos viendo una enorme demanda de empresas que desean procesar sus datos internos a través de nuestra IA generativa para crear agentes inteligentes. Es comprensible que utilizar datos privados genere problemas de privacidad. Muchos de nuestros usuarios se sienten más seguros con nuestro modelo que con un gran LLM de código cerrado. El 90 por ciento de nuestros clientes tienen una cuenta de AWS, y la ventaja que estamos viendo es que mantener sus datos seguros en su nube privada de AWS es extremadamente sencillo cuando ejecutamos en la misma nube”.

“Dar acceso a las implementaciones privadas que ejecutan sus datos es mucho más fácil que intentar crearlo todo desde cero”.

– Joshua Pantony

Con la tranquilidad adicional que ofrece un punto de enlace privado, más clientes están dispuestos a compartir sus datos de propiedad exclusiva para crear información más personalizada. Por ejemplo, un fondo de cobertura podría tener acceso a entrevistas con cientos de directores financieros y analistas de gestión. Ese conjunto de datos es demasiado valioso y confidencial para enviarlo a un punto de enlace de API público. Con el enfoque específico de dominio de Boosted.ai, no tiene por qué ser así. Toda la carga de trabajo se ejecuta en la nube del cliente y este obtiene información más personalizada.

El futuro: modelos lingüísticos de dominio específico y una nueva forma de beneficiarse del conocimiento especializado

A medida que crezca el modelo de lenguaje más pequeño y ajustado de Boosted.ai, la información que ofrece será más nítida y cuantificada. Por ejemplo, en la actualidad puede decir qué empresas se ven afectadas por un suceso, como la guerra en Ucrania. En el futuro, podrá cuantificar ese efecto y decir “exactamente el 7 por ciento de los ingresos de esta empresa se verán afectados y esta es la probabilidad de eso suceda”.

Además, obtener esa información requerirá una menor interacción del usuario. Podrá transferir su experiencia y conocimientos a una IA personalizada, hacer que analice una amplia base de datos de información y que le brinde ideas únicas.

La IA es la tecnología que se ha adoptado con mayor rapidez en la historia de la humanidad y, para las organizaciones más pequeñas, es probable que en pocos años puedan beneficiarse de los casos de uso más vanguardistas de la actualidad.

“Estamos en un momento realmente único en la historia en el que hay muchas empresas grandes que desconocen el potencial de esta tecnología y no la están adoptando de manera óptima. Se ven chatbots por todos lados, a veces sin sentido. Si eres una startup en este momento, es mejor que conozcas a tus clientes, que te intereses por sus problemas y que seas consciente de lo que es capaz de hacer la IA generativa. Si lo haces, hay una probabilidad muy alta de que des con un valor agregado único”.

“Una vez que estés seguro de que su producto se ajusta al mercado, pensaría en ajustar los modelos más pequeños en comparación con los LLM en cuanto a velocidad, precisión y sensibilidad de los datos. Si crees que alguno de estos parámetros es fundamental para tu caso de uso, probablemente valga la pena utilizar un modelo específico para cada dominio”.

– Joshua Pantony

Nuestro agradecimiento también hacia Invisible por sus contribuciones a este proyecto y artículo. Invisible es una empresa de innovación operativa que combina a la perfección la inteligencia artificial y la automatización con una fuerza laboral humana capacitada para eliminar obstáculos en la ejecución estratégica.