Boosted.ai의 생성형 AI 포트폴리오 관리자는 AWS를 통해 실시간에 가까운 재무 인사이트를 제공합니다

필요에 비해 너무 광범위하고 번거로운 일반 LLM에서 도메인(자본 시장)에 맞는 모델로 전환함으로써 Boosted.ai는 비용을 90% 절감하고 효율성을 크게 개선했으며, 생성형 AI 투자 관리 애플리케이션을 확장하는 데 필요한 GPU 용량을 확보할 수 있었습니다.

요약

2020년  Boosted.ai는 15만 개의 소스에서 데이터를 처리하는 대규모 언어 모델(LLM)을 기반으로 자산 관리자를 위한 AI 포트폴리오 어시스턴트를 구축하여 인공 지능(AI) 기반 금융 분석 플랫폼인 Boosted Insights를 확장했습니다. 그 결과 모든 글로벌 주식 시장(북미, EU 및 영국, 아시아 태평양, 중동, 라틴 아메리카, 인도)의 60,000개 이상의 주식에 대한 거시적 인사이트와 시장 동향 분석 결과를 얻을 수 있었습니다. 하지만 LLM을 사용하면 연간 운영 비용이 많이 들고 GPU 용량 제한으로 인해 확장성이 제한되는 등 몇 가지 중요한 단점이 있었습니다.

Boosted.ai는 AWS에서 실행되는 모델을 도메인 최적화하기 시작했습니다:

• 품질 저하 없이 비용 90% 절감
• 야간 업데이트에서 실시간에 가까운 업데이트로 전환하여 수십만 개의 데이터 소스를 기반으로 활동하는 투자 관리자 고객에게 더 많은 가치를 제공
• LLM 클라우드를 통해 워크로드를 실행하는 대신 고객의 프라이빗 클라우드에서 모델을 실행할 수 있는 기능으로 보안 및 개인화 개선

소개

2023년은 생성형 AI가 주류가 된 해였습니다. 적은 자원으로 더 많은 일을 처리하기 위한 효율성 향상은 2024년 이후에도 기업의 주요 과제가 될 것입니다. 팀에서는 생산성 향상을 위해 생성형 AI를 어떻게 통합할 것인지에 대한 전략을 세우는 것이 중요합니다. 그러나 명확한 사용 사례가 있더라도 비즈니스 수익에 적합한 방식으로 생성형 AI를 구현하는 방법이 항상 명확하지는 않습니다.

Boosted.ai가 생성형 AI를 도입하여 투자 관리 고객을 위한 리서치 작업을 자동화함으로써 Boosted.ai와 고객 모두의 성과를 개선한 방법을 소개합니다.

2017년에 설립된 Boosted.ai는 자산 관리자가 데이터를 분류하여 효율성을 높이고 포트폴리오 지표를 개선하며 데이터에 기반한 더 나은 의사 결정을 내릴 수 있도록 지원하는 AI 및 기계 학습(ML) 플랫폼인 Boosted Insights를 제공합니다. 창립자들은 강력한 LLM의 영향력을 확인한 후, 오픈 소스 LLM을 사용해 AI 기반 포트폴리오 관리 도우미를 구축하기로 결정했습니다. 하룻밤 사이에 10K 및 10Q와 같은 SEC 제출 서류, 실적 발표, 무역 간행물, 국제 뉴스, 지역 뉴스, 심지어 패션과 같은 비 전통적인 데이터세트를 포함해 150,000개의 소스에서 수백만 개의 문서를 처리할 수 있었습니다. 결국, 셰인과 같은 회사의 상장에 대해 이야기하고 있다면 Vogue 기사가 관련 투자 정보가 될 수 있습니다. Boosted Insights는 이 모든 정보를 요약하여 자산 관리자 고객이 직접 분류할 수 있는 대화형 사용자 인터페이스로 정리했습니다.

새로운 생성형 AI 모델을 통해 Boosted.ai는 이제 세계 최대 자산운용사 180여 곳의 모든 고객에게 중요한 투자 정보를 제공하고 있습니다. 이 팀들에게 시간은 곧 돈입니다. 어떤 사건이 회사 주가에 영향을 미칠 때, 그 정보를 얼마나 빨리 파악하고 조치를 취하느냐에 따라 수천, 심지어 수백만 달러의 차이가 날 수 있습니다. Boosted.ai는 이러한 관리자들에게 경쟁력을 제공했습니다. 예를 들어, Boosted Insights가 인도 언론의 기사를 읽고 있었기 때문에 주류 언론 매체에 뉴스가 보도되기 전에 Apple이 일부 제조 역량을 인도로 이전한다는 사실을 파악할 수 있었습니다.

Boosted Insights에 생성형 AI 구성 요소를 추가함으로써 투자 가설을 실제 거래로 전환하기 위한 많은 리서치가 자동화되었습니다. 예를 들어 중국과의 무역 전쟁이 우려되는 투자자는 Boosted Insights에 "어떤 종류의 주식을 매수 또는 매도해야 하나요?”와 같이 질문할 수 있습니다. 생성형 AI 이전에는 이 질문에 답하기 위해 수백 페이지에 달하는 애널리스트 보고서, 뉴스 기사, 수익 요약을 샅샅이 뒤지는 40시간의 조사 과정을 거쳐야 했습니다. 이제 AI 기반 포트폴리오 관리 도우미를 통해 이러한 작업의 80%가 자동화되었습니다.

도메인별 언어 모델로 확장성 문제 해결

Boosted.ai의 생성형 AI 출시는 고객들로부터 매우 호평을 받았지만, 이 회사는 최대 5배 또는 10배 더 많은 분석을 실행하고 야간 보고서에서 진정한 실시간 시스템으로 확장하기를 원했습니다. 하지만 AI를 실행하는 데 연간 100만 달러에 가까운 비용이 들었고, GPU 용량을 더 구매하고 싶어도 그럴 수 없었습니다. AI 재무 분석 도구를 실시간 애플리케이션으로 확장하기에는 GPU 용량이 충분하지 않았기 때문입니다.

비용 절감과 규모 확대를 위한 적절한 모델 크기 조정

Boosted.ai가 직면한 문제는 LLM과 생성형 AI를 도입하는 조직에서 점점 더 자주 발생하는 문제입니다. LLM은 범용 용도로 학습되기 때문에 이러한 모델을 학습시키는 회사는 모델을 작동시키기 위해 많은 시간과 테스트, 비용을 투자합니다. 모델이 클수록 모든 요청에 대해 더 많은 가속화된 컴퓨팅을 사용해야 합니다. 따라서 Boosted.ai를 포함한 대부분의 조직에서는 특정 작업에 LLM을 사용하는 것이 현실적으로 불가능합니다.

Boosted.ai는 특정 작업을 수행하기 위해 더 작은 언어 모델을 미세 조정하는 보다 타겟팅되고 비용 효율적인 접근 방식을 모색하기로 결정했습니다. AI/ML 세계에서는 이러한 모델을 흔히 '오픈 소스'라고 부르지만, 그렇다고 해서 오픈 소스 코딩 초창기처럼 위키를 공유하는 임의의 사람들이 함께 해킹하는 것은 아닙니다. 대신 Meta의 Llama 2와 같은 오픈 소스 언어 모델은 수조 개의 데이터 포인트에 대해 학습되고 Amazon Bedrock과 같은 안전한 환경에서 유지 관리됩니다. 오픈 소스 모델은 사용자에게 매개변수에 대한 전체 액세스 권한과 특정 작업에 맞게 미세 조정할 수 있는 옵션을 제공한다는 점에서 차이가 있습니다. 반면에 비공개 소스 LLM은 Boosted.ai를 만드는 데 필요한 사용자 지정이 불가능한 블랙박스와 같습니다.

모델을 미세 조정할 수 있는 능력은 Boosted.ai에 큰 변화를 가져올 것입니다. AWS 파트너 네트워크를 통해 Boosted.ai는 AI 트레이닝 전문가로 구성된 글로벌 네트워크를 보유한 Invisible과 연결하여 Boosted.ai는 핵심 개발 작업에 집중할 수 있었고, Invisible은 사내 팀을 프로젝트에 배치하는 것보다 더 빠르고 비용 효율적으로 고품질 데이터 주석을 제공했습니다. AWS, Invisible, Boosted.ai는 함께 사용 사례를 처리할 수 있는 가장 작은 모델을 찾아 구현했으며, 업계 표준인 대규모 다중 작업 언어 이해(MMLU) 데이터세트와 벤치마킹하여 성능을 평가했습니다.

“당사의 목표는 가능한 한 가장 작은 모델을 가장 높은 IQ로 작업하는 것이었습니다. MMLU에 들어가서 Boosted.ai가 하는 일과 관련성이 높다고 생각되는 미시경제학 및 거시경제학, 수학 등의 하위 작업을 살펴봤습니다. 그리고 가장 적합하다고 생각되는 가장 작은 모델을 가져와 작업에 가장 적합하도록 조정했습니다. 그래도 효과가 없으면 다음 크기의 모델과 다음 수준의 인텔리전스로 이동했습니다."

– Joshua Pantony, Boosted.ai co-founder and CEO

재무 분석에서 뛰어난 성능을 발휘하는 더 작고 효율적인 모델을 통해 Boosted.ai는 비용을 90%까지 절감했습니다. 이러한 효율성을 통해 얻은 가장 큰 이점은 데이터의 양을 밤새 업데이트하던 것에서 거의 실시간에 가까운 수준으로 대폭 늘릴 수 있었다는 점입니다. 더 중요한 것은 확장에 필요한 GPU를 확보했다는 점입니다. Boosted.ai는 모델을 실행하기 위해 A100과 H100이 필요했지만, 이 보다 효율적인 도메인별 생성형 AI를 통해 더 작고 쉽게 구할 수 있는 하드웨어에서 레이어를 실행할 수 있게 되었습니다.

더 작은 모델로 더 나은 보안 및 사용자 지정

동일한 효율을 가진 더 작은 모델을 미세 조정한 Boosted.ai는 훨씬 더 많은 분석을 실행할 수 있는 계산 능력을 갖추게 되었습니다. 이제 밤새 데이터를 처리하는 대신 매분마다 데이터를 처리할 수 있게 되었고, 고객에게 어떤 일이 발생하고 Boosted Insights가 5~10분 정도면 이를 포착할 수 있게 되었습니다.

또한 이 모델을 통해 Boosted.ai는 배포 위치와 방법에 대한 더 많은 선택권을 갖게 되었습니다. LLM을 통해 Boosted.ai는 워크로드를 비공개 소스 클라우드로 전송하고 결과를 다시 가져와서 저장했습니다. 이제 보안을 강화하기 위해 AWS의 다른 고객의 Virtual Private Cloud(VPC) 내부에 배포할 수 있습니다.

"2024년에는 생성형 AI 전략이 투자 관리 회사의 기본이 될 것이며, 생성형 AI를 통해 내부 데이터를 실행하여 스마트 에이전트를 만들고자 하는 기업의 수요가 크게 증가할 것으로 예상됩니다. 독점 데이터를 활용하면 당연히 개인정보 보호 문제가 제기될 수 있습니다. 많은 사용자들이 대규모 폐쇄형 LLM보다 저희 모델이 더 안전하다고 느끼고 있습니다. 우리 고객의 90%가 AWS 계정을 보유하고 있으며, 동일한 클라우드에서 실행할 때 프라이빗 AWS 클라우드 내에서 데이터를 안전하게 유지하는 것이 매우 간단하다는 이점이 있습니다."

"데이터를 실행하는 비공개 배포에 액세스 권한을 부여하는 것이 모든 것을 처음부터 구축하는 것보다 훨씬 쉽습니다."

– Joshua Pantony

프라이빗 엔드포인트가 제공하는 추가적인 안심 덕분에 더 많은 고객이 더 많은 맞춤형 인사이트를 창출하기 위해 독점 데이터를 기꺼이 공유하고자 합니다. 예를 들어, 한 헤지 펀드는 수백 명의 CFO 및 경영진 애널리스트와의 인터뷰에 액세스할 수 있습니다. 이 데이터세트는 너무 귀중하고 기밀이어서 퍼블릭 API 엔드포인트로 보내기에는 너무 위험합니다. Boosted.ai의 도메인별 접근 방식을 사용하면 그럴 필요가 없습니다. 전체 워크로드는 고객의 클라우드 내에서 실행되며, 고객은 더욱 맞춤화된 인사이트를 얻을 수 있습니다.

다가오는 미래: 도메인별 언어 모델과 전문성을 활용하는 새로운 방법

Boosted.ai의 미세 조정된 소규모 언어 모델이 성장함에 따라 제공하는 인사이트는 더욱 선명하고 정량화될 것입니다. 예를 들어, 현재는 우크라이나 전쟁과 같은 이벤트의 영향을 받는 기업이 어디인지 알려줄 수 있습니다. 앞으로는 그 영향을 정량화하여 "이 회사 매출의 정확히 7%가 영향을 받을 것이며, 그 영향을 받을 확률은 다음과 같습니다."라고 말할 수 있게 될 것입니다.

또한 이러한 인사이트를 더 적은 사용자와의 상호작용으로 얻을 수 있게 됩니다. 개인화된 AI에 전문 지식과 지식을 업로드하고 방대한 정보 데이터베이스를 스캔하여 고유한 아이디어를 제공할 수 있게 될 것입니다.

AI는 인류 역사상 가장 빠르게 채택된 기술이며, 소규모 조직의 경우 오늘날의 최첨단 사용 사례는 몇 년 안에 일상화될 가능성이 높습니다.

“우리는 역사상 정말 독특한 시대에 살고 있습니다. 많은 대기업들이 이 기술의 잠재력을 모르고 최적이 아닌 방식으로 이 기술을 채택하고 있습니다. 수많은 챗봇이 왼쪽, 오른쪽, 중앙에 올라가는 것을 볼 수 있습니다. 현재 스타트업이라면 고객을 만나 문제를 알아보고 생성형 AI가 무엇을 할 수 있는지 알아보세요. 그렇게 하면 고유한 부가 가치를 찾을 가능성이 매우 높습니다.”

"제품 시장에 어느 정도 적합하다는 확신이 들면 속도, 정확도, 데이터 민감도 측면에서 LLM과 소규모 모델을 미세 조정하는 것을 고려할 수 있습니다. 이러한 요소 중 하나라도 사용 사례에 중요하다고 생각되면 도메인별 모델을 사용하는 것이 좋습니다."

– Joshua Pantony

이 프로젝트와 기사에 기여해 주신 Invisible에 감사드립니다. Invisible은 AI와 자동화를 숙련된 인간 인력과 원활하게 결합하여 전략적 실행 병목 현상을 해소하는 운영 혁신 회사입니다.