Manajer portofolio AI generatif Boosted.ai mengembangkan wawasan keuangan hampir instan dengan AWS

Dengan beralih dari LLM generik yang terlalu ekspansif dan rumit untuk kebutuhan mereka ke model yang disesuaikan dengan domain mereka (pasar modal), Boosted.ai mengurangi biaya hingga 90 persen, meningkatkan efisiensi secara signifikan, dan membuka kapasitas GPU yang diperlukan untuk menskalakan aplikasi manajemen investasi AI generatif mereka.

Ringkasan

Pada tahun 2020, Boosted.ai memperluas platform analisis keuangan yang didukung kecerdasan buatan (AI) mereka—Boosted Insights—dengan membangun asisten portofolio AI untuk manajer aset pada model bahasa besar (LLM) yang memproses data dari 150.000 sumber. Hasilnya adalah wawasan makro dan analisis tren pasar mengenai lebih dari 60.000 saham di setiap pasar ekuitas global (Amerika Utara, UE & Inggris, Asia Pasifik, Timur Tengah, Amerika Latin, dan India). Namun, penggunaan LLM menyebabkan beberapa kerugian yang signifikan, yaitu biaya tahunan yang tinggi untuk operasional dan keterbatasan kapasitas GPU yang membatasi kemampuan mereka untuk menskalakan.

Boosted.ai memulai optimisasi domain pada model yang berjalan di AWS dan:

• mengurangi biaya sebesar 90 persen tanpa mengorbankan kualitas
• beralih dari pembaruan yang memerlukan waktu semalaman menjadi mendekati waktu nyata sehingga membuka lebih banyak nilai bagi klien manajer investasi mereka yang menangani ratusan ribu sumber data
• meningkatkan keamanan dan personalisasi dengan kemampuan untuk menjalankan model di cloud privat pelanggan, alih-alih menjalankan beban kerja melalui cloud LLM

Pengantar

Pada tahun 2023, AI generatif menjadi populer di kalangan luas. Meningkatkan efisiensi untuk lebih produktif dengan usaha yang lebih sedikit akan terus menjadi agenda korporasi sepanjang tahun 2024 dan seterusnya. Tim perlu sekali memiliki strategi mengenai cara menggabungkan AI generatif untuk menciptakan peningkatan produktivitas. Namun, cara menerapkan AI generatif dengan cara yang masuk akal untuk keuntungan bisnis kadang tidak jelas, bahkan ketika kasus penggunaan sudah jelas.

Berikut adalah cara Boosted.ai menggabungkan AI generatif untuk mengotomatisasi tugas penelitian untuk klien manajemen investasi mereka dengan cara yang meningkatkan hasil untuk Boosted.ai maupun pelanggan mereka.

Didirikan pada tahun 2017, Boosted.ai menawarkan platform AI dan machine learning (ML)—Boosted Insights—untuk membantu manajer aset menyortir data guna meningkatkan efisiensi mereka, meningkatkan metrik portofolio mereka, dan membuat keputusan berbasis data yang lebih baik. Ketika para pendiri melihat dampak dari LLM yang begitu signifikan, mereka memutuskan untuk menggunakan LLM sumber tertutup untuk membangun asisten manajemen portofolio yang didukung AI. Dalam waktu semalam, LLM tersebut akan memproses jutaan dokumen dari 150.000 sumber, termasuk set data nontradisional seperti pengajuan SEC, misalnya 10K dan 10Q, earning call, publikasi perdagangan, berita internasional, berita lokal, bahkan fesyen. Bagaimanapun juga, jika Anda berbicara tentang perusahaan seperti Shein yang akan go public, artikel Vogue dapat menjadi informasi investasi yang relevan. Boosted Insights merangkum dan menyusun semua informasi ini ke dalam antarmuka pengguna interaktif yang dapat disortir sendiri oleh klien manajer aset mereka.

Dengan model AI generatif baru mereka, Boosted.ai kini mendorong informasi investasi penting ke semua klien mereka, lebih dari 180 manajer aset terbesar di dunia. Bagi tim-tim ini, waktu adalah uang. Ketika sesuatu memengaruhi harga saham perusahaan, seberapa cepat seseorang mendapatkan dan bertindak berdasarkan informasi itu dapat menyebabkan perbedaan senilai ribuan, bahkan jutaan dolar. Boosted.ai memberi keuntungan kepada para manajer tersebut. Misalnya, mereka mendeteksi bahwa Apple memindahkan beberapa kemampuan manufakturnya ke India sebelum berita tersebut muncul di saluran media arus utama karena Boosted Insights membaca artikel di media India.

Penambahan komponen AI generatif ke Boosted Insights mengotomatisasi banyak penelitian untuk mengubah hipotesis investasi menjadi perdagangan aktual. Misalnya, jika seorang investor mengkhawatirkan perang dagang dengan Tiongkok, mereka dapat bertanya ke Boosted Insights: “Apa jenis saham yang harus saya beli atau jual?” Sebelum adanya AI generatif, jawaban pertanyaan tersebut membutuhkan proses penelitian selama 40 jam, dengan menyaring ratusan halaman laporan analis, artikel berita, dan ringkasan pendapatan. Dengan asisten manajemen portofolio yang didukung AI, 80 persen dari pekerjaan tersebut sekarang menjadi otomatis.

Memecahkan masalah penskalaan dengan model bahasa khusus domain

Peluncuran AI generatif Boosted.ai diterima dengan sangat baik oleh klien, tetapi perusahaan ingin menskalakannya untuk menjalankan analisis hingga 5x atau 10x lebih banyak dan mengubah laporan dari yang sebelumnya memerlukan waktu semalaman menjadi sistem waktu nyata yang sebenarnya. Namun, masalahnya adalah operasi AI membutuhkan biaya hampir 1 juta USD setahun, dan bahkan jika mereka ingin membeli kapasitas GPU yang lebih besar, mereka tidak bisa. Kapasitas GPU tidak mencukupi untuk alat analisis keuangan AI mereka agar dapat diskalakan menjadi aplikasi waktu nyata.

Mengatur ukuran model dengan tepat untuk mendapatkan biaya yang lebih rendah dan skala yang lebih besar

Tantangan Boosted.ai makin umum bagi organisasi yang mengadopsi LLM dan AI generatif. Karena LLM dilatih untuk penggunaan tujuan umum, perusahaan yang melatih model ini menghabiskan banyak waktu, pengujian, dan uang untuk membuatnya berfungsi. Makin besar modelnya, makin cepat komputasi yang harus digunakan pada setiap permintaan. Akibatnya, untuk sebagian besar organisasi, termasuk Boosted.ai, penggunaan LLM untuk tugas tertentu tidak mungkin dilakukan.

Boosted.ai memutuskan untuk mengeksplorasi pendekatan yang lebih tertarget dan hemat biaya: menyempurnakan model bahasa yang lebih kecil untuk melakukan tugas tertentu. Di dunia AI/ML, model-model ini sering disebut sebagai “sumber terbuka”, tetapi itu tidak berarti bahwa model tersebut hasil kerja acak dari orang-orang yang berbagi wiki, seperti yang mungkin Anda bayangkan sejak awal masa pengodean sumber terbuka. Sebaliknya, model bahasa sumber terbuka, seperti Meta Llama 2, dilatih pada triliunan titik data dan dipelihara di lingkungan yang aman seperti Amazon Bedrock. Perbedaannya adalah model sumber terbuka memberi pengguna akses total ke parameternya dan opsi penyempurnaan untuk tugas-tugas tertentu. Sebaliknya, LLM sumber tertutup adalah sebuah kotak hitam yang tidak memungkinkan adanya jenis kustomisasi yang perlu dibuat oleh Boosted.ai.

Kemampuan untuk menyempurnakan model mereka akan membuktikan perbedaan yang signifikan untuk Boosted.ai. Melalui Jaringan Partner AWS, Boosted.ai terhubung dengan Invisible, yang jaringan global spesialis pelatihan AI mereka memungkinkan Boosted.ai untuk tetap fokus pada pekerjaan pengembangan intinya, sementara Invisible memberikan anotasi data berkualitas tinggi dengan lebih cepat dan lebih hemat biaya dibandingkan dengan mempekerjakan tim internal untuk proyek tersebut. Bersama-sama, AWS, Invisible, dan Boosted.ai menemukan serta mengimplementasikan model terkecil yang dapat menangani kasus penggunaan mereka, dengan membandingkannya terhadap set data Massive Multitask Language Understanding (MMLU) standar industri untuk mengevaluasi performa.

“Target kami adalah memiliki model sekecil mungkin dengan IQ setinggi mungkin untuk tugas-tugas yang kami miliki. Kami mempelajari MMLU dan melihat subtugas yang menurut kami sangat relevan dengan hal-hal yang Boosted.ai lakukan: ekonomi mikro dan makro, matematika, dan beberapa lainnya. Kami mengambil model terkecil yang kami perkirakan akan berhasil dan menyempurnakannya menjadi yang terbaik untuk tugas-tugas kami. Jika tidak berhasil, kami beralih ke model ukuran berikutnya dan tingkat kecerdasan berikutnya.”

– Joshua Pantony, Boosted.ai co-founder and CEO

Dengan model yang lebih ringkas dan efisien yang mempunyai performa sama baiknya dalam analisis keuangan, Boosted.ai memangkas biaya sebesar 90 persen. Keuntungan besar yang mereka dapatkan dari efisiensi ini adalah mampu meningkatkan jumlah data yang mereka tarik secara masif, dari pembaruan yang membutuhkan waktu semalaman menjadi mendekati waktu nyata. Lebih penting lagi, mereka memiliki GPU yang mereka butuhkan untuk menskalakan. Jika sebelumnya Boosted.ai membutuhkan A100 dan H100 untuk menjalankan model mereka, AI generatif khusus domain yang lebih efisien ini memungkinkan mereka menjalankan lapisan pada perangkat keras yang lebih kecil dan lebih banyak tersedia.

Keamanan dan kustomisasi yang lebih baik dengan model yang lebih kecil

Setelah menyempurnakan model yang lebih kecil dengan efisiensi yang sama, Boosted.ai memiliki kapasitas komputasi untuk menjalankan lebih banyak analisis. Sekarang, alih-alih memproses data dalam waktu semalam, Boosted.ai dapat memproses data setiap menit dan menjanjikan pelanggan hanya akan terjadi keterlambatan selama 5-10 menit antara suatu kejadian dengan deteksi Boosted Insights.

Model tersebut juga memberi Boosted.ai lebih banyak pilihan terkait tempat dan cara deployment. Dengan LLM, Boosted.ai mengirimkan beban kerja ke cloud sumber tertutup, mendapatkan hasilnya kembali, lalu menyimpannya. Sekarang, Boosted.ai dapat melakukan deployment di dalam cloud privat virtual (VPC) pelanggan lain di AWS untuk keamanan tambahan.

“Memiliki strategi AI generatif akan menjadi harapan mendasar bagi perusahaan manajemen investasi pada tahun 2024, dan kami melihat permintaan besar dari perusahaan yang ingin menjalankan data internal mereka melalui AI generatif untuk membuat agen pintar. Dapat dipahami bahwa pemanfaatan data yang dimiliki secara eksklusif akan meningkatkan masalah privasi. Banyak pengguna yang merasa lebih aman dengan model kami daripada dengan LLM sumber tertutup besar. 90 persen klien kami memiliki akun AWS, dan manfaat yang kami lihat adalah menjaga keamanan data mereka di AWS Cloud pribadi akan sangat mudah dilakukan ketika kami berjalan di cloud yang sama.”

“Memberikan akses ke deployment pribadi yang menjalankan data mereka jauh lebih mudah daripada mencoba membangun semuanya dari awal.”

– Joshua Pantony

Dengan ketenangan pikiran ekstra yang ditawarkan oleh titik akhir pribadi, lebih banyak pelanggan bersedia membagikan data milik mereka untuk menciptakan wawasan yang lebih kustom. Misalnya, suatu instrumen lindung nilai mungkin memiliki akses ke wawancara dengan ratusan CFO dan analis manajemen. Set data tersebut terlalu berharga dan rahasia untuk dikirim ke titik akhir API publik. Dengan pendekatan khusus domain Boosted.ai, hal tersebut tidak perlu dilakukan. Seluruh beban kerja berjalan di dalam cloud pelanggan dan mereka mendapatkan wawasan yang lebih kustom.

Masa depan: model bahasa khusus domain dan cara baru untuk memanfaatkan keahlian

Saat model bahasa yang lebih kecil dan disempurnakan milik Boosted.ai berkembang, wawasan yang ditawarkannya akan menjadi lebih tajam dan terukur. Misalnya, model tersebut sekarang dapat mengatakan perusahaan mana yang terdampak oleh suatu peristiwa, seperti perang di Ukraina. Di masa mendatang, model akan dapat mengukur efek tersebut dan mengatakan, “tepat 7 persen dari pendapatan perusahaan ini akan terdampak, dan inilah kemungkinan bagaimana perusahaan tersebut akan terdampak.”

Selain itu, perolehan wawasan tersebut akan membutuhkan lebih sedikit interaksi pengguna. Anda akan dapat mengunggah keahlian dan pengetahuan ke AI yang dipersonalisasi, lalu AI tersebut akan memindai basis data informasi yang luas serta menghasilkan ide-ide unik untuk Anda.

AI adalah teknologi yang paling cepat diadopsi dalam sejarah manusia, dan untuk organisasi yang lebih kecil, kasus penggunaan mutakhir saat ini kemungkinan akan menjadi persyaratan dasar dalam beberapa tahun ke depan.

“Kita berada di masa yang sangat unik dalam sejarah di mana ada banyak perusahaan besar yang tidak tahu potensi teknologi ini dan mengadopsinya dengan cara yang tidak optimal. Anda melihat banyak chatbot bermunculan di mana-mana. Jika saat ini Anda adalah sebuah perusahaan rintisan, temui pelanggan, pelajari masalah mereka, dan ketahuilah kemampuan AI generatif. Jika Anda lakukan, kemungkinan besar Anda akan menemukan nilai tambah yang unik.”

“Setelah yakin bahwa Anda mendapatkan kecocokan antara pasar dan produk, saya akan mempertimbangkan tentang penyempurnaan model yang lebih kecil versus LLM dalam hal kecepatan, akurasi, serta sensitivitas data. Jika menurut Anda salah satu dari hal tersebut penting untuk kasus penggunaan Anda, mungkin ada baiknya untuk menggunakan model khusus domain.”

– Joshua Pantony

Terima kasih juga kepada Invisible  atas kontribusinya untuk proyek dan artikel ini. Invisible adalah perusahaan inovasi operasi yang lancar sekali menggabungkan AI dan otomatisasi dengan tenaga kerja manusia yang terampil untuk mengatasi hambatan eksekusi strategis.