Meeting.ai Mengotomatiskan Tugas Rapat yang Memakan Waktu menggunakan Amazon Bedrock

Panggilan konferensi, rapat stand-up, obrolan informal dengan rekan kerja di sekitar kantor—pertemuan merupakan hal yang sangat penting dalam kehidupan kerja kita. Baik saat kita menerima brief proyek baru, mempresentasikan laporan keuangan, maupun mendiskusikan ide baru, kita semua terbiasa melihat undangan baru masuk ke kotak masuk, dan pemesanan baru muncul di kalender kita.

Namun, kehidupan profesional terus bergerak dengan cepat, dan mencari waktu untuk memproses materi rapat yang kita hadiri dengan baik, membuat dan meninjau catatan tentang apa yang telah didiskusikan, mempertahankan catatam, atau memilih informasi yang kita butuhkan dengan cepat pada saat itu juga tidaklah mudah. Meeting.ai, sebuah startup Indonesia yang berbasis di Jakarta, mengubah hal tersebut dengan mengotomatiskan kegiatan yang memakan waktu seperti membuat catatan.

Ditenagai oleh kecerdasan buatan (AI) generatif, Meeting.ai memungkinkan pengguna untuk memanfaatkan lebih banyak waktu untuk terlibat dalam rapat, dan lebih sedikit waktu untuk mengingat kembali poin-poin penting setelah rapat selesai. Karena tidak puas dengan performa model bahasa besar (LLM) lainnya, tim Meeting.ai memutuskan untuk menerapkan Claude 3 Sonnet dan Haiku di Amazon Bedrock. Kini startup ini mampu menghasilkan ringkasan rapat dengan akurasi terbaik di industri—sekaligus memangkas memotong biaya sebesar 33 persen.

Dari ruang kelas ke ruang rapat

Meeting.ai—awalnya bernama Bahasa.ai—didirikan pada tahun 2017 oleh Hokiman Kurniawan, Fathur Rachman Widhiantoko, dan Samsul Rahmadani. Ketiganya adalah teman saat bersama-sama belajar matematika di perguruan tinggi. Selama studi, mereka membuat salah satu LLM pertama dalam Bahasa Indonesia, bahasa resmi negara Indonesia.Sampai saat itu, hal ini terbukti sulit karena banyaknya nuansa dan kerumitan bahasa yang digunakan di seluruh negeri.

“Indonesia memiliki populasi lebih dari 270 juta jiwa yang tersebar di tiga puluh tiga wilayah, dan memiliki banyak aksen, dialek daerah, dan istilah lokal yang berbeda,” kata Hokiman, CEO perusahaan. “Meskipun kami mengatakan bahwa Indonesia adalah satu bahasa, sebenarnya kami juga memiliki ratusan bahasa daerah”—lebih dari 700, tepatnya—“bahasa yang paling banyak digunakan adalah bahasa Jawa dan Sunda, dan orang-orang sering menggunakan campuran bahasa ketika berbicara satu sama lain.”

Diperlukan banyak data untuk Mengembangkan model yang mampu menangani tingkat kompleksitas tersebut. “Kami telah mengumpulkan lebih dari tiga puluh ribu jam data suara selama tujuh tahun terakhir,” kata Hokiman. Setelah tim membuat model bahasa sederhana untuk Bahasa Indonesia, kabar tersebut menyebar dengan cepat. Startup ini segera mendapatkan pelanggan pertamanya, sebuah perusahaan farmasi Indonesia—yang terbesar di Asia Tenggara—yang membutuhkan keahlian bahasa alami untuk kasus penggunaan layanan pelanggan.

Pada saat itu, perusahaan ini awalnya hanya menawarkan layanan konsultasi untuk AI dan bahasa alami. “Kami tidak memiliki produk, kami punya solusi,” kata Hokiman. Namun, semuanya berubah dengan peluncuran alat Meeting.ai pada tahun 2023.

Otomatisasi cerdas memenuhi akurasi terdepan di pasar

Meeting.ai adalah asisten rapat yang ditenagai AI generatif yang membantu pengguna mempersingkat waktu untuk tugas-tugas terkait rapat. Alat ini dikembangkan menggunakan LLM milik perusahaan untuk Bahasa Indonesia. Seperti yang dijelaskan Hokiman: “alat kami secara otomatis merekam, menyalin, dan merangkum rapat, yang membantu Anda menghemat waktu dan bekerja lebih produktif.”

Integrasi yang lancar dengan layanan rapat populer, seperti Google Meet, Zoom, dan Microsoft Teams, telah membantu Meeting.ai menarik lebih dari 70.000 basis pengguna dengan cepat, terutama yang berbasis di Indonesia. Tidak seperti alternatif bawaan, alat ini juga dapat digunakan untuk rapat offline. “Kemampuan offline kami sudah menyumbang lebih dari 50 persen dari total penggunaan produk kami,” kata Hokiman.

Pembeda utama lainnya untuk Meeting.ai adalah memberikan akurasi transkripsi 97% dalam Bahasa Indonesia, yang tertinggi dari alat apa pun di pasaran. “Kami sering melihat pelanggan kami bersemangat saat menyadari bahwa mereka dapat berbicara secara informal, dan AI akan memahaminya, meskipun mereka menggunakan bahasa gaul. Mereka tidak menyangka akan adanya dukungan AI untuk Bahasa Indonesia—ini adalah momen nyata saat pelanggan menyadari nilai produk.”

Rapat tidak pernah secanggih ini dalam hal teknologi

Tim Meeting.ai telah bekerja dengan AWS sejak mereka masih di bangku kuliah sehingga wajar jika AWS menjadi pilihan utama saat mencari partner untuk membantu membangun perangkat mereka. “Ada dua hal yang membuat AWS menjadi partner yang hebat. Pertama, teknologinya—jika teknologi ini berfungsi, pasti berfungsi dengan baik, dan orang-orang akan menggunakannya. Sejauh ini, setiap produk AWS yang kami gunakan selalu berhasil,” kata Hokiman. “Kedua, orang-orangnya. Produk saja sudah bagus, tetapi di dunia kita, akses ke model dan keahlian baru bergantung pada hubungan dengan orang-orang, dan AWS sangat mendukung.”

Arsitektur di balik Meeting.ai menggabungkan beberapa layanan AWS yang membantu mengontrol biaya tanpa mengorbankan performa. Misalnya, tim memilih untuk menggunakan Instans Amazon EC2 G4sebagai kolam simpul primer untuk pekerja AI karena harga dan performa GPU NVIDIA T4 yang terdepan di industri. Demikian pula,Amazon Elastic Kubernetes Service (EKS) memastikan penyediaan sumber daya komputasi yang hemat biaya dan penskalaan aplikasi Kubernetes otomatis. Tim juga baru-baru ini menerapkanAmazon Bedrock, layanan terkelola penuh yang menawarkan pilihan model fondasi (FM) beperforma tinggi untuk bereksperimen dengan aman, dan menyesuaikan secara pribadi. Hal ini telah memungkinkan mereka untuk tidak hanya mengurangi biaya secara signifikan, tetapi juga meningkatkan keakuratan ringkasan yang dihasilkan oleh Meeting.ai.

LLM beperforma tinggi, semua dapat diakses dari satu sumber

AI generatif berkembang pesat, dan ketika model dan layanan baru tersedia, alat seperti Meeting.ai dapat memperoleh keunggulan kompetitif dengan mengikuti rilis terbaru. Kemampuan ringkasan yang disediakan oleh Meeting.ai sebelumnya mengandalkan layanan LLM yang tidak memenuhi kualitas dan tingkat keakuratan yang diinginkan oleh tim. Saat berita sampai di telinga mereka bahwa model Claude 3 baru milik Anthropic akan tersedia di Amazon Bedrock, mereka memanfaatkan kesempatan itu.

“Saya langsung menghubungi mentor saya dari perguruan tinggi, yang sebelumnya pernah bekerja sebagai manajer regional untuk AWS di Indonesia,” kata Hokiman. “Saya bertanya kepadanya apakah ia dapat memperkenalkan saya kepada seseorang di AWS yang dapat memberi kami akses ke model, yang pada saat itu tidak tersedia untuk umum—dalam waktu seminggu kami diberi akses tersebut.”

Menerapkan Amazon Bedrock adalah proses sederhana yang diselesaikan dalam waktu sekitar 3 minggu, yang hanya melibatkan dua developer. “Layanan ini adalah pengalaman terintegrasi, seperti marketplace tunggal di mana kami dapat menguji dan bereksperimen dengan berbagai model. Jika model baru dirilis, kami dapat dengan mudah mengaksesnya di Amazon Bedrock,” kata Hokiman.

Setelah mendapatkan Claude 3 di Amazon Bedrock, tim mulai bekerja menguji kualitas model Sonnet dan Haiku.

Uji. Bandingkan. Pilih.

Tim Meeting.ai pertama kali mengumpulkan set data pengujian yang terdiri dari rekaman beberapa rapat perusahaan internal dan video podcast yang tersedia di YouTube. Kemudian mereka memproses sampel data ini menggunakan LLM awal dan model Claude 3 pilihan mereka. Tim dapat memulai pengujian dengan prompt yang sama yang mereka gunakan dengan LLM awal, lalu memungkinkan mereka untuk menginvestasikan lebih banyak waktu dalam mengidentifikasi model yang tepat, alih-alih merekayasa prompt baru.

Tim segera menemukan bahwa kualitas ringkasan yang dihasilkan oleh model Claude 3 Haiku lebih tinggi daripada model sebelumnya. “Claude 3 secara umum jauh lebih efisien, dan dapat menangani hal-hal yang tidak dapat dilakukan model lain. Model Haiku juga merupakan model yang jauh lebih kecil daripada alternatifnya, yang membuatnya jauh lebih murah untuk kami gunakan,” kata Hokiman. “Kami selalu berusaha menyeimbangkan performa dan biaya, dan Haiku memberikan keduanya.”

Haiku kini digunakan untuk sebagian besar kasus penggunaan Meeting.ai dan telah memungkinkan tim untuk menghemat lebih dari 33 persen biaya. Untuk kasus penggunaan lain yang lebih spesifik, seperti meringkas performa kerja dari rapat tatap muka antara karyawan dan pemimpin, Meeting.ai juga menggunakan model Claude 3 Sonnet.

Peningkatan performa dan efisiensi

Model Claude 3 menawarkan jendela konteks yang tinggi sebesar 200 ribu sehingga dapat memperhitungkan lebih banyak data dan informasi saat menghasilkan output. Hal ini memungkinkan Meeting.ai untuk memberikan rangkuman rapat yang jauh lebih akurat dibandingkan dengan model sebelumnya. Hal ini juga memungkinkan alat ini untuk secara otomatis membedakan antara poin-poin diskusi yang penting dan obrolan santai, yang sulit dilakukan oleh model LLM sebelumnya, terutama dalam Bahasa Indonesia.

Manfaat lain dari jendela konteks yang lebih panjang adalah pelanggan menerima hasil jauh lebih cepat—hingga 1.200 persen tepatnya. Untuk transkrip rapat dua jam, Meeting.ai hanya memerlukan satu permintaan API LLM, dibandingkan dengan model sebelumnya yang membutuhkan sekitar dua belas permintaan API LLM untuk ringkasan. “Makin banyak permintaan yang perlu dibuat, makin banyak biaya yang kita keluarkan. Dalam beberapa kasus, menyelesaikan tugas yang sama dengan model sebelumnya bisa dua kali lebih mahal dibandingkan dengan Claude 3,” kata Hokiman.

Tim Meeting.ai juga menemukan bahwa Claude 3 lebih mudah diatur dan dapat diandalkan dalam mengikuti instruksi. Misalnya, model Haiku dan Sonnet secara konsisten dapat memberikan respons dalam format JSON saat diminta.

Rapat yang ditata ulang—baik secara online maupun offline

Ke depannya, tim Meeting.ai akan berkembang secara global dan memperluas kemampuan alat mereka. Dalam waktu dekat, mereka akan segera merilis fungsionalitas pencatatan waktu nyata, yang memungkinkan pengguna untuk menyalin dan meringkas rapat offline tanpa perlu merekamnya. Selain itu, tim menargetkan masa depan di mana pengguna dapat melakukan rapat dengan Meeting.ai.

“Saat ini kami sedang mengerjakan model suara terintegrasi sehingga pengguna bisa mengajukan pertanyaan kepada AI,” kata Hokiman. “Kami bahkan ingin menyaksikan berbagai kegiatan yang sering terjadi, seperti rapat standup dialihdayakan ke AI sehingga tim dapat menghabiskan lebih banyak waktu untuk fokus pada pekerjaan dan mengurangi waktu untuk rapat.”

Ketika tim Meeting.ai terus mengembangkan produk mereka, AWS membantu memastikan mereka selalu memiliki akses ke LLM terbaru dan kebebasan untuk menemukan model mana yang tepat untuk mereka, dan pelanggan mereka. “AWS adalah partner yang dapat kami andalkan untuk mengimbangi dunia AI generatif yang berkembang pesat. Jika model baru dirilis, mudah bagi kami untuk beralih. Semua yang kita butuhkan ada di Bedrock,” kata Hokiman.