Meeting.ai automatizza le attività delle riunioni che comportano un elevato dispendio di tempo con Amazon Bedrock

Teleconferenze, stand-up, chiacchiere improvvisate davanti alla macchina del caffè: le riunioni sono fondamentali per la maggior parte della nostra vita lavorativa. Che si tratti di ricevere un nuovo rapporto di progetto, presentare relazioni finanziare o elaborare nuove idee, siamo tutti abituati a vedere nuovi inviti arrivare nelle nostre caselle di posta elettronica e nuove prenotazioni apparire nei nostri calendari.

Ma la vita professionale si muove rapidamente e non è sempre facile trovare il tempo per elaborare correttamente il contenuto delle riunioni a cui partecipiamo, per prendere e rivedere appunti su ciò che è stato discusso, riesaminare le registrazioni o scegliere rapidamente le informazioni di cui abbiamo bisogno in un attimo. Meeting.ai, una startup indonesiana con sede a Jakarta, sta cambiando la situazione automatizzando attività che richiedono tempo, come prendere appunti.

Basata sull'intelligenza artificiale (IA) generativa, Meeting.ai consente agli utenti di dedicare più tempo alle riunioni e meno tempo a cercare di ricordare i punti chiave a posteriori. Non essendo soddisfatto delle prestazioni di altri modelli linguistici di grandi dimensioni (LLM), il team di Meeting.ai ha deciso di implementare Claude 3 Sonnet e Haiku su Amazon Bedrock. Ora la startup è in grado di generare riepiloghi delle riunioni con una precisione da leader del settore, il tutto riducendo i costi del 33%.

Dall'aula alla sala riunioni

Meeting.ai, originariamente chiamata Bahasa.ai, è stata fondata nel 2017 da Hokiman Kurniawan, Fathur Rachman Widhiantoko e Samsul Rahmadani. Il trio ha stretto amicizia mentre studiavano insieme matematica all'università. Durante i loro studi, hanno creato uno dei primi LLM in indonesiano, la lingua ufficiale della nazione. Fino a quel momento, ciò si era rivelato difficile a causa delle molte sfumature e complessità delle lingue parlate in tutto il Paese.

“L'Indonesia ha una popolazione di oltre 270 milioni abitanti suddivisi in trentatré regioni e ci sono molti accenti, dialetti regionali e terminologie locali diverse”, afferma Hokiman, CEO dell'azienda. “Anche se diciamo che l'Indonesia si basa su una lingua, in realtà abbiamo centinaia di lingue locali”, oltre 700, per la precisione, “le più diffuse sono il giavanese e il sundanese, e le persone spesso usano un misto di linguaggi quando parlano tra loro”.

Lo sviluppo di un modello in grado di gestire quel livello di complessità richiede molti dati. “Abbiamo raccolto oltre trentamila ore di dati vocali negli ultimi sette anni”, afferma Hokiman. Una volta che il team ha creato semplici modelli linguistici in indonesiano, la notizia si è diffusa rapidamente. La startup ha presto trovato il suo primo cliente, un'azienda farmaceutica indonesiana, la più grande del settore nel sud-est asiatico, che aveva bisogno di competenze in linguaggio naturale per i casi d'uso del servizio clienti.

A quei tempi, l'azienda offriva principalmente servizi di consulenza per l'intelligenza artificiale e il linguaggio naturale. “Non avevamo prodotti, avevamo soluzioni”, afferma Hokiman. Ma tutto è cambiato con il lancio dello strumento Meeting.ai nel 2023.

L'automazione intelligente incontra la precisione leader del mercato

Meeting.ai è un assistente per riunioni basato sull'IA generativa che aiuta gli utenti a ridurre il tempo dedicato alle attività relative alle riunioni. È stato sviluppato utilizzando gli LLM proprietari dell'azienda in indonesiano. Come spiega Hokiman: “il nostro strumento registra, trascrive e riassume automaticamente le riunioni, aiutando l'utente a risparmiare tempo e a lavorare in modo più produttivo”.

La perfetta integrazione con i più diffusi servizi per riunioni, come Google Meet, Zoom e Microsoft Teams, ha aiutato Meeting.ai ad attirare rapidamente una base di oltre 70.000 utenti, principalmente con sede in Indonesia. A differenza delle alternative integrate, lo strumento può essere utilizzato anche per le riunioni offline. “Le nostre funzionalità offline rappresentano già oltre il 50% dell'utilizzo totale del nostro prodotto”, afferma Hokiman.

Un altro fattore chiave di differenziazione di Meeting.ai è che offre una precisione di trascrizione del 97% in indonesiano, la più alta di qualsiasi strumento sul mercato. “Spesso vediamo che i nostri clienti si illuminano quando si rendono conto che possono parlare in modo informale e l'intelligenza artificiale capisce cosa stanno dicendo, anche se usano lo slang. Non si aspettano quel livello di supporto dell'IA per l'indonesiano: è un vero momento “wow”.

Le riunioni non sono mai state così tecnologicamente avanzate

Il team di Meeting.ai collabora con AWS sin dai tempi del college, il che ha reso naturale la sua scelta come partner per la realizzazione del loro strumento. “Due cose fanno di AWS un ottimo partner. Innanzitutto, la tecnologia: se funziona, funziona e le persone la useranno. Finora, tutti i prodotti AWS che abbiamo utilizzato hanno dato ottimi risultati”, afferma Hokiman. “In secondo luogo, riguarda le persone. I prodotti da soli sono ottimi, ma nel nostro mondo, l'accesso a nuovi modelli e competenze si riduce alle relazioni con le persone e AWS è stata davvero di supporto”.

L'architettura alla base di Meeting.ai combina diversi servizi AWS che aiutano a controllare i costi senza sacrificare le prestazioni. Ad esempio, il team ha scelto di utilizzare le istanze G4 di Amazon EC2 come pool del nodo principale per i lavoratori dell'intelligenza artificiale, grazie al rapporto prezzo/prestazioni leader del settore delle GPU NVIDIA T4. Allo stesso modo, Amazon Elastic Kubernetes Service (EKS) garantisce il provisioning delle risorse di calcolo a costi contenuti e il ridimensionamento automatico delle applicazioni Kubernetes. Il team ha inoltre recentemente implementato Amazon Bedrock, un servizio completamente gestito che offre una scelta di modelli di fondazione (FM) ad alte prestazioni con cui sperimentare in sicurezza e personalizzare privatamente. Ciò ha consentito loro non solo di ridurre in modo significativo i costi, ma anche di migliorare l'accuratezza dei riepiloghi generati da Meeting.ai.

LLM ad alte prestazioni, tutti accessibili da un'unica fonte

L'IA generativa si sta evolvendo rapidamente e, man mano che nuovi modelli e servizi diventano disponibili, strumenti come Meeting.ai possono ottenere un vantaggio competitivo tenendosi al passo con le ultime versioni. Le funzionalità di riepilogo fornite da Meeting.ai si basavano in precedenza su servizi LLM che non soddisfacevano la qualità e l'accuratezza che il team cercava. Quando hanno capito che i nuovi modelli Claude 3 di Anthropic sarebbero stati disponibili su Amazon Bedrock, hanno colto l'occasione al volo.

“Ho contattato immediatamente il mio mentore universitario, che in precedenza aveva lavorato come manager regionale per AWS in Indonesia”, afferma Hokiman. “Gli ho chiesto se poteva presentarmi qualcuno in AWS che potesse farci accedere ai modelli, che all'epoca non erano disponibili al pubblico: entro una settimana ci è stato concesso tale accesso”.

L'implementazione di Amazon Bedrock è stata una procedura semplice che è stata completata in circa 3 settimane e che ha coinvolto solo due sviluppatori. “È un'esperienza integrata, è come un'unica piattaforma in cui possiamo testare e sperimentare una varietà di modelli. Se viene rilasciato un nuovo modello, possiamo accedervi facilmente su Amazon Bedrock”, afferma Hokiman.

Dopo aver messo le mani su Claude 3 in Amazon Bedrock, il team si è messo al lavoro per testare la qualità dei modelli Sonnet e Haiku.

Testa. Confronta. Scegli.

Il team di Meeting.ai ha innanzitutto raccolto un set di dati di test composto da registrazioni di diverse riunioni aziendali interne e video podcast disponibili su YouTube. Hanno quindi elaborato questi campioni di dati utilizzando sia il LLM originale che i modelli Claude 3 selezionati. Il team è stato in grado di iniziare i test con gli stessi prompt utilizzati con il LLM originale, consentendo loro di investire più tempo nell'identificazione del modello corretto anziché nella progettazione di nuovi prompt.

Il team ha presto scoperto che la qualità dei riassunti prodotti dal modello Haiku di Claude 3 era di qualità superiore rispetto al modello precedente. “Claude 3 in generale è molto più efficiente e può gestire cose che altri modelli non possono fare. Il modello Haiku è anche molto più piccolo rispetto alle alternative, il che lo rende decisamente più economico da usare”, afferma Hokiman. “Cerchiamo sempre di bilanciare prestazioni e costi, Haiku offre entrambi”.

Haiku viene ora utilizzato per la maggior parte dei casi d'uso di Meeting.ai e ha consentito al team di risparmiare oltre il 33% sui costi. Per altri casi d'uso più specifici, come il riepilogo delle prestazioni lavorative in incontri individuali tra dipendenti e dirigenti, Meeting.ai utilizza anche il modello Claude 3 Sonnet.

Un passo avanti in termini di prestazioni ed efficienza

I modelli Claude 3 offrono una finestra contestuale di dimensioni elevate, pari a 200k, che consente loro di tenere conto di più dati e informazioni nella generazione degli output. Ciò permette a Meeting.ai di fornire riepiloghi delle riunioni molto più accurati rispetto a quanto era possibile fare con il modello precedente. Inoltre, consente allo strumento di distinguere automaticamente tra punti di discussione importanti e chiacchiere occasionali, cosa che il precedente modello LLM trovava difficile da fare, specialmente in lingua indonesiana.

Un altro vantaggio della finestra contestuale estesa è che i clienti ricevono risultati molto più velocemente, fino al 1.200% per essere precisi. Per la trascrizione di una riunione di due ore, Meeting.ai richiede solo una singola richiesta API LLM, rispetto al modello precedente che ne richiedeva circa dodici. “Maggiore è il numero di richieste da fare, maggiori sono i costi da sostenere. In alcuni casi, completare la stessa operazione con il nostro modello precedente potrebbe essere due volte più costoso rispetto a Claude 3”, afferma Hokiman.

Il team di Meeting.ai ha inoltre riscontrato che Claude 3 è più obbediente e affidabile nel seguire le istruzioni. Ad esempio, entrambi i modelli Haiku e Sonnet sono costantemente in grado di fornire risposte in formato JSON quando richiesto.

Riunioni reinventate, sia online che offline

Guardando al futuro, il team di Meeting.ai si sta espandendo a livello globale ed estendendo le funzionalità del proprio strumento. Presto rilasceranno una funzionalità per prendere appunti in tempo reale, ciò consentirà agli utenti di trascrivere e riassumere le riunioni offline senza doverle registrare. Oltre a questo, il team immagina un futuro in cui gli utenti potranno tenere riunioni con Meeting.ai.

“Attualmente stiamo lavorando su un modello vocale integrato in modo che gli utenti possano porre domande all'intelligenza artificiale”, afferma Hokiman. “Ci piacerebbe anche vedere cose ricorrenti, come gli standup esternalizzati all'IA, consentendo ai team di dedicare più tempo al lavoro e meno alle riunioni”.

Mentre il team di Meeting.ai continua a sviluppare il proprio prodotto, AWS contribuisce a garantire che abbiano sempre accesso agli LLM più recenti e la libertà di scoprire quale modello è più adatto per loro e per i loro clienti. “AWS è un partner su cui possiamo contare per stare al passo con il mondo in rapida evoluzione dell'IA generativa. Se viene rilasciato un nuovo modello, è facile per noi cambiarlo. Tutto ciò di cui abbiamo bisogno è proprio lì, in Bedrock”, afferma Hokiman.