Wall Street Journal offre ai lettori uno strumento di ricerca che utilizza Amazon Kendra

Con l'avvicinarsi delle elezioni presidenziali statunitensi del 2020, The Wall Street Journal (WSJ) voleva consentire ai lettori di accedere e comprendere più facilmente le opinioni dei candidati e le loro posizioni su argomenti importanti per i lettori. Uno studio del 5 giugno 2019 del Pew Research Center ha rilevato che quasi l'80% degli americani affermava di aver verificato personalmente i fatti contenuti nelle notizie per trovare la fonte originale delle informazioni. 

Il team di prodotto e tecnologia del WSJ si è rivolto ad Amazon Web Services (AWS) per creare una nuova esperienza per i clienti. Grazie alla collaborazione con un team globale di esperti del programma AWS Digital Innovation e di AWS Professional Services, un team globale di esperti che aiuta le aziende a ottenere i risultati desiderati su AWS, il team del WSJ è riuscito ad accelerare lo sviluppo di Talk2020, uno strumento di ricerca intelligente che aiuta i lettori a cercare e analizzare rapidamente 30 anni di dichiarazioni pubbliche rilasciate dai candidati alla presidenza. Lo strumento consente un'indagine più approfondita dei problemi nel tempo esplorando i modelli di discorso ed eseguendo analisi del testo. La chiave del successo del WSJ è stato l'utilizzo di Amazon Kendra, un servizio di ricerca intelligente estremamente accurato basato sul machine learning.

The Wall Street Journal è un'organizzazione giornalistica globale che fornisce notizie, informazioni, commenti e analisi coinvolgendo i lettori su piattaforme cartacee, digitali, dispositivi mobili, social, audio e video. Basandosi sulla sua eredità come fonte di notizie economiche e finanziarie globali, il WSJ include la copertura di notizie statunitensi e mondiali, politica, arte, cultura, stile di vita, sport e salute e ha vinto 38 premi Pulitzer per il livello straordinario di giornalismo. A tal fine, ha visto l'opportunità di fornire funzionalità e raggiungere un nuovo pubblico consentendo ai lettori di esplorare un database di trascrizioni. “Volevamo creare qualcosa che i lettori potessero utilizzare per leggere in modo letterale e fedele ciò che Joe Biden, Donald Trump e i membri dei loro team in corsa alla presidenza avevano detto per poi trarre le proprie conclusioni”, afferma Dion Bailey, VP, Head of WSJ Technology and Architecture. 

I giornalisti del WSJ che scrivono articoli investigativi utilizzano già Factiva, il database globale di notizie del Dow Jones, per ricerche e verifiche dei fatti. Factiva aggrega contenuti provenienti da oltre 32.000 fonti e consente agli utenti di effettuare ricerche per testo, regione, oggetto, autore e metadati. Il team di ricerca e sviluppo del WSJ aveva collaborato con i giornalisti di Washington, DC, per creare uno strumento di ricerca efficace per queste trascrizioni. Con Talk2020, il WSJ ha voluto rendere questo strumento più semplice da usare e disponibile a un pubblico più ampio per aiutare le persone a prendere decisioni informate durante le elezioni presidenziali del 2020. La pubblicazione voleva che i lettori fossero in grado di porre domande in linguaggio naturale, ad esempio “Cosa ha detto Trump sull'assistenza sanitaria?”, e ricevere risultati che rispondessero direttamente alle domande. Una soluzione ben strutturata potrebbe anche aumentare il traffico del sito e attirare nuovi abbonati. 

Il team del WSJ, che utilizzava già AWS, si è rivolto regolarmente ad AWS Professional Services durante la fase di sviluppo attraverso confronti giornalieri, riunioni settimanali e approfondimenti sull'architettura. “AWS ci ha aiutato a creare una soluzione che rispettasse le nostre tempistiche”, dice Bailey. “L'accesso diretto all'aiuto degli esperti ci ha permesso di mettere i servizi giusti su Amazon Kendra e fornire il livello di qualità che volevamo”.

Utilizzando AWS, il team del WSJ ha creato rapidamente Talk2020 e ha raggiunto l'obiettivo di lanciarlo a settembre 2020, prima del primo dibattito presidenziale. La soluzione ha utilizzato Amazon Kendra per fornire funzionalità di ricerca aziendale affidabili. “Il fatto che Amazon Kendra potesse eseguire l'elaborazione del linguaggio naturale in tempo reale è stato un fattore di grande rilievo per noi”, afferma Bailey. Il front-end della soluzione di ricerca era costituito da un gateway API e Amazon CloudFront, una rete di distribuzione di contenuti veloce, altamente sicura e programmabile. Quando gli utenti effettuano una ricerca, Amazon Kendra restituisce un argomento identificato e le relative citazioni che vengono poi ulteriormente ampliate incrociando l'identificazione con le trascrizioni pulite di Factiva archiviate in Amazon DynamoDB, un servizio di database NoSQL che supporta strutture di dati chiave-valore e documenti. 

Per la gestione del flusso di dati tra i servizi AWS c'è AWS Lambda, un servizio di elaborazione serverless che consente agli utenti di eseguire codice senza effettuare il provisioning o gestire i server. “Abbiamo dovuto creare un livello di inserimento tra Factiva e il livello dati”, afferma Bailey. Le funzioni AWS Lambda attivano le richieste di pulizia e formattazione delle trascrizioni, identificando le citazioni, il relatore e l'argomento, prima di inviarle ad Amazon Kendra e Amazon DynamoDB. “Affidarsi alle funzioni Lambda per queste attività significa poter interrompere il processo quando non le utilizziamo, quindi è efficiente in termini di costi”, aggiunge Bailey. 

I dati dello strumento Talk2020 hanno mostrato picchi di utilizzo durante e dopo i dibattiti presidenziali, il dibattito riguardante la vice-presidenza e gli eventi delle amministrazioni locali. Molte persone hanno persino utilizzato lo strumento di ricerca come secondo schermo durante i dibattiti per ricercare le dichiarazioni rilasciate dai candidati in passato. Il coinvolgimento con Talk2020 è stato molto forte, con i singoli utenti che spesso ponevano più domande e consultavano diversi argomenti durante la stessa visita. “Questo ci dimostra che abbiamo creato uno strumento che soddisfa le esigenze dei nostri lettori e ci dà l'opportunità di continuare a sperimentare nuovi modi per coinvolgere i nostri utenti”, afferma Bailey.

Il coinvolgimento del team AWS e l'utilizzo di servizi innovativi come Amazon Kendra hanno aiutato WSJ a lanciare Talk2020 in soli 5 mesi, incrementando il traffico sul sito, incoraggiando il coinvolgimento e attirando nuovi abbonati. “Il team AWS era disponibile ogni volta che ne avevamo bisogno”, afferma Bailey, “e ci ha aiutato a risolvere ogni problema che si è presentato”.