Le Wall Street Journal offre aux lecteurs un outil de recherche grâce à Amazon Kendra

Alors que l'élection présidentielle étasunienne de 2020 approchait, le Wall Street Journal (WSJ) souhaitait permettre aux lecteurs de consulter et de comprendre plus facilement les propos ainsi que les positions des candidats sur des sujets importants. D'après une étude du Pew Research Center datée du 5 juin 2019, presque 80 % des Américains ont déclaré vérifier eux-mêmes les informations des articles d'actualité afin d'en retrouver la source d'origine. 

L'équipe du WSJ chargée des produits et de la technologie s'est tournée vers Amazon Web Services (AWS) afin de créer une nouvelle expérience client. En collaborant avec une équipe mondiale d'experts du programme d'innovation numérique d'AWS et AWS Professional Services, une équipe mondiale de spécialistes qui aide les entreprises à accomplir leurs objectifs sur AWS, l'équipe du WSJ a pu accélérer le développement de Talk2020. Il s'agit d'un outil de recherche intelligent qui aide les lecteurs à rechercher et à analyser rapidement 30 années de déclarations publiques des candidats à l'élection présidentielle. Il permet d'étudier de manière plus approfondie des sujets au fil du temps, en explorant les façons de parler et en effectuant des analyses textuelles. La clé de la réussite du WSJ : son utilisation d'Amazon Kendra, un service de recherche intelligente très précis optimisé grâce au machine learning.

Le Wall Street Journal est un organe de presse international qui fournit des actualités, informations, commentaires et analyses et est disponible aux lecteurs via des supports papier, numériques, mobiles, de réseaux sociaux, audio et vidéo. S'appuyant sur son héritage en tant que source d'actualités financières et commerciales internationales, le WSJ couvre l'actualité étasunienne et mondiale ainsi que les domaines de la politique, de l'art, de la culture, du style de vie, des sports et de la santé et a reçu 38 prix Pulitzer pour son journalisme d'exception. À cet égard, le journal a vu une opportunité d'offrir une fonctionnalité et d'atteindre un nouveau public en permettant aux lecteurs d'explorer une base de données de transcriptions. « Nous souhaitions créer quelque chose que les lecteurs pourraient utiliser pour rechercher ce que Joe Biden, Donald Trump et leurs colistiers avaient dit mot pour mot et en tirer leurs propres conclusions », explique Dion Bailey, vice-président et responsable de la technologie et de l'architecture du WSJ. 

Pour la recherche et la vérification des faits, les journalistes du WSJ qui rédigent des enquêtes d'investigation utilisent déjà Factiva, la base de données d'actualités internationales de Dow Jones. Factiva regroupe du contenu provenant de plus de 32 000 sources et permet aux utilisateurs d'effectuer des recherches par texte libre, région, sujet, auteur et métadonnées. L'équipe de recherche et développement du WSJ avait travaillé avec des journalistes à Washington, D.C. afin de concevoir un outil de recherche efficace pour ces transcriptions. Avec Talk2020, le WSJ souhaitait simplifier l'utilisation de cet outil et le rendre accessible à un public plus large, afin d'éclairer ses décisions durant l'élection présidentielle de 2020. Le journal voulait que les lecteurs puissent poser des questions en langage naturel, comme « Qu'a dit Trump à propos des soins de santé ? » et recevoir des résultats répondant directement à ces questions. Une solution bien structurée aurait également le potentiel d'augmenter la consultation du site et d'attirer de nouveaux abonnés. 

L'équipe du WSJ, qui utilisait déjà AWS, a dialogué régulièrement avec AWS Professional Services lors de la conception, par le biais de réunions debout quotidiennes, de réunions hebdomadaires et de découvertes architecturales approfondies. « AWS nous a permis de concevoir une solution respectant nos calendriers », déclare M. Bailey. « Cet accès direct aux experts nous a permis de placer les bons services autour d'Amazon Kendra et d'offrir le niveau de qualité souhaité. »

Grâce à AWS, l'équipe du WSJ a rapidement conçu Talk2020 et atteint son objectif de lancement en septembre 2020, avant le premier débat présidentiel. La solution utilisait Amazon Kendra pour fournir des fonctionnalités fiables de recherche d'entreprise. « La capacité d'Amazon Kendra à traiter le langage naturel en temps réel nous a beaucoup plu », raconte M. Bailey. Le front-end de la solution de recherche se composait d'une passerelle d'API et d'Amazon CloudFront, un réseau de diffusion de contenu rapide, hautement sécurisé et programmable. Lorsque les utilisateurs procèdent à une recherche, Amazon Kendra renvoie un sujet identifié ainsi que des citations associées, qui sont ensuite complétés de manière approfondie en recoupant l'identification avec les transcriptions Factiva nettoyées stockées dans Amazon DynamoDB, service de bases de données NoSQL qui prend en charge les structures de données de document et clés-valeurs. 

AWS Lambda, service de calcul sans serveur qui permet aux utilisateurs d'exécuter du code sans allouer ou gérer de serveurs, se charge de la gestion des flux de données entre les services AWS. « Nous devions créer une couche d'ingestion entre Factiva et la couche de données », note M. Bailey. Les fonctions d'AWS Lambda déclenchent des demandes de nettoyage et de mise en forme des transcriptions (identification des citations, du locuteur et du sujet) avant de les envoyer à Amazon Kendra et Amazon DynamoDB. « En nous reposant sur les fonctions Lambda pour ces tâches, nous pouvons arrêter le processus lorsque nous ne les utilisons pas, ce qui est rentable », ajoute M. Bailey. 

Les données de l'outil Talk2020 ont montré des pics d'utilisation pendant et après les débats présidentiels, le débat vice-présidentiel et les assemblées publiques. De nombreuses personnes utilisaient également l'outil de recherche en guise de second écran lors des débats, afin de rechercher les déclarations passées des candidats. L'engagement avec Talk2020 était élevé et les utilisateurs posaient souvent plusieurs questions et parcouraient plusieurs sujets au cours d'une même visite. « Cela nous démontre que nous avons créé un outil qui a répondu aux besoins de nos lecteurs. Nous avons l'opportunité de continuer à tester de nouvelles manières de susciter leur intérêt », déclare M. Bailey.

Le dialogue avec l'équipe d'AWS et l'utilisation de services innovants comme Amazon Kendra ont permis au WSJ de lancer Talk2020 en seulement cinq mois, et de renforcer le trafic du site, de favoriser l'engagement et d'attirer de nouveaux abonnés. « L'équipe d'AWS était disponible à tout moment », affirme M. Bailey, « et cela nous a permis de résoudre tous les problèmes qui se sont présentés. »