Jobcase adapte ses flux de travail de machine learning pour prendre en charge des milliards de prévisions quotidiennes à l'aide d'Amazon Redshift ML

Jobcase est une plateforme de travail soutenue par la communauté à laquelle plus de 110 millions de membres inscrits à travers les États-Unis se connectent pour s'entraider et trouver des opportunités. Alors que de nombreux sites web de recherche d'emploi privilégient les postes professionnels, les outils de recherche et les fonctionnalités sociales de Jobcase se concentrent sur un plus large éventail de postes quotidiens, dont les travailleurs horaires et de service, les ouvriers et les techniciens. L'identification de candidats solides permet à l'entreprise de proposer des emplois de qualité à ses membres et aide les employeurs à recruter des travailleurs qualifiés. Lorsque quelqu'un recherche des offres d'emploi sur Jobcase, l'entreprise analyse environ 30 millions d'annonces dans son annuaire, en comparant les qualités de chacune avec les préférences du membre. Son infrastructure doit être capable d'exécuter ces tâches de ML à grande échelle, en extrayant et en faisant des prévisions sur des milliards d'enregistrements par jour. Jobcase utilise Amazon Redshift depuis plus de 8 ans comme entrepôt de données principal qui sert de source de référence pour tous ses travaux d'analyse de données. « Notre base de données ingère des milliards d'événements chaque jour », explique Ajay Joshi, ingénieur émérite chez Jobcase. « Tous nos systèmes de production génèrent des données qui sont transmises à Amazon Redshift. L'entreprise en dépend. » L'ancien flux de travail de machine learning de l'entreprise, qui impliquait de déplacer des données d'Amazon Redshift vers un environnement distinct pour exécuter son logiciel de ML avant de renvoyer les données à la base de données, était inefficace, sujet aux erreurs et coûteux. Pour résoudre ces problèmes, Jobcase a migré vers Amazon Redshift ML afin de pouvoir exécuter ses fonctions de ML au sein de l'entrepôt de données, sans aucun déplacement de données. La société a commencé à tester Amazon Redshift ML en décembre 2020 et l'a déployé en production en juillet 2021. « Le nouveau système d'AWS s'intègre essentiellement tel quel dans notre pipeline, explique Ajay Joshi. Nous avons pu rapidement mettre en production plusieurs modèles qui ont immédiatement commencé à porter leurs fruits. »

L'utilisation d'Amazon Redshift ML simplifie la façon dont Jobcase génère des prévisions à partir de ses modèles de machine learning. « Grâce à Amazon Redshift ML, nous pouvons adapter un large éventail de classes de modèles de ML sophistiquées aux données directement dans notre entrepôt de données Amazon Redshift », explique Clay Martin, scientifique des données senior chez Jobcase. Quatre semaines seulement après le déploiement des nouveaux modèles sur Amazon Redshift ML, l'entreprise avait déjà constaté une amélioration de 5 % de ses indicateurs d'engagement pour des canaux spécifiques d'e-mail et de notification push. « Une amélioration de 5 % des indicateurs d'engagement se traduit par une amélioration de l'expérience et de la fidélisation des membres, ainsi qu'une augmentation correspondante des revenus », déclare Clay Martin. Jobcase peut désormais effectuer des inférences de modèles sur des milliards d'enregistrements en quelques minutes au lieu de 4 à 5 heures.

Le système de recommandation génère des recommandations d'offres d'emploi spécifiques, ainsi que des suggestions de recherche et des recommandations d'entreprises, pour chacun de ses millions de membres actifs. À mesure que la communauté s'agrandit, les coûts de maintenance de pipelines de données complexes augmentent. « Nous effectuons en moyenne cinq à six milliards de prévisions hors ligne chaque jour », explique Ajay Joshi. L'utilisation des fonctionnalités d'inférence locale intégrées à la base de données d'Amazon Redshift ML élimine le besoin de transférer des données entre des environnements distincts. Ainsi, Jobcase réalise des économies et réduit la complexité tout en augmentant l'ampleur de ses charges de travail de ML.

De plus, Jobcase peut effectuer des tests de grande envergure plus rapidement qu'auparavant. « Auparavant, nous devions effectuer des tests sur de petites cohortes d'utilisateurs pendant 1 à 2 mois, explique Clay Martin. Grâce à Amazon Redshift ML, nous pouvons exécuter des tests sur des jeux de données complets en moins d'une semaine. » Cela facilite la création et l'itération des modèles de l'entreprise à un rythme très élevé. En outre, la capacité du service à entraîner et à déployer automatiquement des modèles contribue à accroître la productivité des équipes de Jobcase. « Nous sommes une petite entreprise par rapport à la quantité de données que nous traitons, explique Ajay Joshi. Réaliser des prévisions rapidement et sans nécessiter beaucoup de travail pour déployer les modèles sur Amazon Redshift ML nous permet de nous concentrer sur la valeur ajoutée à d'autres aspects de notre produit. »

Tout aussi important, en utilisant Amazon Redshift ML, Jobcase peut mettre à l'échelle ses charges de travail de ML sans augmenter les coûts. « Pour atteindre des performances de cette envergure sur un système différent, nous devrions consacrer beaucoup de temps et d'argent à l'optimiser », explique Ajay Joshi. Au lieu de cela, l'entreprise n'a dû faire face à aucune augmentation de coûts lorsqu'elle a commencé à utiliser la fonctionnalité Amazon Redshift ML, car elle fonctionne au sein de son cluster Amazon Redshift existant. L'élasticité du travail dans le cloud permet à Jobcase de travailler facilement à grande échelle, même si la base d'utilisateurs de l'entreprise augmente. « Nous avons toujours été à la pointe de la technologie en matière de développement sur AWS, explique Ajay Joshi. Nous entretenons une excellente relation avec les équipes d'AWS, et cette collaboration a été exceptionnelle ».