Amazon Redshift ML을 사용하여 수십억 건의 일일 예측을 지원하도록 ML 워크플로를 확장하는 Jobcase

Jobcase는 미국 전역의 1억 1,000만여 등록 회원이 접속하여 서로 도우면서 취업 기회를 찾는 커뮤니티 중심의 구직 플랫폼입니다. 많은 구직 웹 사이트가 전문직에 치우쳐 있지만, Jobcase의 검색 도구와 소셜 기능은 시간제 근로, 서비스직, 자영업, 기술직 등 광범위한 일반 직종에 중점을 두고 있습니다. 이 회사는 최적의 구직자-일자리 조합을 찾아 회원에게 양질의 일자리를 제안하고, 고용주가 자격을 갖춘 직원을 채용하는 데 도움을 줍니다. 누군가가 Jobcase에서 취업 기회를 검색하면 이 회사는 디렉터리에 있는 약 3,000만 개의 채용 공고를 분석하여 각 공고의 특성을 회원이 선호하는 구직 조건과 대조합니다. 이 회사의 인프라는 이러한 ML 작업을 대규모로 수행하여 하루에 수십억 개의 레코드를 검색하고 예측할 수 있어야 합니다. Jobcase는 8년 넘게 Amazon Redshift를 기본 데이터 웨어하우스로 사용하고 있으며, Amazon Redshift가 모든 데이터 분석 작업의 정보 소스 역할을 합니다. Jobcase의 유명 엔지니어인 Ajay Joshi는 “저희 데이터베이스는 매일 수십억 건의 이벤트를 수집합니다. 저희의 모든 프로덕션 시스템은 Amazon Redshift로 유입되는 데이터를 생성합니다. 이는 회사의 기반이 됩니다”라고 말합니다. 데이터베이스에 데이터를 반환하기 전에 Amazon Redshift에서 별도의 환경으로 데이터를 이동하여 ML 소프트웨어를 실행했던 이전 ML 워크플로는 비효율적이고 오류가 발생하기 쉬우며 비용이 많이 들었습니다. 이 문제를 해결하기 위해 Jobcase는 데이터 이동 없이 데이터 웨어하우스 내에서 ML 기능을 수행할 수 있도록 Amazon Redshift ML로 마이그레이션했습니다. 이 회사는 2020년 12월에 Amazon Redshift ML을 테스트하기 시작했고 2021년 7월에 프로덕션 환경에 배포했습니다. Joshi는 “AWS의 새 시스템은 기본적으로 저희 파이프라인에 그대로 적용되었습니다. "여러 모델을 프로덕션 환경에 신속하게 배포할 수 있었고, 그 결과 즉시 이점을 얻을 수 있었습니다"라고 말합니다.

Amazon Redshift ML을 사용한 덕분에 Jobcase가 ML 모델에서 예측을 생성하는 방식이 간소화되었습니다. Jobcase의 수석 데이터 사이언티스트인 Clay Martin은 “Amazon Redshift ML을 통해 다양하고 정교한 ML 모델 클래스를 Amazon Redshift 데이터 웨어하우스의 데이터에 직접 적용할 수 있습니다”라고 말합니다. Amazon Redshift ML에 새 모델을 배포한 지 불과 4주 만에 이미 회사의 특정 이메일 및 푸시 알림 채널에 대한 참여도 지표가 최대 5% 향상되었습니다. Martin은 “참여도 지표가 5% 개선되면서 회원 경험이 개선되고 회원 유지율이 높아졌으며 그에 따라 수익도 증가했습니다”라고 말합니다. Jobcase는 이제 4~5시간이 아니라 단 몇 분 만에 수십억 개의 레코드에 대한 모델 추론을 수행할 수 있습니다.

이 추천 시스템은 수백만 명의 활성 회원 각각에 대해 검색 제안과 회사 추천뿐만 아니라 구체적인 채용 공고 추천을 생성합니다. 커뮤니티가 성장함에 따라 복잡한 데이터 파이프라인을 유지 관리하는 데 드는 비용도 증가합니다. Joshi는 “저희는 매일 평균 50억~60억 건의 오프라인 예측을 수행합니다”라고 말합니다. Amazon Redshift ML의 데이터베이스 내 로컬 추론 기능을 사용하면 별개의 환경 간에 데이터를 전송할 필요가 없습니다. 결과적으로 Jobcase는 ML 워크로드의 규모를 늘리면서 비용을 절감하고 복잡성을 줄일 수 있습니다.

또한 Jobcase는 대규모 테스트를 이전보다 더 빠르게 처리할 수 있습니다. Martin은 “이전에는 소규모 사용자 집단을 대상으로 1~2개월에 걸쳐 테스트를 수행해야 했습니다. Amazon Redshift ML을 사용하면 일주일 내에 전체 데이터 세트에 대한 테스트를 실행할 수 있습니다”라고 말합니다. 그 덕분에 회사의 모델을 매우 빠른 속도로 구축하고 반복할 수 있습니다. 또한 이 서비스의 모델 훈련 및 배포 기능은 Jobcase 팀 전체의 생산성 향상에도 자연스럽게 기여합니다. Joshi는 “처리하는 데이터의 양에 비하면 회사 규모가 작습니다. Amazon Redshift ML에서 모델을 배포하는 작업을 거의 수행할 필요가 없고 신속하게 예측을 실행할 수 있으므로, 제품의 다른 측면에 가치를 더하는 데 집중할 수 있습니다”라고 말합니다.

Amazon Redshift ML을 사용함으로써 비용을 늘리지 않고도 ML 워크로드를 확장할 수 있다는 점도 중요합니다. Joshi는 “다른 시스템에서 이 정도 규모로 고성능을 실현하려면 최적화 작업에 상당한 시간과 비용을 투자해야 합니다”라고 말합니다. 하지만 이 회사의 경우 Amazon Redshift ML을 사용하기 시작했을 때 이 기능이 기존 Amazon Redshift 클러스터 내에서 작동하기 때문에 비용이 증가하지 않았습니다. 클라우드에서 작업할 수 있는 탄력성 덕분에 Jobcase는 회사의 사용자 기반이 늘어나더라도 간단하게 대규모로 작업을 수행할 수 있습니다. Joshi는 “저희가 AWS를 기반으로 구축할 때는 항상 첨단 기술을 사용했습니다. "저희는 AWS 팀들과 늘 좋은 관계를 유지했고, 이는 경이로운 경험이었습니다"라고 말합니다.