Jobcase 使用 Amazon Redshift ML 擴展 ML 工作流程，以支援每日數十億次預測

Jobcase 是一個社群支援型工作平台，全美有超過 1.1 億名註冊成員在該平台上彼此幫助並尋找機會。儘管很多求職網站都偏向於專業職位，而 Jobcase 的搜尋工具和社交功能則側重於更廣泛的日常職務，包括小時工和服務員工、勤雜工和技術人員等。配對優化讓公司可以為成員推薦優質的職位，協助僱主聘用合格的員工。當有人在 Jobcase 上搜尋工作機會時，公司會分析其目錄中的近 3,000 萬個職缺，比對每個職缺的品質與成員的偏好。它的基礎架構必須能夠大規模執行這些 ML 任務，每天擷取數十億條記錄並進行預測。Jobcase 在過去 8 年多裡一直使用 Amazon Redshift 作為他們的主要資料倉儲及其所有資料分析工作的唯一真實來源。Jobcase 的傑出工程師 Ajay Joshi 說道：「我們的資料庫每天會擷取數十億個事件。所有生產系統產生的資料會流入 Amazon Redshift。公司很倚賴它。」 公司先前使用的 ML 工作流程效率不彰，容易出錯而且成本高昂，它會將資料從 Amazon Redshift 轉移到單獨的環境以便執行它的 ML 軟體，然後再把資料傳回到資料庫。為了克服這些挑戰，Jobcase 已遷移到 Amazon Redshift ML，因此它可以在資料倉儲內執行其 ML 函數而不需移動資料。公司在 2020 年 12 月開始測試 Amazon Redshift ML，並在 2021 年 7 月將其部署到生產環境中。「AWS 上的新系統基本上能以原狀適應我們的管道，」Joshi 表示，「我們可以快速部署多個模型到生產環境，並立即開始產生效益。」

使用 Amazon Redshift ML 簡化 Jobcase 從其 ML 模型產生預測的方式。「藉助 Amazon Redshift ML，我們可以在 Amazon Redshift 資料倉儲中將各種複雜的 ML 模型類別直接套用到資料上，」Jobcase 的資深資料科學家 Clay Martin 說道。在 Amazon Redshift ML 上部署新模型的短短 4 周以後，公司在特定電子郵件和推送通知管道的參與指標就提升了 5%。Martin 表示：「參與指標提高 5%，可被理解為成員體驗和留存方面的改善，以及相應的收入增加。」Jobcase 現在可以在幾分鐘內對數十億條記錄執行模型推論，而不需要 4 到 5 個小時。

推薦系統會為數百萬活躍成員中的每一個產生特定的職缺推薦，以及搜尋建議和公司推薦。隨著社群的成長，維護複雜的資料管道的成本也在增加。「我們每天平均要執行五十到六十億次離線預測，」Joshi 說道。利用 Amazon Redshift ML 的資料庫內本地推論功能可消除在單獨環境之間轉移資料的必要性。因此，Jobcase 可以節省成本，降低復雜程度，同時擴大 ML 工作負載的規模。

除此以外，Jobcase 可以比過去更快地完成大型測試。「在過去，我們必須用 1 到 2 個月時間對小型使用者群組執行測試，」Martin 說道，「使用 Amazon Redshift ML，我們可以在不到一週內完成針對整個資料集的測試。」 這有助於非常快速地構建公司的模型並對其進行迭代。而且，服務的自動訓練和部署模型功能會提高 Jobcase 各個團隊的生產力。「相對於要處理的資料量，我們還是一家小規模公司，」Joshi 表示，「快速運行預測以及減少在 Amazon Redshift ML 上部署模型所需的工作量，使我們能夠將更多時間花在為產品的其他方面創造價值。」

同樣重要的是，藉助使用 Amazon Redshift ML，Jobcase 可在不增加成本的情況下擴展其 ML 工作負載。「為了在不同的系統上實現這種規模的高效能，我們不得不投入大量時間和金錢對其進行優化，」Joshi 說道。但在開始使用 Amazon Redshift ML 後，公司無需面對成本增加的問題，因為它的功能與公司現有的 Amazon Redshift 叢集相容。即便公司的使用者人數增加，雲端作業的彈性也能讓 Jobcase 輕鬆地開展大規模工作。Joshi 認為：「在 AWS 上建置使我們能夠始終掌握最前沿的技術。我們和 AWS 團隊建立了緊密的關係，這一點非常棒。」