Perplexity 利用 Amazon SageMaker HyperPod 將基礎模型訓練加快 40%

有別於會將推廣廣告和特定關鍵字排在相關搜尋結果上方的傳統搜尋引擎，Perplexity 的解決方案經過最佳化，旨在將使用者引導至其尋求的知識。大約每月有 1000 萬名活躍使用者依賴 Perplexity 來學習新概念、解決挑戰並找到答案。

「使用大型語言模型，我們能將人類的語言理解和推理能力整合到一個模型中。再結合網際網路上的事實，這協助我們建立了回答引擎。」Perplexity 執行長暨共同創辦人 Aravind Srinivas 表示，「本質上，我們將傳統的搜尋索引 (事實引擎) 和推理引擎 (大型語言模型) 結合在一起，打造出世界上第一個對話式回答引擎。」

自 2022 年推出以來，Perplexity 一直使用 AWS 核心服務，例如 Amazon Elastic Compute Cloud (Amazon EC2)，其可為幾乎所有工作負載提供安全、可調整大小的運算容量，能用於支援該公司產品的後端、前端和搜尋元件。隨著 Perplexity 的成熟和 ML 模型數量的增加，它需要龐大運算能力來服務使用者。

Perplexity 與 AWS 專家交流後得知，Amazon SageMaker HyperPod (專為大規模分散式訓練而建構的基礎設施) 可滿足其大規模模型訓練的需求。Amazon SageMaker HyperPod 已預先以 Amazon SageMaker 分散式訓練庫設定，這些訓練庫經過最佳化，能在超過 1,600 Gbps 的互連速度下執行高度可擴展且符合成本效益的自訂資料平行和模型平行深度學習訓練作業。Amazon SageMaker HyperPod 還透過定期儲存檢查點來防止基礎模型訓練中斷。訓練期間發生硬體故障時，AWS 服務會自動偵測到故障、加以修復或更換故障的執行個體，並從上次儲存的檢查點恢復訓練。這有助於在分散式環境中連續數週或數月不間斷地訓練模型。

AWS 為 Perplexity 提供了一個月試用期，以向其展示分散式訓練功能，在此期間，該公司發現了使用 AWS 的優勢。例如，Perplexity 在資源分配方面獲得了更大的靈活性，使用針對特定任務量身訂製的不同 Amazon EC2 執行個體類型和 GPU。

為了訓練 ML 模型，Perplexity 需要大量記憶體，以執行海量資料並儲存不同梯度。該公司選擇了可為 ML 訓練和高效能運算應用提供最高效能的 Amazon EC2 P4de 執行個體來執行訓練任務，進而達到了記憶體和頻寬需求。透過使用 Amazon SageMaker HyperPod，Perplexity 在不同 GPU 之間傳輸資料大幅加快，進而將 ML 模型訓練時間縮短了多達 40%。

「Amazon SageMaker HyperPod 的內建資料和模型平行程式庫協助我們最佳化 GPU 的訓練時間，並且讓訓練輸送量翻倍。」Srinivas 表示，「因此，我們的訓練實驗現在能以加倍的速度完成，這代表開發人員能更快速地反覆運作，從而加速為客戶開發全新生成式 AI 體驗。由於 Amazon SageMaker HyperPod 會自動監控叢集運作狀態並修復 GPU 故障，因此我們的開發人員得以專注於模型建置，而無須費時管理及最佳化基礎架構。」

Perplexity 的目標是對使用者查詢做出快速且準確的回應，這需要近乎即時的推論能力。使用 Amazon EC2 P5 執行個體 (可為深度學習應用提供最高效能的 GPU 執行個體)，Perplexity 能以比以往更高的輸送量產生答案。事實上，該公司能在尖峰時段處理 10,000 個並行使用者和每小時超過 100,000 個查詢，同時不會影響延遲或使用者體驗。Perplexity 還將公開提供的 Llama 2 模型託管在 Amazon EC2 P5 執行個體上，並使用 Amazon SageMaker HyperPod 利用自有資料對開放原始碼模型進行微調。微調模型有助於提高回應的準確性和相關性，根據 Perplexity 回答引擎的需求量身訂製模型。