Perplexity mempercepat pelatihan Model Fondasi sebesar 40% dengan Amazon SageMaker HyperPod

Tidak seperti mesin pencari tradisional yang sering meningkatkan iklan dan kata kunci tertentu daripada hasil yang relevan, solusi Perplexity dioptimalkan untuk menghubungkan pengguna dengan pengetahuan yang mereka cari. Sekitar 10 juta pengguna aktif bulanan mengandalkan Perplexity untuk mempelajari konsep baru, memecahkan tantangan, dan menemukan jawaban.

“Menggunakan model bahasa besar, kami dapat menggabungkan pemahaman bahasa manusia dan kemampuan penalaran menjadi satu model. Langkah ini, dikombinasikan dengan fakta di internet, telah membantu kami membangun mesin jawaban kami,” kata Aravind Srinivas, CEO dan salah satu pendiri Perplexity. “Pada dasarnya, kami menggabungkan indeks pencarian tradisional (mesin fakta) dan mesin penalaran (model bahasa besar) menjadi satu untuk membangun mesin jawaban percakapan pertama di dunia.”

Sejak diluncurkan pada tahun 2022, Perplexity telah menggunakan layanan AWS inti seperti Amazon Elastic Compute Cloud (Amazon EC2)—yang menyediakan kapasitas komputasi yang aman dan dapat diubah ukurannya untuk hampir semua beban kerja—untuk mendukung komponen backend, front end, dan pencarian produknya. Seiring makin matangnya Perplexity dan jumlah model ML-nya yang bertambah, perusahaan tersebut membutuhkan kekuatan komputasi yang besar untuk melayani pengguna.

Perplexity berbicara dengan pakar AWS dan mengetahui bahwa Amazon SageMaker HyperPod, infrastruktur yang dibangun khusus untuk pelatihan terdistribusi dalam skala besar, dapat memenuhi kebutuhannya untuk pelatihan model skala besar. Amazon SageMaker HyperPod telah dikonfigurasi sebelumnya dengan pustaka pelatihan terdistribusi Amazon SageMaker yang dioptimalkan untuk menjalankan data kustom paralel yang sangat skalabel dan hemat biaya serta memodelkan pekerjaan pelatihan deep learning paralel dengan kecepatan interkoneksi yang melebihi 1.600 Gbps. Amazon SageMaker HyperPod juga mencegah gangguan pada pelatihan model fondasi dengan menyimpan pos pemeriksaan secara berkala. Jika kegagalan perangkat keras terjadi selama pelatihan, layanan AWS akan otomatis mendeteksi kegagalan, memperbaiki atau mengganti instans yang rusak, dan melanjutkan pelatihan dari pos pemeriksaan terakhir yang disimpan. Langkah ini memfasilitasi pelatihan model tanpa gangguan selama berminggu-minggu atau berbulan-bulan dalam lingkungan terdistribusi.

AWS menawarkan Perplexity uji coba satu bulan untuk menunjukkan kemampuan pelatihan terdistribusi, dan selama itu perusahaan menemukan keuntungan menggunakan AWS. Misalnya, Perplexity memperoleh fleksibilitas yang lebih besar dalam alokasi sumber daya dengan menggunakan berbagai jenis instans Amazon EC2 dan GPU yang disesuaikan untuk tugas tertentu.

Untuk melatih model ML, Perplexity membutuhkan memori dalam jumlah besar sehingga dapat menjalankan data dalam jumlah yang sangat besar dan menyimpan gradien yang berbeda. Perplexity memilih Instans P4de Amazon EC2—yang memberikan performa tertinggi untuk pelatihan ML dan aplikasi komputasi performa tinggi—untuk menjalankan tugas pelatihan agar dapat memenuhi persyaratan memori dan bandwidth. Menggunakan Amazon SageMaker HyperPod, Perplexity mentransfer data di antara GPU yang berbeda dengan jauh lebih cepat sehingga mengurangi waktu pelatihan model ML hingga 40 persen.

“Data bawaan dan pustaka paralel model dari Amazon SageMaker HyperPod membantu kami mengoptimalkan waktu pelatihan pada GPU serta menggandakan throughput pelatihan.” ungkap Srinivas. Hasilnya, eksperimen pelatihan kami sekarang dapat berjalan dua kali lebih cepat, yang berarti developer kami dapat melakukan iterasi lebih cepat sehingga pengembangan pengalaman AI generatif baru untuk pelanggan kami juga makin cepat. Karena Amazon SageMaker HyperPod memantau kondisi klaster dan memperbaiki kegagalan GPU secara otomatis, developer kami dapat berfokus pada pembuatan model daripada menghabiskan waktu untuk mengelola serta mengoptimalkan infrastruktur dasar.”

Perplexity bertujuan memberikan tanggapan cepat dan akurat terhadap kueri pengguna yang membutuhkan kemampuan inferensi mendekati waktu nyata. Menggunakan Instans P5 Amazon EC2—yang memberikan instans berbasis GPU performa unggulan untuk aplikasi deep learning—Perplexity dapat menghasilkan jawaban dengan throughput yang jauh lebih tinggi dibandingkan sebelumnya.. Bahkan, perusahaan dapat menangani periode lonjakan dengan 10.000 pengguna bersamaan dan lebih dari 100.000 kueri per jam tanpa mengorbankan latensi atau memengaruhi pengalaman pengguna. Perplexity juga melakukan hosting model Llama 2 yang tersedia untuk umum di Instans Amazon EC2 P5 dan menggunakan Amazon SageMaker HyperPod untuk menyempurnakan model sumber terbuka menggunakan datanya sendiri. Model penyempurnaan membantu meningkatkan akurasi dan relevansi respons sehingga dapat menyesuaikan model dengan kebutuhan mesin jawaban Perplexity.