Guru Membuka Peluang Bisnis Baru Menggunakan Amazon OpenSearch Service

Guru Technologies (Guru), perusahaan rintisan yang menyediakan perangkat lunak manajemen pengetahuan, memudahkan perusahaan untuk mengakses informasi internal mereka kapan pun dibutuhkan, di mana pun informasi disimpan. Hasil kueri yang cepat dan relevan selalu penting bagi Guru dan basis pelanggannya, yang mencakup perusahaan seperti Slack, Noom, Nubank, Zoom Video Communications, Shopify, dan Spotify. Namun, karena Guru melihat pertumbuhan yang signifikan, khususnya pertumbuhan pengguna aktif bulanan yang cukup besar dari tahun ke tahun, mereka menemukan bahwa solusi Elasticsearch yang dikelola sendiri tidak memiliki skalabilitas, kecepatan, atau keandalan yang dibutuhkan perusahaan untuk terus berinovasi dalam skala besar. 

Setelah menggunakan Amazon Web Services (AWS) sejak Guru didirikan pada tahun 2014, Guru kembali mencari solusi dari AWS. Menggunakan Amazon OpenSearch Service, ini adalah layanan terkelola yang memudahkan Anda untuk melakukan analitik log interaktif, pemantauan aplikasi secara waktu nyata, pencarian situs web, dan masih banyak lagi.

Ingin mengimplementasikan solusi berbasis cloud, Guru membangun infrastruktur teknologinya di AWS sejak awal. Perusahaan paham bahwa cloud dapat memenuhi kebutuhannya untuk penyimpanan, penskalaan, dan elastisitas sedangkan menjalankan infrastrukturnya di pusat kolokasi akan membutuhkan upaya yang signifikan untuk manajemen dan perluasan kapasitas. “Ketika kami memulai AWS, tujuannya adalah untuk memiliki infrastruktur sebagai kode sehingga kami dapat menjalankan lingkungan kami secara otomatis,” kata Mitchell Stewart, Chief Technology Officer dan salah satu pendiri Guru.

AWS CloudFormation memberikan cara mudah membuat model pengumpulan terkait sumber daya AWS dan pihak ketiga, menyediakannya dengan cepat dan konsisten, serta mengelolanya selama masa pakai mereka, dengan memperlakukan infrastruktur sebagai kode. Guru juga menggunakan Amazon Elastic Block Store (Amazon EBS), layanan penyimpanan blok berperforma tinggi yang mudah digunakan, yang dirancang untuk penggunaan pada Amazon Elastic Compute Cloud (Amazon EC2) untuk throughput dan beban kerja padat transaksi pada skala apa pun. “Kami mulai dengan arsitektur yang sangat sederhana,” kata Stewart. “Sejak itu, kami terus mengadopsi semua bagian dari teknologi yang telah dirilis AWS selama 7 tahun terakhir. Arsitektur kami menjadi jauh lebih kompleks, tetapi prinsipnya sama: AWS terus menyediakan layanan yang terkelola penuh, memecahkan sejumlah masalah penskalaan yang elastis dan dinamis sehingga kami tidak harus menyelesaikannya sendiri.”

Bagi Guru, salah satu masalah penskalaan tersebut berpusat pada Elasticsearch. Perusahaan awalnya meng-host klaster Elasticsearch miliknya sendiri, menggunakan Amazon EC2 untuk komputasi. “Elasticsearch adalah bagian inti dari produk kami,” kata Stewart. “Kami telah memfokuskan banyak sumber daya dan perhatian di sini karena kami secara aktif mencari untuk meningkatkan performa pencarian secara keseluruhan dengan memberikan latensi rendah dan hasil pencarian yang relevan untuk pengguna kami.” Keputusan untuk bermigrasi ke Amazon OpenSearch Service didasarkan pada sumber daya. “Kami bertanya pada diri sendiri, Apakah kami ingin memiliki karyawan berdedikasi yang mengkhawatirkan klaster Elasticsearch kami sendiri,” lanjut Stewart, “atau apakah kami lebih suka memiliki layanan Elasticsearch yang menyediakan manajemen ahli?”

Guru memulai migrasinya ke Amazon OpenSearch Service pada musim panas 2020 dan berakhir beberapa bulan kemudian. Dalam waktu singkat, perusahaan melihat beberapa manfaat dari migrasi. Pertama, perusahaan dapat menggunakan Amazon EMR— layanan big data cloud terkemuka di industri untuk memproses data dalam jumlah besar menggunakan alat sumber terbuka—untuk mengembangkan kerangka kerja eksperimen guna meningkatkan relevansi hasil pencarian mesin pencarinya. Ini pada akhirnya akan membantu pengguna menemukan informasi yang mereka cari dengan lebih cepat.

Dengan menggunakan kerangka kerja ini, Guru dapat menjalankan banyak tes yang cepat dan berguna. Misalnya, perusahaan dapat membuat klaster Elasticsearch baru dengan perubahan algoritme yang diusulkan dan menentukan apakah relevansi hasil pencarian klaster baru lebih baik atau lebih buruk daripada klaster produksi asli. Guru dapat mengukur dan membandingkan relevansi hasil pencarian sebagian karena Amazon OpenSearch Service memungkinkan perusahaan untuk mencatat permintaan pencarian secara waktu nyata. “Jika kami tidak memiliki [Amazon OpenSearch Service], Amazon EMR, dan semua alat yang tersedia untuk bereksperimen dengan iterasi algoritme, kami tidak akan memiliki bandwidth untuk mempertimbangkan melakukannya,” kata Stewart.

Eksperimen yang Guru coba sebelumnya memakan waktu berminggu-minggu atau berbulan-bulan. Namun, setelah migrasi ke lingkungan AWS, perusahaan dapat menjalankan eksperimen dalam hitungan jam atau bahkan menit. “Setiap kali kami perlu menjalankan eksperimen sebelumnya, kami akan menggunakan sumber daya DevOps yang menghabiskan 5–6 jam hanya untuk meningkatkan skalanya sehingga kami benar-benar dapat menjalankan eksperimen,” kata Nabin Mulepati, rekayasawan machine learning utama di Guru. “Sekarang kita cukup mengatakan, 'Beri saya 30 simpul,' dan dalam satu jam, kami memiliki klaster yang siap menjalankan eksperimen. Setelah kami selesai, kami dapat menguranginya sehingga kami tidak mengeluarkan biaya yang tidak perlu. ”

Di antara penyelesaian migrasinya pada musim gugur 2020 dan awal 2021, Guru menjalankan eksperimen yang melibatkan pemutaran ulang hampir setengah miliar kueri. Sebagai hasil dari eksperimen ini, perusahaan melihat peningkatan 10 persen dalam performa pencarian.

Bahkan ketika Guru tidak secara aktif menjalankan eksperimen, lingkungan Amazon OpenSearch Service yang terkelola membuat peningkatan menjadi lebih sederhana bagi perusahaan. “Di masa lalu, kami tidak dapat memanfaatkan fitur baru yang didorong oleh Elasticsearch, yang berarti kami tidak dapat memecahkan masalah bagi pelanggan kami,” kata Jeff Plater, rekayasawan utama di Guru. “Sekarang kami telah bermigrasi ke [Amazon OpenSearch Service], kami dapat tetap mengikuti perkembangan dan mendapatkan fitur tersebut. Pada akhirnya, hal ini akan memungkinkan kami untuk lebih cepat meningkatkan layanan pencarian bagi pengguna kami.” Dengan hingga 1 juta permintaan penelusuran per hari, Guru tidak bisa memperlambatnya.

Dengan bermigrasi dari klaster Elasticsearch yang dikelola sendiri ke Amazon OpenSearch Service, Guru dapat menghabiskan lebih banyak waktu untuk berfokus pada eksperimen dan inovasi. Dengan kerangka kerja ini, Guru memiliki jalur yang dapat diskalakan untuk bereksperimen dengan machine learning dan deep learning, termasuk mengimplementasikan algoritme K-Nearest Neighbor dan pembelajaran untuk menentukan peringkat. Perusahaan juga berencana untuk mulai menggunakan Amazon SageMaker, yang membantu para ilmuwan dan developer data mempersiapkan, membangun, melatih, dan melakukan deployment model machine learning berkualitas tinggi dengan cepat dengan menyatukan rangkaian luas kemampuan yang dibuat untuk machine learning.

Sebagai perusahaan rintisan yang ingin berkembang pesat sambil merilis fitur baru, Guru menemukan bahwa AWS dapat memberikan keandalan, skalabilitas, dan elastisitas yang dibutuhkan perusahaan untuk terus berinovasi. “Satu hal yang hebat tentang AWS adalah layanan mandiri: Anda dapat bergerak secepat yang Anda inginkan dalam lingkungan itu sendiri,” kata Steve Mayernick, Director of Product di Guru. “Anda bisa masuk dengan sangat cepat, menggunakan sistem apa pun yang diperlukan untuk perusahaan rintisan Anda, lalu lakukan iterasi, iterasi, dan iterasi. Anda dapat membangun semuanya tanpa perlu izin untuk terlibat dengan vendor pihak ketiga yang mungkin memperlambat Anda.”