Elevenia Menerapkan Budaya Data-Driven dengan Platform AWS Analytics

Hingga tahun 2016, Elevenia telah menjalankan semua operasi dan beberapa analisisnya menggunakan server Oracle. "Karena operasional dan BI berbagi sumber daya server, analis harus konservatif dalam mengeksekusi permintaan, terutama untuk analisis mendalam," kata Rangga Sobiran, kepala arsitektur data dan BI di Elevenia. "Latensi yang tinggi menyebabkan keterlambatan dalam menjawab permintaan, dan kami juga harus menghindari downtime di bisnis inti."

Untuk membangun data warehouse — dan, selanjutnya, sebuah data lake — Rangga memutuskan untuk mengambil keuntungan dari Amazon Simple Storage Service (Amazon S3), Amazon S3 Glacier dan Amazon Redshift. “Dengan menggunakan Amazon Redshift, kami bisa menyimpan data yang tidak terstruktur seperti JavaScript Object Notation [JSON], dan sebagian besar data-event dalam format JSON. Kami pun bisa menyimpan semuanya di Amazon S3, menjalankan SQL pada data yang tersimpan di Amazon S3 tersebut dan melakukan pekerjaan analisis yang tidak mungkin dilakukan di Oracle,” kata Rangga. Dengan Amazon S3, tim Elevenia sekarang memiliki penyimpanan yang terjangkau dengan pengadaan yang siap segera, sebuah kemajuan besar atas model on-premises. Uptime pun telah dipenuhi secara konsisten atau telah melampaui target 95 persen.

“Sekarang kami memiliki fleksibilitas akan bagaimana kami ingin mencapai transformasi dalam data warehouse kami,” kata Rangga. “Dengan AWS Cloud, kami juga bisa membangun model analisis yang lebih kompleks dan berskala. Karena Amazon Redshift dibuat untuk jenis permintaan analisis, kinerjanya pun lebih baik dari yang pernah kami pakai sebelumnya. "Tim kami juga mendapat manfaat dari kemudahan interface dengan layanan AWS lainnya seperti Amazon Kinesis, yang biasa digunakan untuk arsitektur clickstream.

Diagram di bawah ini mengilustrasikan infrastruktur AWS untuk pipeline clickstream di Elevenia:

Tidak lama setelah membentuk tim manajemen data dan infrastruktur, Rangga pun melakukan tes. Elevenia telah membayar software as a service (SaaS) untuk menjalankan sistem rekomendasi di situs belanjanya. Karena tim baru mereka memiliki pengalaman terbatas menggunakan bahasa pemograman Python, mereka pun memutuskan untuk mencoba membangun mesin sendiri untuk membandingkan biaya dan performa. Dengan AWS Cloud yang memfasilitasi eksperimen, anggota tim pun bersemangat untuk mencoba hal-hal baru.

“Cukup sulit bagi kami untuk melakukan semuanya dengan benar di tahap awal, sehingga terjadi banyak trial dan error. Sistem ini bekerja sangat baik di cloud karena kami bisa membuat bukti konsep dan menjalankannya selama dua minggu, dan jika tidak berhasil, kami pun bisa mencetuskan ide baru dan mencoba lagi,” kata Rangga.

Untuk menyederhanakan proses penyebaran untuk mesin rekomendasi baru, tim kami membangun kontainer Docker menggunakan Amazon Elastic Container Service (Amazon ECS). “Dalam jangka panjang, kami merasa bahwa kontainer akan memudahkan kami untuk menyebarkan mesin ke manapun, bahkan dalam skala besar,” kata Rangga. Para engineer kami menggunakan Amazon Fargate dengan Amazon ECS untuk mengotomatisasi penyebaran layanan kontainer, termasuk untuk klaster pada mesin virtual. “Kami benar-benar menyukai konsep tanpa server ini karena membutuhkan pemeliharaan operasional yang minimal,” tambahnya.

Setelah mengembangkan mesin rekomendasinya, Elevenia membandingkan tingkat klik dari sistem buatannya dengan sistem yang disediakan oleh vendor SaaS. Meskipun persentase klik dan persentase konversi meningkat hanya 0,1 persen dengan model buatan sendiri, Elevenia mampu menghemat $ 5.000 untuk biaya bulanan dari menggunakan vendor SaaS. " Hal ini sangat penting bagi kami, karena pada dasarnya kami membayar jauh lebih sedikit tetapi mendapatkan hasil yang sama," kata Rangga.

Perusahaan ini juga telah mencatat penghematan yang subtansial dengan menghentikan langganannya pada Google Analytics Premium untuk melacak data secara real-time. Sebagai gantinya, Elevenia telah mengadopsi teknologi open-source Snowplow, yang dikonfigurasi untuk dijalankan pada Amazon Kinesis. Dengan Amazon Kinesis dan penyimpanan Amazon S3 yang mendukung pipeline Snowplow clickstream, Elevenia sekarang membayar kurang dari dua persen per bulan dibandingkan dengan apa yang mereka bayarkan untuk Google Analytics. Hal ini menghasilkan total penghematan biaya bulanan menjadi hampir $ 20.000 dengan AWS Cloud dan produk-produk open-source.

Dengan mesin rekomendasinya dan platform analitik, tim data Elevenia berfokus pada peningkatan kualitas produk. Mereka sedang membangun model machine-learning (ML) menggunakan Amazon SageMaker dan Amazon Rekognition untuk menilai kualitas gambar yang diunggah oleh vendor di situs belanja Elevenia. Penjual sering mengunggah gambar beresolusi rendah atau yang memiliki watermark dari pasar online yang sedang bersaing ini. Saat selesai, model ML akan menilai setiap gambar dan memberitahu penjual jika gambar berkualitas buruk.

Elevenia mentransformasi bisnisnya dengan platform analisis, baik dari segi biaya maupun sumber daya manusianya. “Menggunakan AWS Cloud memudahkan tim saya untuk memperluas keahlian mereka,” jelas Rangga. “Bagi mereka dengan latar belakang data warehouse tradisional, coding bisa jadi menakutkan. Tetapi dengan AWS Cloud, kami bisa menghemat banyak waktu dan menghilangkan kebutuhan untuk mempelajari semuanya dari awal. "

Tim data kami juga memberikan respon yang positif, yang termotivasi untuk menjelajahi fitur-fitur baru di AWS dan belajar melalui video dan dokumentasi online. “Sebuah perjalanan yang sangat menarik,” Rangga menyimpulkan. "Kami terus-menerus memiliki cara baru untuk bereksperimen dan ini sangat menyenangkan."