Bagaimana Paradime.io Mempercepat Jalur Data untuk Pelanggan Hingga 50% tanpa Meningkatkan Biaya Menggunakan AWS Graviton

Di era digital, tim lebih gesit dan lebih kolaboratif dari sebelumnya. Analis data sangat penting bagi setiap bisnis. Mereka adalah jembatan penting, yang mentransformasi sejumlah besar data bisnis mentah menjadi dasbor data yang relevan dan dapat digunakan—yang memungkinkan fungsi bisnis seperti pemasaran, penjualan, produk, serta layanan pelanggan untuk memastikan perusahaan mereka berjalan dengan lancar, menguntungkan, dan mempertahankan pertumbuhan.

Pada tahun 2018, pendiri Paradime, Kaustav Mitra dan Fabio Di Leta, bekerja di sebuah perusahaan investasi. Kaustav ditugaskan untuk merancang ulang platform data dari awal karena solusi perusahaan sebelumnya tidak dapat memberikan hasil yang mereka butuhkan. Saat menangani sejumlah alat berbeda yang diperlukan untuk merancang ulang platform, dia menyadari bahwa tim analitik data menghabiskan terlalu banyak waktu untuk menggabungkan berbagai aplikasi. Akibatnya, mereka tidak memiliki bandwidth untuk melakukan pekerjaan yang penting dan berdampak.

Kaustav menyadari, “Karena fragmentasi dalam rantai alat analitik data, orang selalu berusaha keras hanya untuk menyelesaikan pekerjaan mereka sehari-hari. Bagaimana kita bisa menyatukan orang dan data agar mereka dapat menyelesaikan pekerjaan mereka dengan lebih cepat? Bagaimana kita bisa memiliki platform kerja yang lancar bagi orang analitik data?”

Kaustav sudah familier dengan AWS dan sangat terinspirasi oleh cara AWS yang dibangun berdasarkan pengetahuan yaitu integrasi yang lancar dan kolaborasi yang mudah sangat penting untuk menyelesaikan berbagai hal—serta lebih cepat, lebih efisien, dan dengan lebih sedikit stres.

Kaustav menjelaskan, “Paradime adalah sistem operasi kami yang membawa perubahan besar bagi analis data, seperti AWS, yang menyatukan banyak alat di satu tempat. Pola pikir yang serupa ini adalah alasan utama mengapa AWS menjadi platform cloud pilihan Paradime, sejak hari pertama—terutama jika dipadukan dengan performa 4x dan penghematan biaya prosesor AWS Graviton.”

Konsep yang lahir dari kebutuhan nyata

Dari kebutuhan mendesak ini, Kaustav & Fabio menghabiskan tahun 2020 untuk mengonseptualisasikan ide mereka. Kemudian pada tahun 2021 selama pandemi, Paradime dengan pendanaan tahap awal diluncurkan bersama tim yang terdiri dari empat orang—dan baris kode pertama ditulis di AWS.

Filosofi Paradime juga selaras dengan AWS. Untuk memastikan mereka mengutamakan kebutuhan analis data, mereka mengadopsi pendekatan "bekerja mundur dari pelanggan"—yang mencerminkan mekanisme "bekerja mundur" AWS yang tidak dimulai dengan teknologi, tetapi dengan kebutuhan pelanggan, yang memastikan pelanggan selalu berada di jantung dari setiap produk atau layanan baru. Kaustav menjelaskan, "Peralatan perlu beradaptasi dengan kebutuhan dan pekerjaan analis data sehari-hari, alih-alih analis data harus menyesuaikan pekerjaan mereka dengan peralatan."

Sejak awal, Paradime berusaha menjadi inovator yang bergerak paling cepat di pasar analitik data, dan itu berarti mendengarkan dan mengambil tindakan. "Jika Anda mendengarkan pelanggan Anda setiap hari, Anda dapat membuat mereka terkesan lebih cepat, serta meningkatkan kematangan platform dalam lonjakan. Kami membantu tim analis data menyelesaikan pekerjaan mereka lebih cepat daripada perangkat lunak lain di luar sana," kata Kaustav.

Masalah yang diciptakan oleh pertumbuhan data bisnis yang cepat

Paradime menggambarkan dirinya sebagai platform dbt™ yang didukung AI untuk tim analitik. Data Build Tool, atau dbt, adalah solusi untuk pertumbuhan data yang cepat dalam bisnis saat ini.

Sejak tahun 1970-an, kode SQL telah menjadi bahasa pemrograman analitik data, yang digunakan untuk mengajukan pertanyaan basis data, jadi kode SQL dapat memberikan jawaban yang dibutuhkan oleh analis. Namun, dengan pertumbuhan pesat dalam jumlah data yang dibutuhkan untuk beroperasi secara kompetitif—penulisan, manajemen perubahan, dan pengujian SQL telah menjadi jauh lebih rumit dan memakan waktu. Sejak tahun 2016, dbt telah menjadi alat pilihan untuk membantu memecahkan masalah ini, yang memungkinkan kode SQL yang dapat diskalakan dan dapat diaudit untuk mudah dibangun, dijalankan, diuji, serta dikelola dari waktu ke waktu seiring dengan perkembangan bisnis. Namun, seperti yang diketahui oleh tim Paradime, dbt hanyalah salah satu bagian dari berbagai tugas analis data.

Jembatan antara penyimpanan data dan wawasan bisnis

Analis data bekerja di banyak tim, mulai dari rekayasawan data yang menguasai perangkat lunak, hingga fungsi bisnis yang tidak menguasai perangkat lunak seperti pemasaran, penjualan, produk, dan layanan pelanggan. Akibatnya, mereka perlu menggunakan sistem di seluruh proses end-to-end, yang menjadikan dbt adalah bagian penting, tetapi tunggal. Kaustav mengatakan, “Apa yang mereka butuhkan adalah ruang kerja yang menangani seluruh tanggung jawab end-to-end mereka di satu tempat—Paradime adalah ruang kerja itu, dan hal itulah yang membuat Paradime lebih unggul dari pesaing lain yang mengkhususkan terutama dalam dbt.”

Masih banyak lagi yang perlu dibahas oleh analis data. Misalnya, Paradime membantu para pemimpin data memahami seberapa cepat atau lambat jalur data mereka bekerja, berapa banyak uang yang dihabiskan oleh tim mereka, dan berapa banyak waktu yang mereka habiskan untuk melakukan pekerjaan sehari-hari mereka. Kaustav menjelaskan, “Karena Paradime memiliki hal ini dalam jangkauan yang mudah, semuanya berada di satu tempat, tim analitik data bisa menjadi 50 hingga 83 persen lebih produktif daripada menggunakan sistem terfragmentasi yang di-patch bersama dengan alat siap pakai, atau dibangun secara internal.”

AWS adalah kekuatan pendorong performa Paradime

Bagi analis data, kecepatan itu penting. Organisasi sangat bergantung pada wawasan data—dan sebagai bagian dari janji Paradime untuk membuat pekerjaan analis data tidak terlalu menegangkan, Paradime selalu mencari cara untuk mempercepat layanan mereka sekaligus menjaga biaya tetap rendah. Saat itulah mereka beralih ke Prosesor AWS Graviton.

Kaustav menjelaskan, “Kerangka kerja orkestrasi Bolt dan CI/CD Paradime memungkinkan analis data menjalankan perintah dbt secara otomatis pada jadwal yang lancar. Kami ingin membuatnya lebih cepat, sekaligus mempertahankannya pada titik harga yang sama untuk pelanggan kami. Saya melihat keluarga prosesor AWS EC2 dan menemukan AWS Graviton yang menawarkan peningkatan kecepatan yang sangat besar untuk titik harga yang sama dengan prosesor x86 kami saat ini.”

Maximilian Mitchell, Software Engineer di Paradime, melanjutkan, “Sulit untuk tidak pindah ke AWS Graviton setelah kami melakukan penelitian, karena ada begitu banyak manfaat. Dalam beberapa kasus, kami telah mempercepat jalur data pelanggan kami di Bolt sebesar 30 hingga 50 persen, dengan waktu aktif lebih dari 99,999 persen. Hal ini penting bagi pelanggan kami dalam layanan vital seperti layanan kesehatan dan perbankan. Hal terpenting, kami dapat menjalankan tugas pada frekuensi yang sangat tinggi untuk memastikan jalur data selalu terkini—agar semuanya berjalan secara efektif pada waktu nyata!”

“Kami juga dapat membantu pelanggan kami menjalankan tidak hanya dbt, tetapi hal-hal lain seperti kualitas data dan pengujian anomali data, yang berarti mereka dapat mengirimkan data tepercaya kepada para pemangku kepentingan mereka,” tambah Max.

AWS Graviton telah menjadi solusi yang menguntungkan bagi Paradime dan pelanggannya

Paradime juga mengalami bahwa bermigrasi ke AWS Graviton berarti penghematan biaya yang besar, yang memungkinkan mereka memberikan performa yang unggul kepada pelanggan mereka tanpa mengeluarkan biaya yang lebih besar. “Sebelum AWS Graviton, kami bisa menggunakan setiap simpul hingga sekitar 50 atau 60 persen. Sekarang, kami dapat menggunakan hingga tingkat yang jauh lebih tinggi, sekitar 85 persen, yang berarti kami hanya perlu membuat sekitar 40 persen lebih sedikit simpul. Sekarang, kami mendapatkan tingkat performa yang sama menggunakan sumber daya yang lebih sedikit, yang menghasilkan biaya yang lebih rendah,” jelas Max.

Keuntungannya berlanjut, “Karena kami dapat menjalankan klaster dengan penggunaan yang jauh lebih tinggi, kami dapat mengintegrasikan 40 persen lebih banyak pelanggan dengan biaya yang sama seperti sebelum AWS Graviton. Sekarang, kami dapat memberikan nilai tersebut kepada pelanggan dengan harga yang sangat kompetitif dibandingkan dengan pesaing kami,” tambah Kaustav.

“Hal ini berarti kami tidak harus memaksa pelanggan ke tingkat korporasi, yang memungkinkan kami untuk meningkatkan akuisisi dan adopsi pelanggan. Kami juga dapat memberikan nilai yang lebih tinggi tanpa harga yang lebih tinggi, yang berarti investor kami senang,” jelasnya.

Bermigrasi ke AWS Graviton dengan cara AWS

Paradime telah menggunakan AWS sejak hari pertama, tetapi kualitas pengalamannya masih mengejutkan mereka. “Sejak awal berdiri, kami selalu memiliki manajer akun, meskipun kami adalah ikan terkecil di kolam. Kami selalu mendapat perhatian yang sama terlepas dari ukuran perusahaan kami. Misalnya, untuk migrasi kami ke Graviton, mereka sangat proaktif, memastikan kami mendapat undangan ke acara breakfast AWS Graviton mereka,” jelas Max.

Dia melanjutkan, “Saya bukan seorang rekayasawan DevOps sejati, saya lebih ke rekayasawan backend—tetapi saya mendapat kesempatan untuk bergaul dengan para ahli yang memberi saya saran brilian tentang cara melakukan deployment AWS Graviton, misalnya untuk tidak sepenuhnya menonaktifkan pembangunan x86, dan sebagai gantinya membangun untuk dua arsitektur, agar kami bisa lebih fleksibel saat merilis. Hal ini pada gilirannya membantu kami mengeluarkan beban kerja ARM pertama dalam waktu seminggu, dan tanpa menyebabkan waktu henti.”

“Karena aplikasi kami awalnya dikembangkan secara lokal di ARM Apple MacBook (M-seri), hal ini memungkinkan kami melakukan kompilasi aplikasi untuk arsitektur ARM AWS Graviton, karena aplikasi tersebut sudah kompatibel. Hal ini memudahkan kami untuk bermigrasi ke Graviton. Selama periode satu bulan, kami menjalankan metode silang antara sistem lama dan baru, yang berarti tidak ada waktu henti bagi pelanggan kami, serta kami tidak perlu melakukan perubahan kode apa pun di pihak kami,” tambah Max.

Performa 4x—yang memungkinkan produktivitas lebih banyak, ketangkasan yang lebih besar, dan keputusan yang lebih cepat

Performa 4x dengan AWS Graviton merupakan statistik yang mengesankan, tetapi apa manfaatnya bagi pelanggan Paradime selain kecepatan semata? Kaustav menjelaskan, “Hal ini secara langsung diterjemahkan menjadi tiga hal; nomor satu adalah produktivitas, sesuatu yang sebelumnya Anda memerlukan waktu empat menit untuk melakukan, sekarang dapat dilakukan dalam waktu satu menit. Nomor dua adalah ketangkasan, tim dapat melakukan pekerjaan yang lebih berharga dengan sumber daya yang lebih sedikit, dan dengan demikian mampu merespons perubahan bisnis lebih cepat. Nomor tiga adalah pengambilan keputusan, tim mampu memberikan wawasan bisnis kepada pengguna akhir mereka dengan cara yang lebih tepat waktu, jadi mereka dapat bertindak lebih cepat.”

Kaustav melanjutkan, “Sebagai contoh, salah satu klien kami biasa mendapatkan 60 hingga 80 spreadsheet dari berbagai unit bisnis yang berbeda, dan setiap spreadsheet akan memerlukan waktu 20 menit untuk diserap. Seiring dengan pelaporan performa keuangan terkonsolidasi pada akhir bulan, seluruh proses ini akan memerlukan waktu sekitar satu minggu. Menggunakan Paradime, semuanya memerlukan waktu sekitar 20 menit.”

Apa selanjutnya untuk Paradime?

“Visi kami untuk Paradime adalah menjadi dikenal secara global sebagai sistem operasi untuk analitik,” seru Kaustav. “Jadi, ketika orang berpikir tentang analitik data, mereka akan ingat Paradime, karena menggunakan Paradime tidak memerlukan upaya untuk mengaturnya dan ia langsung berfungsi.”

Untuk mencapai tujuan ini, Paradime berfokus pada peningkatan semua aspek layanannya. Misalnya, setelah bermigrasi ke AWS Graviton, mereka telah meningkatkan laju deployment mereka sebesar 40 hingga 50 persen, jadi sekarang mereka dapat merilis pembaruan lebih sering. Hal ini berarti mereka dapat menambahkan fitur dan merespons permintaan pelanggan hingga dua sampai tiga kali seminggu—yang jauh lebih cepat dari sebelumnya.

“Kami tahu AWS terus merilis layanan dan fitur yang lebih baru, dan kami selalu berupaya memanfaatkan layanan AWS baru untuk menyediakan platform yang sangat mudah bagi pelanggan kami. Kami memiliki arsitektur yang stabil saat ini, tetapi dengan AWS kami terus mencari performa ekstra itu, serta mereka mendukung kami dalam melibatkan dan menjual ke berbagai korporasi, dan menskalakan proses kami agar kami dapat bekerja dengan korporasi besar di seluruh dunia,” jelas Kaustav.

AWS secara aktif mendukung perusahaan yang ingin bermigrasi ke AWS Graviton, dengan alat seperti AWS Compute Optimizer, dan Graviton Mulai Cepat—sebuah program untuk membantu memindahkan beban kerja ke AWS Graviton. Pelajari cara memulai perjalanan migrasi AWS Graviton Anda. Cari tahu caranya.