MiQ Membangun Solusi Grafik Identitas Tanpa Cookie di AWS, yang Menyatukan 3–6 TB Data Setiap Hari

Grafik identitas yang digunakan untuk menyatukan data konsumen dari berbagai sumber ke dalam profil audiens adalah beban kerja penting dalam periklanan yang memandu penargetan, personalisasi, dan pengukuran iklan. Biasanya, cookie pihak ketiga adalah kunci untuk memetakan profil ini bersama-sama, tetapi perusahaan solusi media terprogram, MiQ, memutuskan untuk membangun solusi yang lebih berkelanjutan bagi para kliennya yang lebih sesuai untuk dunia yang mengutamakan privasi yang berkembang. Perusahaan menciptakan MiQ Identity Spine, solusi grafik audiens eksklusif yang berjalan di Amazon Web Services (AWS), untuk memberikan wawasan omnichannel yang tidak bergantung pada cookie pihak ketiga.

Menganalisis set data yang sangat besar mendekati waktu nyata membutuhkan daya komputasi big data yang luar biasa besar, itulah sebabnya MiQ beralih ke AWS untuk meningkatkan lingkungan operasinya. Menggunakan AWS, MiQ mengurangi waktu pemrosesan alur dan mengurangi biaya terkait. Sekarang, MiQ dapat memberikan wawasan yang terhubung di beberapa saluran dengan kecepatan perubahan dan diposisikan dengan baik untuk beradaptasi dengan peraturan pasar yang berkembang.

MiQ, partner media terprogram untuk merek dan agensi, menggunakan sinyal identitas yang dikumpulkan di berbagai saluran dan aplikasi pemasaran untuk menciptakan sumber referensi identitas terpadu untuk kliennya. Pelanggannya kemudian dapat menggunakan pengidentifikasi ini di lingkungan terprogram untuk mencocokkan peluang iklan dengan segmen audiens potensial dan menganalisis performa kampanye. Seiring meningkatnya permintaan untuk wawasan yang lebih kompleks tentang pelanggan, tim analis MiQ harus menghabiskan lebih banyak waktu untuk menggabungkan set data di seluruh sistem operasi dan platform wilayah. Setelah undang-undang privasi data dan penghentian cookie mulai dipercepat di seluruh industri, perusahaan memutuskan untuk beralih ke sistem komputasi cloud terpadu untuk mengelola kompleksitas baru dari pengidentifikasi yang dapat dipertahankan pada masa mendatang.

Untuk mengatasi tantangan ini, MiQ memutuskan untuk menggabungkan berbagai platform komputasi untuk menciptakan ruang terpadu untuk menganalisis profil konsumen di beberapa set data. Perusahaan menciptakan MiQ Identity Spine, sebuah grafik identitas yang menggunakan sinyal di beberapa saluran untuk menciptakan sumber referensi terpadu yang dapat digunakan bisnis untuk wawasan dan aktivasi. Skema MiQ Identity Spine memetakan delapan titik data berbeda untuk setiap profil, termasuk nilai dan jenis identitas serta data geolokasi lebih dari 150 set data unik. “Hal ini mengurangi ketergantungan kami pada satu set data identitas karena kami menggabungkan semua sinyal identitas yang berbeda ke dalam satu profil,” kata Georgiana Haig, product lead for identity and future proofing di MiQ. “Hal ini juga meningkatkan akurasi pemetaan.”

Data yang diserap untuk MiQ Identity Spine adalah sekitar 150–200 GB per hari untuk masing-masing dari enam set data inti yang membentuk MiQ Identity Spine. Secara keseluruhan, perusahaan memproses antara 3–6 TB data setiap hari. Namun, memproses jumlah data yang meningkat ini berarti biaya dan waktu implementasi meningkat secara substansial. MiQ menyadari adanya peluang untuk mengoptimalkan alurnya menggunakan AWS. “Kami telah menggunakan AWS di organisasi kami selama bertahun-tahun, dan banyak dari beban kerja kami sudah didukung oleh layanan AWS,” kata Bikash Singh, data engineering lead di MiQ.

Jumlah profil yang bekerja dengan MiQ berbeda-beda dari minggu ke minggu karena MiQ Identity Spine dihitung ulang setiap minggunya. Rata-rata, perusahaan mengelola 108 juta profil individu dan 79 juta profil rumah tangga. “Alur yang menggerakkan MiQ Identity Spine membutuhkan penggabungan data yang sangat besar untuk dilakukan di belakang layar,” kata Singh. “Untuk melakukan hal ini, kita membutuhkan kapasitas pemrosesan yang besar.” Sejak MiQ Identity Spine menggunakan mesin analitik Apache Spark, MiQ mulai menggunakan Amazon EMR, solusi big data cloud untuk menjalankan tugas pemrosesan data terdistribusi skala besar, kueri SQL interaktif, dan aplikasi machine learning menggunakan kerangka kerja analitik sumber terbuka, seperti Apache Spark, Apache Hive, dan Presto. “Amazon EMR menampung infrastruktur kecerdasan bisnis canggih kami sepenuhnya,” kata Singh. MiQ ditingkatkan ke versi terbaru Apache Spark di Amazon EMR dan menggunakan implementasi kueri adaptif untuk mencapai penurunan waktu pemrosesan sebanyak 66 persen.

Untuk menyediakan daya komputasi untuk alur, MiQ memilih Amazon Elastic Compute Cloud (Amazon EC2), yang menawarkan kapasitas komputasi yang aman dan dapat diubah ukurannya untuk hampir semua beban kerja. “Komponen alur data kami meliputi klaster big data, layanan mikro, dan basis data yang semuanya menggunakan Amazon EC2 di belakang layar,” kata Singh. MiQ juga menggunakan Databricks, solusi pemrosesan big data sumber terbuka dan Partner AWS, untuk menjalankan berbagai alur data. “Databricks meluncurkan klaster yang menggunakan instans Amazon EC2, dan semua komunikasi dan sumber daya yang dibutuhkan Databricks ditenagai oleh AWS,” kata Singh. “Mengelola peran identitiy and access management, menggunakan Amazon EC2, menggunakan penyimpanan, semuanya dapat dilakukan dengan Databricks.”

Menggunakan Amazon EC2, MiQ dapat memanfaatkan prosesor AWS Graviton, yang didesain oleh AWS untuk memberikan performa harga terbaik untuk beban kerja cloud yang berjalan di Amazon EC2. “Kami telah terjebak dalam fase di mana biaya untuk menjalankan alur MiQ Identity Spine menjadi sangat tinggi,” kata Singh. “Menggunakan prosesor AWS Graviton membantu kami mencapai daya komputasi yang sama dengan cara yang jauh lebih hemat biaya.” Perusahaan ini berhasil mengurangi biaya pemrosesan data bulanan untuk alur sekitar 40 persen. “Menggunakan AWS telah sangat membantu kami dalam menurunkan biaya pemrosesan alur data kami,” kata Singh.

Menggunakan Databricks dan AWS membantu MiQ menghemat biaya pemrosesan data dan runtime sebesar 50 persen. Total waktu pemrosesan untuk solusi yang digunakan biasanya berkisar antara 3–4 jam, tetapi MiQ telah mengurangi waktu tersebut menjadi kurang dari 1 jam. Selain itu, menggunakan MiQ Identity Spine, MiQ telah menghemat waktu analis sekitar 1 tahun per tahun. “Dengan Databricks di AWS, kami mendapatkan deployment infrastruktur kami yang tepat,” kata Singh. “Dan menggunakan layanan AWS, seperti Amazon EMR dan Amazon EC2, kami mendapatkan sumber daya yang dibutuhkan untuk menjalankan biaya alur data secara efektif dan dengan performa tinggi. Penggunaan keduanya secara bersamaan telah terbukti menjadi infrastruktur yang lebih baik dan sangat optimal untuk alur data kami.”

MiQ berharap dapat terus menemukan cara-cara baru untuk meningkatkan sumber daya secara berkelanjutan dan berharap dapat menggunakan layanan AWS sebagai bagian dari modernisasinya. “Ini benar-benar menjadi pengalaman belajar bagi kami,” kata Singh. “Ini membuka pemikiran kami dan membuka pola pikir kami untuk menggunakan layanan terkelola lainnya dari AWS.” Tujuan MiQ adalah untuk menghubungkan lebih banyak pengidentifikasi yang dapat dipertahankan pada masa mendatang menggunakan MiQ Identity Spine. “Memperluas melampaui data tingkat pengguna akan melibatkan lebih banyak set data dan lebih banyak gabungan,” kata Haig. Dengan meng-host alur di AWS, MiQ merasa yakin bahwa mereka telah siap untuk menghadapi tantangan pada masa mendatang. “Sebagian besar dari apa yang kami lakukan dibangun di AWS,” kata Haig. “Ini sangat penting bagi infrastruktur kami dan untuk mencapai tujuan kami.”