Ancestry Mempercepat Wawasan Data Genomika Menggunakan Amazon EFS

Ancestry® adalah pemimpin global terkait penemuan riwayat keluarga dan genomika konsumen, menggunakan silsilah keluarga, catatan historis, dan DNA untuk membantu orang-orang mencari informasi pribadi mereka. Terdapat 18 juta lebih orang yang masuk dalam jaringan DNA konsumen Ancestry. AncestryDNA® menggunakan ilmu genomika canggih untuk membantu anggota mengungkapkan detail baru mengenai sejarah keluarga mereka dengan memberikan berbagai cara untuk mengeksplorasi kecocokan DNA mereka, menghubungkan ke wilayah yang lebih tepat, dan mendapatkan wawasan mengenai informasi kesehatan genetik serta sifat pribadi.

Tim AncestryDNA berisi banyak ilmuwan, termasuk ahli genetika populasi, ahli biologi komputasi, ahli statistik, ahli epidemiologi, ilmuwan data genomika, dan ahli bioinformatika yang mengembangkan algoritma untuk menganalisis data genetik dan lainnya yang mewakili beberapa terabita penyimpanan. Tim sebelumnya mengelola sendiri klaster Network Attached Storage (NAS) yang diskalakan ke luar secara on-premise, tetapi mereka tidak memiliki kemampuan untuk menskalakan penyimpanan dan menghitung sumber daya dengan cepat tanpa pemantauan, penyediaan, serta perencanaan lanjutan guna mengantisipasi persyaratan di masa mendatang. “Data kami terus berkembang, dan salah satu tantangan kami adalah cara menskalakan seiring pertumbuhan jaringan genetik kami,” kata Dr. Eurie Hong, PhD, wakil presiden genomika (vice president of genomics) di AncestryDNA. “Kami ingin memperluas kapasitas komputasi untuk memenuhi ukuran set data yang meningkat dua kali lipat untuk analisis.”

Tim sains AncestryDNA juga membutuhkan lebih banyak elastisitas untuk mendukung beban kerja yang tidak dapat diprediksi. “Alur kerja kami bisa saja meningkat tajam, dan anggaran menjadi sulit untuk dialokasikan saat kami tidak dapat memprediksi berapa banyak disk dan komputasi yang kami perlukan untuk tahun ini,” kata Dr. Asher Baltzell, PhD, manajer bioinformatika (bioinformatics manager) di Ancestry.

Tim sains AncestryDNA memutuskan untuk beralih ke Amazon Web Services (AWS). “Perusahaan kami secara keseluruhan telah mulai beralih ke AWS, dan kami tertarik pada skalabilitas serta fleksibilitas cloud,” kata Baltzell.

Tim menggunakan Amazon Elastic Compute Cloud (Amazon EC2) untuk komputasi sesuai permintaan dan Amazon Elastic File System (Amazon EFS)—sebuah Sistem File Jaringan (NFS) elastis yang dapat diskalakan, terkelola penuh, serta elastis—sebagai sistem file data bersama. “Para ilmuwan biasa bekerja dengan server file tradisional, jadi kami tahu bahwa kami menginginkan sesuatu yang mirip dengan yang pernah digunakan peneliti kami sebelumnya,” kata Hong. “Dengan Amazon EFS, kami tidak perlu mengkhawatirkan implementasi atau manajemen berkelanjutan, karena Amazon EFS memberikan skalabilitas dan elastisitas untuk mengatasi perubahan beban kerja kami.” AncestryDNA juga mengandalkan Amazon Simple Storage Service (Amazon S3).

Tim sains AncestryDNA mampu menyelesaikan migrasi lebih cepat dari jadwal, tanpa berdampak pada jadwal proyek atau gangguan terhadap produktivitas tim ilmu data.

Ancestry sekarang dapat melakukan penelitian yang selaras dengan Proyek Keanekaragaman Manusia Ancestry tanpa harus menghawatirkan batas penyimpanan data. “Dengan Amazon EFS, kami tidak perlu mengkhawatirkan beban kerja penelitian penskalaan—sistem tersebut dapat berkembang secara otomatis untuk memenuhi kebutuhan peneliti kami, terlepas dari persyaratan komputasi dan penyimpanannya,” kata Hong.

Selain itu, karena Amazon EFS adalah sistem file cloud yang terkelola penuh, AncestryDNA menghindari kebutuhan untuk membangun dan mengelola server NFS sendiri. “Kami tidak ingin menghabiskan waktu dan uang kami untuk membuat dan mengelola sistem file kami sendiri. Kami ingin fokus pada penelitian ini,” kata Hong. “Kami bisa melakukannya dengan menggunakan Amazon EFS.”

Ancestry sekarang memiliki elastisitas yang dibutuhkan saat harus mengelola kenaikan atau penurunan beban kerja yang tidak dapat diprediksi. “Elastisitas dan fleksibilitas yang kami dapatkan dengan Amazon EFS sangat besar bagi kami,” kata Baltzell. Selain itu, dengan Amazon EC2, tim dapat mengoptimalkan biaya. “Para peneliti dapat menggunakan lebih banyak sumber daya pada satu waktu, dan tidak membayar sumber daya yang tidak digunakan. Daripada menjalankan 10 server sepanjang waktu, kami dapat menjalankan 100 server hanya pada waktu yang dibutuhkan. Sehingga kami juga dapat lebih mudah memprediksi dan mengelola biaya.”

Amazon EFS menyediakan lingkungan yang sesuai dengan sistem on-premise sebelumnya dari Ancestry, memberikan proyek bersama dan folder pribadi kepada ilmuwan data. Semuanya dapat dipasang dari notebook analisis ilmu data Jupyter dan RStudio mereka demi kemudahan dalam manajemen tugas. Selain itu, penempatan ilmuwan baru dapat dengan mudah dilakukan karena lingkungan cloud tempat mereka bekerja menggunakan metode yang sama untuk mengakses dan menyimpan data yang biasa mereka gunakan. Karena mereka memiliki sistem file yang familier, para ilmuwan dapat menggunakan layanan AWS yang berdekatan yang berpotensi membantu mempercepat laju inovasi mereka, alih-alih menghabiskan waktu untuk mempelajari cara melakukan komputasi dan analisis. Ilmuwan tim juga menggunakan Amazon EMR untuk mendukung penelitian yang mengandalkan kerangka big data Hadoop.

Ilmuwan AncestryDNA sekarang dapat lebih fokus pada inovasi. “Dengan AWS, kami dapat menghabiskan lebih banyak waktu untuk mengidentifikasi cara baru dalam membantu pelanggan menemukan sejarah keluarga mereka yang unik,” kata Hong. “Kami akan terus mencoba menemukan metode yang membantu pelanggan kami untuk lebih memahami keluarga mereka dan mencari tahu bagaimana genetika mereka dapat memberi informasi mengenai kesehatan mereka di masa mendatang.”