İş akışları

  • HealthOmics iki tür iş akışı sunar: özel iş akışları ve Ready2Run iş akışları. Özel iş akışları, en sık kullanılan iş akışı dillerinde yazılmış kendi biyoenformatik komut dosyalarınızı getirmenizi sağlayan özel iş akışlarıdır. Ready2Run iş akışları, kod yazmadan hızlı bir şekilde başlamanıza olanak tanıyan, yaygın sektör analizlerine dayanan, önceden oluşturulmuş biyoenformatik işlem hatlarıdır. 

  • HealthOmics özel iş akışları Nextflow, WDL ve CWL ile yazılabilir. Desteklenen sürüm bilgileri için belgelere göz atın.

  • HealthOmics, Broad Institute'un GATK ve AlphaFold'undan NVIDIA, Element Biosciences, Sentieon ve Ultima gibi üçüncü taraf yayıncıların iş akışlarına kadar çok çeşitli Ready2Run iş akışları sunar. Mevcut Ready2Run iş akışlarının tam listesini buradan görüntüleyebilirsiniz.

  • Evet. HealthOmics; NVIDIA NIMs, AlphaFold ve ESMfold gibi BioFMS'leri çalıştırabilir. Bir iş akışı içinde birden fazla bioFMS'yi düzenleyebilir ve uygun ölçekte ilaç keşif işlem hattının kilidini açabilirsiniz. Örneğin, bioFMS kullanan ilaç keşif iş akışları için GitHub'daki ilaç keşif iş akışları deposuna göz atın.

  • İlk özel iş akışınızı çalıştırmak için Nextflow, WDL veya CWL ile yazılmış bir iş akışı komut dosyasına ihtiyacınız vardır. Ek olarak, tüm araçlar ve bağımlılıklar büyük ölçüde container'lı hale getirilmeli ve özel bir ECR deposunda saklanmalıdır. Giriş verileri S3'te veya HealthOmics dizi deposundan sağlanabilir.

  • Özel iş akışı kaynaklarını, çalıştırma grupları ile yönetebilirsiniz. Çalıştırma grupları; çalıştırma grubuna atanan maksimum eş zamanlı çalıştırmayı, maksimum çalışma süresini, vCPU'ları ve GPU'larını kontrol etmenizi sağlar. Ek olarak HealthOmics, çalıştırma verimliliğini artırmak için kaynak tahsislerinizi optimize etmenize yardımcı olan Çalıştırma Analiz Aracı gibi doğru boyutlandırma araçları sağlar. 

  • HealthOmics özel iş akışları iki çalıştırma depolama alanı seçeneği sunar: statik çalıştırma depolama alanı ve dinamik çalıştırma depolama alanı. Statik çalıştırma depolama alanında, çalıştırmanın başlangıcında sabit boyutlu bir dosya sistemi sağlanır ve bu sistem, çalışma sırasında ara dosya depolama için görevler tarafından kullanılır. Çalıştırma tamamlandığında, çalıştırma çıktıları S3'e aktarılır ve dosya sistemi devre dışı bırakılır. Dinamik çalıştırma depolama alanı, çalışma süresi boyunca depolama gereksinimlerinize göre otomatik olarak ölçeklenir ve daha hızlı sağlama süreleri sunar. Hızlı, yinelemeli geliştirme döngüleri ve küçük, kısa çalışan işlem hatları için dinamik çalıştırma depolama alanı önerilir. Statik çalıştırma depolama alanı, büyük iş akışları için uygundur. Dinamik çalıştırma depolama alanına göre GiB başına daha yüksek dosya sistemi verimi ve GiB başına daha düşük maliyet sağlar.

  • HealthOmics iş akışları, çalışma sırasında CloudWatch'a gerçek zamanlı günlükler ve çalışma tamamlandıktan sonra ek günlükler sunar. Tanımladığınız koşullar için otomatik uyarılar oluşturmak üzere EventBridge'i kullanabilirsiniz. 

  • Evet. HealthOmics iş akışları kaynak paylaşımı özelliği kullanılarak aynı bölgedeki farklı AWS hesaplarıyla paylaşılabilir. Bir iş akışını paylaşmak için paylaşmak istediğiniz AWS hesabının hesap kimliğine ihtiyacınız vardır. Bir iş akışını paylaşmak, alıcıya bir paylaşım daveti gönderir. Alıcının paylaşılan iş akışını çalıştırabilmesi için paylaşım isteğini kabul etmesi gerekir. İş akışı sahibi, erişimi istediği zaman iptal edebilir ve alıcı, paylaşılan iş akışını değiştiremez veya silemez. 

  • S3 ve HealthOmics dizi deposundan çalıştırma girişleri olarak kullanılan dosyalara dosya tanımlama için benzersiz bir ETag atanır, özel ECR havuzunuzda depolanan container'lara benzersiz bir karma atanır ve çalıştırmaların tam tekrarlanabilirliğini sağlamak için iş akışları oluşturulduktan sonra değiştirilemez. Her çalıştırmaya; her benzersiz çalıştırmayı, çalıştırma sonuçlarını ve ilişkili günlükleri tanımlamak için kullanılabilecek küresel olarak benzersiz bir uuid atanır. Bu uuid, izlenebilirliği karşılamak ve tekrarlanabilirlik gereksinimlerini çalıştırmak için dahili laboratuvar bilgi sistemlerinize (LIMS), elektronik laboratuvar defterlerinize (ELN) veya numune yönetim sistemlerinize bağlanabilir.  

  • Müşteriler iş akışlarını ve veri depolarını birlikte veya bağımsız çözümler olarak kullanabilir. HealthOmics iş akışları S3 ve HealthOmics dizi ve referans deposu ile uyumludur. HealthOmics dizi ve referans depoları; HealthOmics iş akışları, AWS Toplu İşlem ve diğer hesaplama çözümleriyle kullanılabilir.

Veri Depoları

  • HealthOmics iki tür veri deposu sunar: nesne odaklı depolar ve sorgulanabilir depolar. Nesne odaklı depolar, referans ve dizi depolarıdır. Moleküler dosyaları uygun maliyetli bir şekilde depolamak ve düzenlemek için tasarlanmıştır. Sorgulanabilir depolar, varyant ve açıklama deposudur. Bu depolar, varyant ve açıklama verilerini sorgulama ve kohortlama için optimize edilmiş bir depoya uygun maliyetli bir şekilde dönüştürmek için tasarlanmıştır. Bu depolar birlikte FAIR (bulunabilir, erişilebilir, birlikte çalışabilir, yeniden kullanılabilir) örnek depolama, sorgulama, kohortlama ve petabayt ölçeğinde geri alma sağlamak üzere tasarlanmıştır. 

  • HealthOmics veri depoları birçok farklı şekilde tasarruf sağlar. Dizi deposu, 30 gündür erişilmeyen nesnelerin depolama maliyetini düşürmek için kullanım odaklı katmanlama ve sıkıştırma kullanır. Bu, geleneksel AWS nesne depolamasına kıyasla önemli tasarruflar sağlayabilir.

    HealthOmics varyant ve açıklama depoları, sıfır-ETL depolarıdır ve bu nedenle yalnızca depolama alanı ve sorgulama sırasında taranan veriler için ödeme yaparsınız. Tasarruf, ETL'nin maliyetini ortadan kaldırarak ve varyant ve açıklama verilerini ayırarak sağlanır, böylece ek açıklamaları değiştirmek istediğinizde varyant verilerinin çoğaltılması gerekmez. Ek olarak, varyant depoları örnek bilgilere göre bölümlendiğinden, örnek tabanlı sorgular daha az veri tarar ve bu da daha fazla maliyet tasarrufu sağlar.

  • Her veri deposu farklı veri türleri için tasarlanmıştır. HealthOmics referans depoları FASTA dosyalarını destekler. HealthOmics dizi depoları; FASTQ, uBAM, BAM ve CRAM dosyalarını destekler. Varyant depoları, VCF dosyalarından veri ayıklamayı destekler. Ek Açıklama Depoları; GFF, TSV, CSV ve VCF'den veri ayıklamayı destekler.

  • AWS HealthOmics'te depolayabileceğiniz toplam veri hacmi ve nesne sayısı neredeyse sınırsızdır. Her deponun desteklenen dosya boyutları ve sayıları için ayarlanabilir kotaları olsa da düzenli olarak bir depoda 10'larca petabayt depolayan müşteriler dosyaları gerektiği gibi eklemeye devam edebilir.

  • HealthOmics veri depoları, Amazon S3'ün bir AWS Bölgesindeki birden fazla cihazda yedekli olarak depolanan nesneleri ve Erişilebilirlik Alanlarını içeren dayanıklılığı ve esnekliği üzerine inşa edilmiştir. Dizi deposu, dosyanın içeriğinin etkinleştirme ve arşivleme döngüleri boyunca korunmasını sağlayarak nesnenin anlamsal kimliğini korur ve izler.

  • HealthOmics dizi depoları, nesneler için S3 erişim URI'si aracılığıyla veya tamamlayıcı araçlar kullanılarak çoğu analiz aracıyla doğrudan entegre edilebilir. Dizi deposunda depolanan her nesne, çoğu S3 uyumlu sistemi kullanarak okumak için kullanılabilen benzersiz bir S3 URI'sine sahiptir. Bir sistem dosya tabanlı bir arabirim gerektiriyorsa S3 için Mountpoint kullanılarak bir okuma kümesi veya dizi deposu ön eki, okuma için monte edilmiş bir dosya olarak kullanılabilir hale getirilebilir. Özelleştirmelere ihtiyaç duyulursa entegrasyonlar Amazon'un SDK'si veya HealthOmics aktarım yöneticisi kullanılarak gerçekleştirilebilir.

  • HealthOmics dizi deposu, periyodik ve sık erişilen statik moleküler verileri depolamak için tasarlanmıştır. Dizi deposu, sıkıştırma ve katmanlama özelliğine sahip olmakla birlikte, S3 üzerinde yerleşik nesne okuma ölçeklendirmesine sahiptir ve bu nedenle günlük kullanımdan yıllık kullanıma kadar çeşitli erişim sıklığı seviyelerine sahip her ölçekten veri için uygundur. Her alım yeni bir okuma kümesi oluşturur ve dizi deposu minimum 30 günlük depolama süresi için ücret alır, bu nedenle geçici, sıfırdan veya sık güncellenen dosyalar için kullanılmaz.

    Amazon S3; sık değişen dinamik dosyalar, kısa ömürlü dosyalar ve desteklenen biçimleri karşılamayan moleküler olmayan dosyalar için mükemmeldir. Amazon S3 Glacier, veri arşivleme ve uygunluk nedeniyle bakım gerektiren ancak erişim gereksinimleri çok düşük olan dosyalar için farklı depolama seçenekleri sunar.

Güvenlik ve Gizlilik