ETL ve ELT Arasındaki Fark Nedir?
Ayıkla, dönüştür ve yükle (ETL) ile ayıkla, yükle ve dönüştür (ELT), analizlerde kullanılan iki veri işleme yaklaşımıdır. Büyük kuruluşlar, operasyonlarının her alanında uygulamalar, sensörler, BT altyapısı ve üçüncü taraf çözüm ortakları gibi yüzlerce (hatta binlerce) veri kaynağına sahiptir. Söz konusu kuruluşlar bu büyük veri hacmini analiz ve iş zekâsı için yararlı hâle getirmek amacıyla filtrelemek, sıralamak ve temizlemek zorundadır. ETL yaklaşımı, çeşitli kaynaklardan gelen verileri işlemek için merkezî entegrasyondan önce bir dizi iş kuralı kullanır. ELT yaklaşımı verileri olduğu gibi yükler ve hem kullanım durumuna hem de analiz gereksinimlerine bağlı olarak sonraki bir aşamada dönüştürür. ETL süreci başlangıçta daha çok tanımlama gerektirir. Hedef veri türlerinin, yapıların ve ilişkilerin tanımlanması için analizler sürece en başından dâhil edilmelidir. Veri bilimciler, ETL'yi genelde eski veri tabanlarını veri ambarına yüklemek için kullanırken günümüzde ELT bir norm hâline gelmiştir.
ETL ile ELT arasındaki benzerlikler nelerdir?
Hem ayıklama, dönüştürme ve yükleme (ETL) hem de ayıklama, yükleme ve dönüştürme (ELT), verileri daha ileri analizler için hazırlayan işlem dizileridir. Üç adımda analiz için verileri yakalar, işler ve yüklerler.
Ayıklama
Ayıklama, hem ETL hem de ELT'nin ilk adımıdır. Bu adım, farklı kaynaklardan ham veri toplamakla ilgilidir. Bunlar veri tabanları, dosyalar, hizmet olarak yazılım (SaaS) uygulamaları, Nesnelerin İnterneti (IoT) sensörleri veya uygulama olayları olabilir. Bu aşamada yarı yapılandırılmış, yapılandırılmış veya yapılandırılmamış veriler toplayabilirsiniz.
Dönüştürme
Dönüştürme, ETL işleminde ikinci adımdır ve ELT'de ise üçüncü adımdır. Bu adım, ham verileri orijinal yapısından, verileri analiz için depolamayı planladığınız hedef sistemin gereksinimlerini karşılayan bir biçime dönüştürmeye odaklanır. Aşağıda birkaç dönüştürme örneği verilmiştir:
- Veri türlerinin veya biçimlerinin değiştirilmesi
- Tutarsız veya yanlış verilerin kaldırılması.
- Veri çoğaltmayı kaldırma.
Hedef sistemde verileri temizlemek ve analize hazırlamak için kurallar ve işlevler uygularsınız.
Yükleme
Bu aşamada, verileri hedef veri tabanına depolarsınız. ETL işlemleri, verileri son adım olarak yükler, böylece raporlama araçları eyleme geçirilebilir raporlar ve öngörüler oluşturmak için verileri doğrudan kullanabilir. Ancak ELT'de, ayıklanan verileri yükledikten sonra dönüştürmeniz gerekir.
ELT ve ETL işlemlerinin birbirinden farkı nedir?
Daha sonra, ayıklama, dönüştürme ve yükleme (ETL) ve ayıklama, yükleme ve dönüştürme (ELT) süreçlerini ana hatlarıyla açıklayacağız. Ayrıca bazı tarihsel arka planları da okuyabilirsiniz.
ETL işlemi
ETL'nin üç adımı vardır:
- Çeşitli kaynaklardan ham verileri çıkarırsınız
- Bu verileri dönüştürmek için ikincil bir işleme sunucusu kullanırsınız
- Bu verileri bir hedef veri tabanına yüklersiniz
Dönüştürme aşaması, hedef veri tabanının yapısal gereksinimleriyle uyumluluğu sağlar. Verileri yalnızca dönüştürüldükten ve hazır olduktan sonra taşırsınız.
ELT işlemi
ELT'nin üç adımını aşağıdakiler oluşturur:
- Çeşitli kaynaklardan ham verileri çıkarırsınız
- Doğal hâliyle bir veri ambarına veya veri gölüne yüklersiniz
- Hedef sistemdeyken gerektiği gibi dönüştürürsünüz
ELT ile tüm veri temizleme, dönüştürme ve zenginleştirme işlemleri veri ambarı içinde gerçekleşir. Ham verilerle gerektiği kadar etkileşime geçebilir ve bunları dönüştürebilirsiniz.
ETL ve ELT Tarihi
ETL 1970'lerden beri kullanılmakta olup özellikle veri ambarlarının yükselişiyle birlikte popüler hâle gelmiştir. Ancak geleneksel veri ambarları, her veri kaynağı için özel ETL işlemleri gerektirmekteydi.
Bulut teknolojilerinin evrimi mümkün olanı değiştirdi. Şirketler artık sınırsız ham veriyi geniş ölçekte depolayabiliyor ve daha sonra gerektiğinde analiz edebiliyordu. ELT, verimli analiz için modern veri entegrasyon yöntemi hâline geldi.
Temel farklar: ETL ve ELT
Ayıklama, yükleme ve dönüştürme (ELT), ayıklama, dönüştürme ve yüklemeyi (ETL) çeşitli şekillerde geliştirmiştir.
Dönüştürme ve yükleme konumu
Dönüştürme ve yükleme farklı konumlarda gerçekleşir ve farklı işlemler kullanır. ETL işlemi, verileri ikincil bir işleme sunucusunda dönüştürür.
Buna karşılık, ELT işlemi ham verileri doğrudan hedef veri ambarına yükler. Yüklendikten sonra, ihtiyaç duyduğunuzda verileri dönüştürebilirsiniz.
Veri uyumluluğu
ETL, satır ve sütunlara sahip tablolarda temsil edebileceğiniz yapılandırılmış veriler için en uygun yöntemdir. Bir yapılandırılmış veri kümesini başka bir yapılandırılmış biçime dönüştürür ve ardından yükler.
Buna karşılık ELT, tablo biçiminde saklayamayacağınız görüntüler veya belgeler gibi yapılandırılmamış veriler de dâhil olmak üzere her tür veriyi işler. ELT ile birlikte işlem, çeşitli veri biçimlerini hedef veri ambarına yükler. Buradan, istediğiniz biçime daha fazla dönüştürebilirsiniz.
Hız
ELT, ETL'den daha hızlıdır. ETL, verileri hedefe yüklemeden önce ölçeklendirilmesi zor olan ve veri boyutu arttıkça sistemi yavaşlatan ek bir adıma sahiptir.
Buna karşılık ELT, verileri doğrudan hedef sisteme yükler ve paralel olarak dönüştürür. Analiz için gerçek zamanlı veya neredeyse gerçek zamanlı veri dönüşümü sağlamak üzere bulut veri ambarlarının sunduğu işleme gücünü ve paralelleştirmeyi kullanır.
Maliyetler
ETL işlemi en başından itibaren analizlerin dâhil olmasını gerektirir. Analistlerin oluşturmak istedikleri raporları önceden planlamalarını, veri yapılarını ve biçimlendirmelerini tanımlamalarını gerektirir. Kurulum için gereken süre artar ve bu da maliyetleri yükseltir. Dönüştürmeler için ek sunucu altyapısı da daha maliyetli olabilir.
Tüm dönüştürmeler hedef veri ambarında gerçekleştiği için ELT, ETL'den daha az sisteme sahiptir. Daha az sistemle daha az bakım yapılması gerekir, bu da daha basit bir veri yığını ve daha düşük kurulum maliyetleri sağlar.
Güvenlik
Kişisel verilerle çalıştığınızda, veri gizliliği düzenlemelerine uymanız gerekir. Şirketler, kimliği tanımlayabilecek bilgileri (PII) yetkisiz erişime karşı korumalıdır.
ETL'de geliştiriciler, verileri izlemek ve korumak için PII maskeleme gibi özel çözümler oluşturmak zorundadır.
Bununla birlikte ELT çözümleri, ayrıntılı erişim kontrolü ve çok faktörlü kimlik doğrulama gibi birçok güvenlik özelliğini doğrudan veri ambarının içinde sağlar. Analize daha fazla zaman ayırabilir ve veri düzenleme gereksinimlerini karşılamaya daha az zaman ayırabilirsiniz.
Kullanım zamanı: ETL ve ELT
Ayıklama, yükleme ve dönüştürme (ELT), modern analiz için standart seçimdir. Ancak, aşağıdaki senaryolarda ayıklama, dönüştürme ve yüklemeyi (ETL) düşünebilirsiniz.
Eski veri tabanları
Önceden belirlenmiş veri biçimlerine sahip eski veri tabanları veya üçüncü taraf veri kaynakları ile entegre olmak için ETL kullanmak bazen daha faydalıdır. Sadece dönüştürmeniz ve sisteminize bir kez yüklemeniz gerekir. Dönüştürüldükten sonra, gelecekteki tüm analizler için daha verimli bir şekilde kullanabilirsiniz.
Denemeler
Büyük kuruluşlarda veri mühendisleri, analiz için gizli veri kaynaklarını keşfetmek ve iş sorgularını yanıtlamak için yeni fikirler denemek gibi denemeler yaparlar. ETL, veri tabanını ve belirli bir senaryodaki kullanışlılığını anlamak için veri deneylerinde yararlıdır.
Karmaşık analiz
ETL ve ELT, çeşitli kaynaklardan gelen birden fazla veri biçimini kullanan karmaşık analizler için birlikte kullanılabilir. Veri bilimciler, bazı kaynaklardan ETL işlem hatları kurabilir ve geri kalanıyla ELT'yi kullanabilir. Bu, analiz verimliliğini artırır ve bazı durumlarda uygulama performansını yükseltir.
IoT uygulamaları
Sensör veri akışlarını kullanan Nesnelerin İnterneti (IoT) uygulamaları genellikle ELT üzerinden ETL'den faydalanır. Örnek olarak, uçta ETL için bazı yaygın kullanım örnekleri aşağıda verilmiştir:
- Farklı protokollerden veri almak ve bunları bulut iş yüklerinde kullanılmak üzere standart veri biçimlerine dönüştürmek istiyorsunuz
- Yüksek frekanslı verileri filtrelemek, büyük veri kümeleri üzerinde ortalama alma işlevleri gerçekleştirmek ve ardından ortalaması alınmış veya filtrelenmiş değerleri daha düşük bir hızda yüklemek istiyorsunuz
- Yerel cihazdaki farklı veri kaynaklarından değerleri hesaplamak ve filtrelenmiş değerleri bulut arka ucuna göndermek istiyorsunuz
- Eksik zaman serisi veri ögelerini temizlemek, tekilleştirmek veya doldurmak istiyorsunuz
Farkların özeti: ETL ve ELT
| Kategori | ETL |
ELT |
| Kısaltmaların anlamları: |
Ayıklama, dönüştürme ve yükleme |
Ayıklama, yükleme ve dönüştürme |
| Süreç |
Ham verileri alır, önceden belirlenmiş bir biçime dönüştürür ve ardından hedef veri ambarına yükler. |
Ham verileri alır, hedef veri ambarına yükler ve sonrasında analizden hemen önce dönüştürür. |
| Dönüştürme ve yükleme konumları |
Dönüştürme ikincil bir işleme sunucusunda gerçekleşir. |
Dönüştürme hedef veri ambarında gerçekleşir. |
| Veri uyumluluğu |
Yapılandırılmış verilerle en iyi şekilde eşleşir. |
Yapılandırılmış, yapılandırılmamış ve yarı yapılandırılmış verileri işleyebilir. |
| Hız |
ETL, ELT'den daha yavaştır. |
ELT, veri ambarının dâhilî kaynaklarını kullanabildiği için ETL'den daha hızlıdır. |
| Maliyetler |
Kullanılan ETL araçlarına bağlı olarak kurulumu zaman alıcı ve maliyetli olabilir. |
Kullanılan ELT altyapısına bağlı olarak daha uygun maliyetlidir. |
| Güvenlik |
Veri koruma gereksinimlerini karşılamak için özel uygulamalar oluşturmak gerekebilir. |
Veri korumasını yönetmek için hedef veri tabanının yerleşik özelliklerini kullanabilirsiniz. |
AWS, ETL ve ELT gereksinimlerinizi nasıl destekleyebilir?
AWS'de analiz, Amazon Web Services'ın (AWS) tüm veri analizi ihtiyaçlarınıza uygun geniş analiz hizmetleri yelpazesini açıklar. AWS ile her ölçekten ve sektörden kuruluş, işlerini verilerle yeniden keşfedebilir.
ETL ve ELT gereksinimleriniz için kullanabileceğiniz AWS hizmetlerinden bazıları şunlardır:
- Amazon Aurora, Amazon Redshift ile sıfır ETL entegrasyonunu destekler. Bu entegrasyon, Aurora'dan alınan petabaytlarca (PB) işlem verisi üzerinde Amazon Redshift aracılığıyla neredeyse gerçek zamanlı analiz ve makine öğrenimi sağlamaktadır.
- AWS Veri İşlem Hattı, çeşitli AWS hizmetleri arasında veri hareketini ve dönüşümlerini tanımlamanıza olanak tanıyan yönetilen bir ETL hizmetidir.
- AWS Glue, olay odaklı ETL ve kodsuz ETL işleri için sunucusuz bir veri entegrasyon hizmetidir.
- AWS IoT Greengrass, bulut işlemeyi ve mantığı yerel olarak uç cihazlara getirerek uç kullanım örneklerinde ETL'nizi destekler.
- Amazon Redshift, tüm ELT iş akışlarını kurmanıza ve farklı kaynaklardan veri kümelerini doğrudan sorgulamanıza olanak tanır.
Bugün ücretsiz bir hesap oluşturarak AWS üzerinde ELT ve ETL kullanmaya başlayın.
