AWS Glue fiyatlandırması

Fiyatlandırma örnekleri

AWS Glue Veri Kataloğu ücretsiz kullanımı: Belirli bir ayda Veri Kataloğunuzda bir milyon tablo depoladığınızı ve bu tablolara erişmek için 1 milyon istekte bulunduğunuzu düşünelim. 0 USD ödersiniz çünkü kullanımınız AWS Glue Veri Kataloğu ücretsiz kullanımı kapsamına girer. Bir ayda ücretsiz olarak bir milyon nesneyi depolayabilir ve bir milyon istekte bulunabilirsiniz.

AWS Glue Veri Kataloğu: Şimdi aylık depolama kullanımınızın 1 milyon tabloda kaldığını ama isteklerinizin iki katına çıktığını ve aylık 2 milyon isteğe ulaştığınızı düşünün. Ayrıca yeni tabloları bulmak için gezginleri kullandığınızı, bunların 30 dakika çalıştırıldığını ve 2 DPU kullandığını varsayalım.

Depolama maliyetiniz yine 0 USD olur çünkü ilk bir milyon tablonuz ücretsizdir. İlk bir milyon isteğiniz de ücretsizdir. Ücretsiz kullanımın üzerindeki 1 milyon istek için faturalandırılırsınız ve bunun ücreti 1 USD'dir. Gezginler, DPU saati başına 0,44 USD oranında faturalandırılır ve dolayısıyla 0,44 USD fiyattan 2 DPU * 1/2 saat kadar veya 0,44 USD ödersiniz.

Glue tablolarında istatistik oluşturursanız ve istatistiklerin çalışması 10 dakika sürer ve 1 DPU tüketirse 1 DPU * 1/6 saat * 0,44 USD/DPU-saat fatura edilir. Bu da 0,07 USD'ye eşittir.

Apache Iceberg tablolarını sıkıştırdığınızda sıkıştırma 30 dakika çalışırsa ve 2 DPU tüketirseniz, 2 DPU * 1/2 saat * 0,44 USD/DPU-saat fatura edilir. Bu da 0,44 USD'ye eşittir.

Fiyatlandırma örnekleri

AWS Glue DataBrew: Her bir 30 dakikalık etkileşimli oturum ücreti 1,00 USD'dir. Bir oturumu 09:00'da başlatır, hemen konsoldan ayrılır ve 09:20 - 09:30'da dönerseniz bu, 1 oturum kullanır ve toplam 1,00 USD faturalandırılırsınız.

Bir oturumu 09:00'da başlatır ve 09:50'ye kadar DataBrew konsoluyla etkileşim kurar, DataBrew proje alanından çıkar ve 10:15'te geri gelerek son kez etkileşimde bulunursanız bu 3 oturum kullanır ve oturum başına 1,00 USD olmak üzere toplam 3,00 USD faturalandırılırsınız.

Fiyatlandırma örnekleri

AWS Glue DataBrew: Bir DataBrew işinin 10 dakika boyunca çalışması ve 5 DataBrew düğümü kullanılması durumunda ücret 0,40 USD olur. İşiniz bir saatin 1/6'sı kadar çalıştığı ve 5 düğüm kullandığı için düğüm saati başına 0,48 USD fiyattan 5 düğüm * 1/6 saat kadar, yani toplamda 0,40 USD faturalandırılırsınız.

AWS Glue Veri Kalitesi, yüksek veri kalitesi elde etmenize yardımcı olarak verilerinize güvenmenizi sağlar. Veri gölleri ve işlem hatlarınızdaki veri kalitesini otomatik olarak ölçerek, izleyerek ve yöneterek eksik, eski veya kötü verilerin belirlenmesini kolaylaştırır.

Veri Kataloğu ve AWS Glue Studio'dan ve AWS Glue API'leri aracılığıyla veri kalitesi özelliklerine erişebilirsiniz.

Veri Kataloğu'nda kataloglanan veri kümelerinin veri kalitesini yönetmek için fiyatlandırma:

Veri Kataloğu'ndan bir veri kümesi seçebilir ve öneriler oluşturabilirsiniz. Bu eylem, veri işlem birimlerini (DPU'lar) tedarik edeceğiniz bir Öneri Görevi oluşturacaktır. Önerileri aldıktan sonra kuralları değiştirebilir veya yeni kurallar ekleyebilir ve bunları planlayabilirsiniz. Bu görevler, DPU tedarik edeceğiniz Veri Kalitesi Görevleri olarak adlandırılır. Minimum 1 dakikalık faturalandırma süresi olan en az 2 DPU'ya ihtiyacınız olacaktır.

AWS Glue ETL'de işlenen veri kümelerinin veri kalitesini yönetme fiyatlandırması:

Veri göllerine kötü verilerin girmesini önlemek için veri kalitesi kontrollerini ETL işlerinize de ekleyebilirsiniz. Bu veri kalitesi kuralları, ETL işlerinizde yer alacak ve çalışma zamanının veya DPU tüketiminin artmasına neden olacaktır. Alternatif olarak, SLA duyarlı olmayan iş yükleri için Esnek yürütme kullanabilirsiniz.

AWS Glue ETL'de anormallikleri tespit etmek için fiyatlandırma:

Anormallik algılama:
Anormallikleri tespit etmek için geçen süre boyunca ETL iş DPU'larınıza ek olarak istatistik başına 1 DPU'ya tabi tutulacaksınız. 1 istatistiğin anormalliğini tespit etmek ortalama 10-20 saniye sürer. İki Kural (Kural 1: Veri hacmi 1000 kayıttan büyük olmalı, Kural 2: Sütun sayıları 10'dan büyük olmalı) ve bir Analizör (Analizör 1: Bir sütunun bütünlüğünü izlemeli) yapılandırdığınızı varsayalım. Bu yapılandırma satır sayısı, sütun sayısı ve bir sütunun bütünlük yüzdesi olmak üzere üç istatistik üretecektir. Anormallikleri en az 1 saniyede tespit etmek için geçen süre boyunca 3 ek DPU'dan ücret alınacaktır. Daha fazla ayrıntı için 4. örneğe bakın.

Yeniden eğitim:
Anormallik algılama algoritmasının sonraki anormallikleri doğru bir şekilde tahmin etmesi için anormal iş çalıştırmalarını veya istatistikleri hariç tutmak isteyebilirsiniz. Bunu yapmak için AWS Glue, istatistikleri hariç tutmanızı veya eklemenizi sağlar. Modeli yeniden eğitmek için gereken süre boyunca yeniden eğitmek üzere 1 DPU'ya tabi tutulacaksınız. Yeniden eğitim istatistik başına ortalama 10 saniye ila 20 dakika sürer. Daha fazla ayrıntı için 5. örneğe bakın.

İstatistik depolama:
Toplanan istatistikleri saklamak için herhangi bir ücret alınmaz. Hesap başına 100 bin istatistik sınırı vardır ve 2 yıl boyunca saklanır.

Ek ücretler:
AWS Glue, verileri doğrudan Amazon Simple Storage Service (Amazon S3) üzerinden işler. AWS Glue ile verilerinizi okumak için ek depolama ücreti alınmaz. Depolama, istekler ve veri aktarımı için standart Amazon S3 fiyatlarına göre ücretlendirilirsiniz. Yapılandırmanıza bağlı olarak geçici dosyalar, veri kalitesi sonuçları ve karışık dosyalar, seçtiğiniz bir S3 klasöründe depolanır ve ayrıca standart S3 ücretleri üzerinden faturalandırılır.

Veri Kataloğu'nu kullanırsanız standart Veri Kataloğu ücretlerini ödersiniz. Ayrıntılar için Veri Kataloğu depolaması ve istekleri sekmesini seçin.

Fiyatlandırma örnekleri

Örnek 1 - Veri Kataloğu'nda bir tablo için öneriler alın

Örneğin, 10 dakikada tamamlanan 5 DPU'lu bir öneri görevi düşünün. 0,44 USD fiyattan 5 DPU * 1/6 saat için toplamda 0,37 USD ödersiniz.

Örnek 2 - Veri Kataloğu'nda bir tablonun veri kalitesini değerlendirin

Önerileri inceledikten sonra gerekirse düzenleyebilir ve ardından DPU'lar tedarik ederek veri kalitesi görevini planlayabilirsiniz. Örneğin, 20 dakikada tamamlanan 5 DPU’lu bir veri kalitesi değerlendirme görevi düşünün.
0,44 USD fiyattan 5 DPU * 1/3 saat için toplamda 0,73 USD ödersiniz.

Örnek 3 – AWS Glue ETL işinde veri kalitesini değerlendirin

Veri göllerinize kötü verilerin girmesini önlemek için bu veri kalitesi kontrollerini AWS Glue ETL işlerinize de ekleyebilirsiniz. Bunu, AWS Glue Studio’da Veri Kalitesi Dönüştürme ekleyerek veya AWS Glue Studio not defterlerinde yazdığınız kod içinde AWS Glue API’lerini kullanarak yapabilirsiniz. 6 DPU ile 20 dakika (1/3 saat) yürütülen, işlem hattı dâhilinde veri kalitesi kurallarının yapılandırıldığı yerde çalışan bir AWS Glue işi düşünün. 0,44 USD fiyattan 6 DPU * 1/3 saat için toplamda 0,88 USD ücretlendirilirsiniz. Alternatif olarak, 0,29 USD fiyattan 6 DPU * 1/3 saat (0,58 USD'ye eşittir) için ücretlendirileceğiniz Flex'i kullanabilirsiniz.

4. Örnek - Anormallik Algılama ile AWS Glue ETL işinde veri kalitesini değerlendirme

Amazon Redshift'e yüklemeden önce Amazon S3'ten veri okuyan, verileri dönüştüren ve veri kalitesi denetimlerini çalıştıran bir AWS Glue işi düşünün. Bu işlem hattının 10 kural ve 10 analizörü olduğunu ve 20 istatistik toplandığını varsayalım. Ayrıca çıkarma, dönüştürme süreci, yükleme, istatistik toplama ve veri kalitesi değerlendirmesinin 20 dakika süreceğini varsayalım. Anormallik Algılama etkinleştirilmeden müşteriden 6 DPU * 1/3 saat (20 dakika) * 0,44 USD ücret alınır; bu da 0,88 USD (A) eder. Anormallik Algılama açıkken her istatistik için 1 DPU ekleriz ve anomarllikleri tespit etmek ortalama 15 saniye sürer. Bu örnekte, müşteri 20 istatistiğe tabi tutulacaktır * 1 DPU * 15/3.600 (0,0041 saat/istatistik) * 0,44 USD (DPU/saat başına maliyet) = 0,037 USD (B). İşin toplam maliyeti 0,88 USD (A) + 0,037 USD (B) = 0,917 USD olacaktır.

5. Örnek - Yeniden Eğitim

Glue işinizin bir anormallik tespit ettiğini düşünün. Anormalliği modelden hariç tutmaya karar verirsiniz ve böylece anormallik algılama algoritması gelecekteki anormallikleri doğru bir şekilde tahmin eder. Bunu yapmak için bu anormal istatistiği hariç tutarak modeli yeniden eğitebilirsiniz. Modeli yeniden eğitmek için geçen süre boyunca istatistik başına 1 DPU'ya tabi tutulacaksınız. Bu ortalama 15 saniye sürebilir. Bu örnekte, 1 veri noktasını hariç tuttuğunuzu düşünürsek, 1 istatistik * 1 DPU * 15/3.600 (0,0041 saat/istatistik) * 0,44 USD = 0,00185 USD'ye tabi tutulursunuz.