Amazon EMR’de Apache Spark

Amazon EMR kümelerinde varsayılan olarak aktif olan Apache Spark için performans için optimize edilmiş bir çalışma zamanı ortamı olan Apache Spark için Amazon EMR çalışma zamanı, EMR bünyesinde yer almaktadır. Amazon EMR runtime for Apache Spark, EMR çalışma süresi olmayan kümelerden üç kat daha hızlı olabilmektedir ve standart Apache Spark ile %100 API uyumluluğuna sahiptir. Bu iyileştirilmiş performans, uygulamalarınızda hiçbir değişiklik yapmadan iş yüklerinizin daha hızlı çalıştırılacağı ve işlem maliyetinden tasarruf edeceğiniz anlamına gelir.

Spark, döngüsel olmayan yönlü graf (DAG) yürütme altyapısı kullanarak veri dönüştürme için verimli sorgu planları oluşturabilir. Spark aynı zamanda giriş, çıkış ve ara verileri bellek içinde dayanıklı veri çerçeveleri olarak depolar ve bu sayede G/Ç maliyeti olmadan hızlı işlem gerçekleştirilmesini sağlayarak yinelemeli veya etkileşimli iş yüklerinin performansını artırır.

Apache Spark tarafından sunulan yerel Java, Scala, SQL ve Python desteği sayesinde uygulamalarınızı oluşturmak için farklı programlama dili seçeneklerinden faydalanabilirsiniz. Ayrıca Spark SQL modülünü kullanarak SQL veya HiveQL sorgusu da gönderebilirsiniz. Uygulama çalıştırmaya ek olarak Spark API’sini doğrudan kümenizdeki Spark kabuğunda, EMR Stüdyosu aracılığıyla veya Jupyter not defterleri üzerinden Python veya Scala ile etkileşimli bir şekilde kullanabilirsiniz. EMR 6.0'da Apache Hadoop 3.0 desteği, bağımlılıkları yönetmeyi basitleştirmek için Docker container'ı desteği getiriyor. Ayrıca kümeden bağımsız EMR Notebooks'tan (Jupyter'ı temel alır) yararlanabilir veya Zeppelin’i kullanarak veri keşfi ve görselleştirme için etkileşimli ve ortak çalışmaya uygun not defterleri oluşturabilirsiniz. Küme dışında, kalıcı bir Spark Geçmiş Sunucusu olan EMR konsolunda iş yüklerini ayarlayıp hatalarını ayıklayabilirsiniz.

Apache Spark makine öğrenimi (MLlib), akış işleme (Spark Streaming) ve grafik işleme (GraphX) uygulamaları oluşturmanıza yardımcı olacak birçok kitaplık içerir. Bu kitaplıklar Spark ekosistemine sıkı bir şekilde entegre edilmiştir ve ilk andan itibaren çok farklı kullanım örneklerini desteklemek için kullanılmaya hazırdır. Dilerseniz Spark uygulamalarınızda Apache MXNet gibi derin öğrenme çerçevelerini kullanabilirsiniz. AWS Step Functions entegrasyonu, uygulamalarınıza sunucusuz iş akışı otomasyonu ve düzenlemesi eklemenizi sağlar.

Apache Spark işlerini EMR Step API ile gönderebilir, Spark’ı EMRFS ile birlikte kullanarak S3 içindeki verilere doğrudan erişebilir, EC2 Spot kapasitesini kullanarak maliyet tasarrufu yapabilir, EMR ile Yönetilen Ölçeklendirmeyi kullanarak dinamik olarak kapasite ekleyip kaldırabilir ve iş yükünüze uygun uzun vadeli veya geçici kümeler oluşturabilirsiniz. Ayrıca bir EMR güvenlik yapılandırması kullanarak Spark şifrelemesi ve Kerberos ile kimlik doğrulama yapılandırmasını kolayca gerçekleştirebilirsiniz. Buna ek olarak AWS Glue Veri Kataloğu ile Spark SQL tablo meta verilerini depolayabilir veya Spark makine öğrenimi işlem hatlarında Amazon SageMaker hizmetini kullanabilirsiniz. EMR, Spark’ı Hadoop YARN üzerine yükleyip yönetir. Dilerseniz kümenize başka big data uygulamaları da ekleyebilirsiniz. Apache Hudi ile EMR, değişen verileri yakalamayı (CDC) daha verimli bir şekilde yönetmenizi sağlar ve kayıt silmeyi basitleştirerek GDPR ile CCPA gibi gizlilik düzenlemeleri konusunda yardımcı olur. EMR özellikleri hakkında daha fazla bilgi için buraya tıklayın.

EMR'de Spark Streaming ile Amazon Kinesis, Apache Kafka veya diğer veri akışlarından gerçek zamanlı verileri kullanın ve işleyin. Hata toleranslı bir yöntemle akış analizi gerçekleştirin ve sonuçları S3 veya küme üzerindeki HDFS'ye yazın.

EMR'de Apache Spark, çeşitli ölçeklenebilir makine öğrenimi algoritmaları sunan MLlib'i içerir. Dilerseniz kendi kitaplıklarınızı da kullanabilirsiniz. Spark, iş sırasında veri kümelerini bellek içinde depolayarak makine öğrenimi iş yüklerinde sık kullanılan yinelemeli sorgular için yüksek performans sunar. Notebook bulut sunucusunu kolay eğitim modelleri ve barındırma modelleri için Amazon SageMaker Spark ile Amazon EMR üzerinde çalışan bir Apache Spark kümesine bağlayarak Amazon SageMaker kapasitesini iyileştirebilirsiniz.

SQL veya HiveQL ile düşük gecikme süresine sahip etkileşimli sorgular için Spark SQL hizmetini kullanabilirsiniz. EMR’de Spark, EMRFS hizmetinden faydalanabildiği için S3 üzerindeki veri kümelerinize anlık erişim sağlayabilirsiniz. Ayrıca ODBC ve JDBC bağlantıları sayesinde EMR Studio, EMR Notebooks'u, Zeppelin not defterlerini veya BI araçlarını kullanabilirsiniz.