Amazon EC2 P3 bulut sunucuları; makine öğrenimi uygulamalarını hızlandırması gereken veri bilimcileri, araştırmacılar ve geliştiriciler için makine öğrenimi eğitimine yönelik bulutta en hızlı olanlardır. Amazon EC2 P3 bulut sunucuları sekize kadar en son nesil NVIDIA Tensor Core V100 GPU ile donatılmıştır ve karma hassaslıkta 1 petaflopa kadar performans sunarak ML iş yüklerini önemli oranda hızlandırır. Daha hızlı model eğitimi sayesinde veri bilimcileri ve makine öğrenimi mühendisleri daha hızlı yineleme yapabilir, daha fazla model eğitebilir ve doğruluk oranını artırabilir.

Esnek fiyatlandırma planlarıyla birlikte buluttaki en güçlü GPU bulut sunucularından biridir ve makine öğrenimi eğitimi için son derece uygun maliyetli bir çözüm sağlar. Genelde Amazon EC2 bulut sunucularında olduğu gibi P3 bulut sunucuları da İsteğe Bağlı Bulut Sunucuları, Rezerve Edilmiş Bulut Sunucuları ve Spot Bulut Sunucuları olarak erişilebilirdir. Spot Bulut Sunucuları, kullanılmayan EC2 bulut sunucusu kapasitesinden yararlanır ve Amazon EC2 maliyetlerinizi, İstek Üzerine fiyatlarından %70'e varan oranda düşürür.

Şirket içi sistemlerin aksine, yüksek performanslı bilgi işlem iş yüklerinizi Amazon EC2 P3 bulut sunucularında çalıştırdığınızda altyapınızı ölçeklendirme konusunda neredeyse sınırsız kapasitenin yanı sıra kaynaklarınızı kolayca ve iş yükü gereksinimlerinize göre dilediğiniz sıklıkta değiştirme olanağına sahip olursunuz. Kaynaklarınızı uygulamanızın gereksinimlerini karşılayacak şekilde yapılandırabilir ve dakikalar içinde bir HPC kümesi başlatabilirsiniz. Üstelik yalnızca kullandığınız kadar ödersiniz.

Derin öğrenme ortamlarını dakikalar içinde dağıtmak için önceden paketlenmiş Docker görüntülerini kullanın. Görüntüler gerekli derin öğrenim framework kitaplıklarını (şu anda TensorFlow ve Apache MXNet) ve araçlarını içermekte olup tamamen test edilmiştir. Daha yüksek düzeyde izleme, uygunluk ve veri işleme denetimi için bu görüntülerin üzerine kendi kitaplıklarınızı ve araçlarınızı kolayca ekleyebilirsiniz. Buna ek olarak, Amazon EC2 P3 bulut sunucuları Amazon SageMaker ile sorunsuz şekilde birlikte çalışarak güçlü, sezgisel ve eksiksiz bir makine öğrenimi platformu sunar. Amazon SageMaker, hızlı ve kolay bir şekilde makine öğrenimi modelleri oluşturup bunları eğitmenize ve dağıtmanıza olanak sağlayan, tam olarak yönetilen bir makine öğrenimi platformudur. Ayrıca, Amazon EC2 P3 bulut sunucuları, popüler derin öğrenme entegrasyonuyla önceden yüklenmiş olan AWS Deep Learning Amazon Makine Görüntüleri (AMI'lar) ile entegre edilebilir. Bu sayede, makine öğrenimi eğitimi ve çıkarımıyla daha hızlı ve daha kolay bir şekilde işe koyulabilirsiniz.

Amazon SageMaker, makine öğrenimi modellerini oluşturmayı ve onları eğitime hazır hale getirmeyi kolaylaştırır. Eğitim verilerinize hızlıca bağlanmak, uygulamanız için en iyi algoritma ile çerçeveyi seçmek ve optimize etmek için ihtiyacınız olan her şeyi sağlar. Amazon SageMaker, Amazon S3'te depolanan eğitim verilerinizi keşfetmeyi ve görselleştirmeyi kolaylaştırmaya yönelik barındırılan Jupyter Notebook'ları içerir.  Ayrıca, not defterlerini kullanarak model eğitimi işleri oluşturmaya yönelik kod yazabilir, modelleri Amazon SageMaker barındırma ortamına dağıtabilir ve modellerinizi test edebilir ya da doğrulayabilirsiniz.

Konsoldan tek bir tıklamayla veya bir API çağrısıyla modelinizi eğitmeye başlayabilirsiniz. Amazon SageMaker, en güncel TensorFlow ve Apache MXNet sürümleriyle önceden yapılandırılmıştır ve NVIDIA GPU'larla en uygun performansı sunmak için CUDA9 kitaplığını destekler. Bunun da ötesinde, en doğru tahminlere hızla ulaşılması amacıyla hiper parametre optimizasyonu akıllı bir şekilde model parametrelerinin farklı kombinasyonlarını ayarlayarak modelinizde otomatik olarak ince ayarlar yapabilir. Büyük ölçekli gereksinimleriniz varsa oluşturma sürecinin daha hızlı olması için ölçeğinizi onlarca bulut sunucusu içerecek şekilde büyütebilirsiniz.

Eğitim tamamlandıktan sonra modelinizi tek tıklamayla birden çok Erişilebilirlik Alanında otomatik olarak ölçeklendirilebilen Amazon EC2 bulut sunucularına dağıtabilirsiniz. Amazon SageMaker, yerleşik Amazon CloudWatch izleme ve günlüğe kaydetme özellikleri ile üretim aşamasında işlem altyapısını sizin adınıza yöneterek durum denetimleri gerçekleştirir, güvenlik düzeltme ekleri uygular ve diğer rutin bakım işlemlerini yapar.

Amazon EC2 P3dn.24xlarge bulut sunucuları, kullanılabilir en hızlı, en güçlü ve en büyük P3 bulut sunucusu boyutudur ve 100 Gbps'ye kadar ağ iletişimi aktarım hızı, her birinde 32 GiB bellek bulunan 8 adet NVIDIA® Tensor Core V100 GPU, 96 adet özel Intel® Xeon® Ölçeklenebilir (Skylake) vCPU ve 1,8 TB yerel NVMe tabanlı SSD depolama alanı sağlar. Daha hızlı ağ, yeni işlemciler, iki kat GPU belleği ve ek vCPU'lar sayesinde geliştiriciler, işlerinin ölçeğini birkaç bulut sunucusuna genişleterek (örneğin 16, 32 veya 64 bulut sunucusu) makine öğrenimi modellerini eğitme süresini önemli ölçüde kısaltabilir ve daha fazla HPC simülasyonu çalıştırabilir. Makine öğrenimi modelleri, eğitim için büyük miktarda veri gerektirir. Bulut sunucuları arasında veri aktarım hızını artırmanın yanı sıra P3dn.24xlarge bulut sunucularının ilave ağ aktarım hızı, büyük miktarda eğitim verisine ulaşmak amacıyla Amazon S3'e veya Amazon EFS gibi paylaşılan dosya sistemleri çözümlerine bağlanarak hız artırıcı olarak kullanılabilir.

100 Gbps'lik ağ iletişimi aktarım hızıyla geliştiriciler, dağıtılmış eğitim için çok sayıda P3dn.24xlarge bulut sunucusunu verimli bir şekilde kullanabilir ve modellerini eğitmek için gereken zamanı önemli ölçüde azaltabilir. 2,5 GHz'de çalışan AVX-512 yönergelerine sahip AWS'ye özel Intel Skylake işlemcilerden oluşan 96 vCPU, verilerin önceden işlemesini optimize etmeye yardımcı olur. Dahası, P3dn.24xlarge bulut sunucuları; ana sunucu donanımının neredeyse tüm işlem ve bellek kaynaklarını bulut sunucularınıza ileten, tahsis edilmiş donanımın ve basit bir hipervizörün birleşimi olan AWS Nitro System'ı kullanmaktadır. P3dn.24xlarge bulut sunucuları, binlerce GPU'ya ölçeklenmek için NVIDIA Toplu İletişim Kitaplığı'nı (NCCL) kullanarak makine öğrenimi uygulamalarına olanak sağlayan Esnek Yapı Bağdaştırıcısı'nı da destekler.

Elastic Network Adapter'ın en son sürümünü kullanarak 100 Gb/sn. toplam ağ bant genişliğine sahip gelişmiş ağ, yalnızca birkaç P3dn.24xlarge bulut sunucusundaki verileri paylaşmak için değil aynı zamanda Amazon S3 veya Amazon EFS gibi paylaşılan dosya sistemleri çözümü aracılığıyla yüksek verimli veri erişimi için de kullanılabilir. GPU'ların kullanımını optimize etmek ve işlem bulut sunucularından maksimum performans sağlamak için yüksek çıktı veri erişimi çok önemlidir.

P3dn.24xlarge bulut sunucuları, daha gelişmiş ve daha büyük makine öğrenimi modellerini eğitmede, ayrıca görüntü sınıflandırması ve nesne algılama sistemleri için 4k görüntüler gibi daha büyük veri gruplarını işlemede esneklik sağlayan, 32 GiB belleğe sahip NVIDIA V100 Tensor Core GPU'lar sunar.