Amazon EC2 UltraServers

Geniş ölçekte yapay zeka eğitimi ve çıkarım

Trn2 UltraServers hakkında daha fazla bilgi edinin
Trn2 UltraServer önizlemesi için kaydolun

Neden Amazon EC2 UltraServer'lar?

Amazon Elastic Compute Cloud (Amazon EC2) UltraServer'lar, modeller için trilyon parametre ölçeğinde en yüksek yapay zeka eğitimi ve çıkarım performansını elde etmek isteyen müşteriler için idealdir. UltraServer'lar, yüksek bant genişliğine sahip, düşük gecikme süreli özel bir hızlandırıcı ara bağlantısı kullanarak birden fazla EC2 bulut sunucusunu birbirine bağlar. Böylece EC2 bulut sunucuları genelinde birbirine sıkıca bağlanmış bir hızlandırıcı ağından yararlanmanızı ve bağımsız EC2 bulut sunucularına kıyasla önemli ölçüde daha fazla işlem ve belleğe erişmenizi sağlar.

EC2 UltraServer'lar, bağımsız EC2 bulut sunucularının sağlayabileceğinden daha fazla bellek ve daha yüksek bellek bant genişliği gerektiren en büyük modeller için idealdir. UltraServer tasarımı, birden fazla bulut sunucusunu tek bir düğüme bağlamak için bulut içi hızlandırıcı bağlantısını kullanarak yeni özelliklerin kilidini açar. Çıkarım açısından UltraServer'lar, en iyi gerçek zamanlı deneyimleri oluşturmak üzere sektör lideri yanıt süreleri sağlamaya yardımcı olur. Eğitim açısından UltraServer'lar, bağımsız bulut sunucularına kıyasla model paralelliği için daha hızlı toplu iletişim ile model eğitim hızını ve verimliliğini artırır. EC2 UltraServer'lar, EFA ağ iletişimi destekler ve EC2 UltraCluster'larda dağıtıldıklarında tek petabit ölçekli, engelleyici olmayan bir ağda on binlerce hızlandırıcı genelinde ölçeği genişletilebilir dağıtılmış eğitim sağlar. UltraServer'lar hem eğitim hem de çıkarım için daha yüksek performans sunarak pazara ulaşma sürenizi kısaltır, en yüksek performanslı, yeni nesil altyapı modelleriyle desteklenen gerçek zamanlı uygulamalar sunmanıza yardımcı olur.

Avantajlar

UltraServer'lar, bağımsız EC2 bulut sunucularından daha fazla işlem ve bellek sağlamak için daha büyük bir hızlandırıcı kümesini yüksek bant genişlikli ve düşük gecikme süreli bir ara bağlantıya bağlayarak yüz milyarlarca ila trilyonlarca parametreye sahip modellerde verimli eğitimi ve çıkarımı mümkün kılar.

UltraServer'lar, tek bir EC2 bulut sunucusunun sunabileceğinin ötesinde önemli bellek ve bellek bant genişliği kaynakları gerektiren ultra büyük modeller için gerçek zamanlı çıkarım sağlar.

UltraServer'lar, bağımsız bulut sunucularına kıyasla model paralelliği için daha hızlı kolektif iletişim sağlayarak eğitim süresini azaltmanıza yardımcı olur.

Özellikler

Bulut sunucularını bir UltraServer'da başlatabilir ve bu bulut sunucuları arasında tahsis edilmiş, yüksek bant genişlikli ve düşük gecikme süreli hızlandırıcı ara bağlantısından yararlanabilirsiniz. UltraServer'lar, bu tahsis edilmiş ara bağlantıya bağlı daha fazla sayıda hızlandırıcıya erişim sağlayarak, bağımsız EC2 bulut sunucularına kıyasla tek bir düğümde önemli ölçüde daha fazla işlem ve bellek sağlar.

EC2 UltraCluster'larında dağıtılan EC2 UltraServer'ları, dağıtılmış eğitim iş yükleri için performansı artırmak adına petabit ölçeğinde EFA ağ iletişimi ile birbirine bağlanır.

EC2 UltraServer'larını, en popüler yüksek performanslı paralel dosya sistemi üzerine kurulu, tam olarak yönetilen paylaşılan bir depolama çözümü olan Lustre İçin Amazon FSx gibi yüksek performanslı depolama çözümleriyle birlikte kullanabilirsiniz. Amazon Basit Depolama Hizmeti (Amazon S3) ile uygun maliyetli ve neredeyse sınırsız depolamayı da kullanabilirsiniz.

EC2 UltraServer'ları, geleneksel sanallaştırma işlevlerini tahsis edilmiş donanım ve yazılımlara aktaran zengin yapı taşlarından oluşan AWS Nitro System üzerinde geliştirilmiştir. Nitro, sanallaştırma ek yükünü azaltarak yüksek performans, yüksek erişilebilirlik ve yüksek güvenlik sunar.

Desteklenen bulut sunucuları

Trn2 bulut sunucuları

AWS Trainium2 yongalarıyla desteklenen bir Trn2 UltraServer yapılandırmasındaki Trn2 bulut sunucuları (önizlemede kullanılabilir), ölçek büyüterek AWS yapay zeka yongalarına yönelik özel yüksek bant genişliğine sahip, düşük gecikme süreli ara bağlantı olan NeuronLink ile birbirine bağlanan 64'e kadar Trainium2 yongasını kullanmanızı sağlar. Trn2 UltraServer'lar, üretken yapay zeka eğitimi ve çıkarımı için Amazon EC2'de çığır açan performans sağlar.

Daha fazla bilgi edinin