AWS Trainium

Trn3-UltraServer verfügen über die neuesten Innovationen in der UltraServer-Technologie zur Hochskalierung, mit NeuronSwitch-v1 für schnellere All-to-All-Kollektive auf bis zu 144 Trainium3-Chips. Trn3-UltraServer bietet bis zu 20,7 TB HBM3e, 706 TB/s Speicherbandbreite und 362 MXFP8-PFLOPs und bietet damit bis zu 4,4-mal mehr Leistung und eine über 4-mal bessere Energieeffizienz als Trn2-UltraServer. Trn3 bietet mit den neuesten 1T+-Parameter-MoE- und Reasoning-Typ-Modellen die höchste Leistung zu den niedrigsten Kosten für Training und Inferenz und ermöglicht im Vergleich zu Trainium2-basierten Instances einen deutlich höheren Durchsatz für GPT-OSS im großen Maßstab.

Trn2-UltraServer bleiben eine leistungsstarke, kostengünstige Option für generatives KI-Training und Inferenz von Modellen mit bis zu 1T-Parametern. Trn2-Instances verfügen über bis zu 16 Trainium2-Chips, und Trn2-UltraServer verfügen über bis zu 64 Trainium2-Chips, die mit NeuronLink, einer firmeneigenen Chip-zu-Chip-Verbindung, verbunden sind.

Trn1-Instances verfügen über bis zu 16 Trainium-Chips und liefern bis zu 3 FP8-PFLOPS, 512 GB HBM mit 9,8 TB/s Speicherbandbreite und bis zu 1,6 Tbit/s EFA-Netzwerk.

Das AWS Neuron SDK hilft Ihnen dabei, die volle Leistung aus Trn3-, Trn2- und Trn1-Instances herauszuholen, sodass Sie sich auf die Entwicklung und Bereitstellung von Modellen und die Verkürzung Ihrer Markteinführungszeit konzentrieren können. AWS Neuron lässt sich nativ in PyTorch Jax und wichtige Bibliotheken wie Hugging Face, vLLM, PyTorch Lightning und andere integrieren. AWS Neuron optimiert sofort einsatzbereite Modelle für verteiltes Training und Inferenz und bietet gleichzeitig tiefe Einblicke für die Profilerstellung und das Debuggen. AWS Neuron lässt sich in Services wie Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster und AWS Batch sowie in Services von Drittanbietern wie Ray (Anyscale), Domino Data Lab und Datadog integrieren.

Um eine hohe Leistung zu erzielen und gleichzeitig die Genauigkeitsziele zu erreichen, unterstützt AWS Trainium eine Reihe von
Datentypen mit gemischten Genauigkeitsanforderungen wie BF16, FP16, FP8, MXFP8 und MXFP4. Um das schnelle Innovationstempo im Bereich der generativen KI zu unterstützen,
bieten Trainium2 und Trainium3 Hardwareoptimierungen für 4x Sparsity (16:4), Mikroskalierung und stochastisches
Runden und dedizierte kollektive Motoren.

Neuron ermöglicht es Entwicklern, ihre Workloads mithilfe des Neuron Kernel Interface (NKI) für die Kernelentwicklung zu optimieren. NKI stellt das gesamte Trainium ISA zur Verfügung und ermöglicht so die vollständige Kontrolle über die Programmierung auf Befehlsebene, die Speicherzuweisung und die Ausführungsplanung. Entwickler können nicht nur Ihre eigenen Kernel erstellen, sondern auch die Neuron Kernel Library verwenden, die Open Source ist und bereit ist, optimierte Kernel bereitzustellen. Und schließlich bietet Neuron Explore eine vollständige Stack-Transparenz und verbindet den Code von Entwicklern bis hin zu Engines in der Hardware.