Elastic Fabric Adapter (EFA) ist eine Netzwerkschnittstelle für Amazon-EC2-Instances, mit der Kunden Anwendungen ausführen können, für die bei der Skalierung ein hohes Maß an Kommunikation zwischen Knoten in AWS erforderlich ist. Die speziell entwickelte Hardware-Schnittstelle des Betriebssystems (OS) verbessert die Leistung der Inter-Instance-Kommunikation, was für die Skalierung von HPC-Anwendungen entscheidend ist. Mit EFA können High Performance Computing (HPC)-Anwendungen, welche die Anwendungen Message Passing Interface (MPI) und Machine Learning (ML) mit der NVIDIA Collective Communications Library (NCCL) nutzen, auf tausende CPUs oder GPUs skaliert werden. Dadurch erhalten Sie die Anwendungsleistung lokaler HPC-Cluster mit der On-Premise-Skalierbarkeit und Flexibilität der AWS Cloud.
EFA ist als optionale EC2-Netzwerkfunktion verfügbar, die Sie ohne zusätzliche Kosten auf jeder unterstützten EC2-Instance aktivieren können. Darüber hinaus funktioniert es mit den am häufigsten verwendeten Schnittstellen, APIs und Bibliotheken für die Kommunikation zwischen Knoten, sodass Sie Ihre HPC-Anwendungen mit geringen oder keinen Änderungen zu AWS migrieren können.
Vorteile
Schnellere Ergebnisse
Der einzigartige Netzwerkmechanismus von EFA zum Umgehen des OS bietet einen Kanal mit niedriger Latenz und geringem Jitter für die Kommunikation zwischen Instances. Dadurch können Ihre eng verknüpften HPC- oder verteilten Machine-Learning-Anwendungen auf Tausende von Kernen skaliert werden, sodass Ihre Anwendungen schneller ausgeführt werden.
Flexible Konfigurationen
Sie können den EFA-Support für eine wachsende Liste von Amazon-EC2-Instances aktivieren und haben so die Flexibilität, die richtige Rechenkonfiguration für Ihre Workload zu wählen. Ändern Sie einfach Ihre Cluster-Konfigurationen, wenn sich Ihre Anforderungen ändern, und aktivieren Sie den EFA-Support auf Ihren neuen Computing-Instances. Es sind keine vorherigen Reservierungen oder eine vorherige Planung erforderlich.
Nahtlose Migrationen
EFA verwendet die Libfabric-Schnittstelle und Libfabric-APIs für die Kommunikation. Da fast alle HPC-Programmiermodelle diese Schnittstelle unterstützen, können Sie Ihre vorhandenen HPC-Anwendungen mit geringen bis gar keinen Änderungen in die Cloud migrieren.
EFA-Leistung
EFA bietet eine vierfache Verbesserung der Skalierung gegenüber ENA für eine Standard-CFD-Simulation, wie in der obigen Tabelle dargestellt.
Solver für dieses Benchmarking, bereitgestellt von Metacomp Technologies
Funktionsweise
Anwendungsfälle
Computational Fluid Dynamics
Fortschritte bei den Algorithmen der Computational Fluid Dynamics (CFD) ermöglichen es Ingenieuren, immer komplexere Strömungsphänomene zu simulieren, und HPC trägt dazu bei, die Durchlaufzeiten zu verkürzen. Ingenieure können ihre Simulationsaufträge skalieren, um mit besser einstellbaren Parametern zu experimentieren, was zu schnelleren und genaueren Ergebnissen führt.
Wettermodellierung
Komplexe Wettermodelle erfordern eine hohe Speicherbandbreite, schnelle Verbindungen und robuste parallele Dateisysteme, um genaue Ergebnisse zu liefern. Je näher der Rasterabstand im Modell ist, desto genauer sind die Ergebnisse – und desto mehr Rechenressourcen benötigt das Modell. EFA bietet eine schnelle Verbindung, über die Anwendungen zur Wettermodellierung die praktisch unbegrenzten Skalierungsmöglichkeiten der AWS Cloud nutzen und in kürzerer Zeit genauere Vorhersagen treffen können.
Machine Learning
Das Training von Deep-Learning-Modellen kann durch verteiltes Computing auf GPUs erheblich beschleunigt werden. Führende Deep-Learning-Frameworks wie Caffe, Caffe2, Chainer, MxNet, TensorFlow und PyTorch haben NCCL bereits integriert, um die Vorteile seiner Multi-GPU-Kollektive für die knotenübergreifende Kommunikation zu nutzen. EFA ist für NCCL in AWS optimiert und verbessert den Durchsatz und die Skalierbarkeit dieser Trainingsmodelle, was zu schnelleren Ergebnissen führt.
Ressourcen
Erste Schritte mit Elastic Fabric Adapter (EFA)
Erfahren Sie mehr über alle AWS-Services, die Sie zum Erstellen einer HPC-Lösung in AWS verwenden können
Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent.
