Perplexity beschleunigt mit Amazon SageMaker HyperPod das Training von Basismodellen um 40 %

Im Gegensatz zu herkömmlichen Suchmaschinen, die häufig Anzeigen und bestimmte Schlüsselwörtern den relevanten Ergebnissen vorziehen, ist die Lösung von Perplexity so optimiert, dass sie Nutzern das Wissen vermittelt, das sie suchen. Ungefähr 10 Millionen aktive Benutzer pro Monat verlassen sich auf Perplexity, um neue Konzepte zu erlernen, Herausforderungen zu lösen und Antworten zu finden.

„Mithilfe großer Sprachmodelle können wir das menschliche Sprachverständnis und das Denkvermögen in einem Modell erfassen. In Kombination mit den Fakten im Internet hat uns das beim Aufbau unserer Antwort-Engine geholfen“, sagt Aravind Srinivas, CEO und Mitbegründer von Perplexity. „Im Wesentlichen haben wir einen traditionellen Suchindex (Fakten-Engine) und eine Argumentations-Engine (großes Sprachmodell) zusammen orchestriert, um die weltweit erste Konversations-Antwort-Engine zu entwickeln.“

Seit seiner Markteinführung im Jahr 2022 nutzt Perplexity zentrale AWS-Services wie Amazon Elastic Compute Cloud (Amazon EC2) – das sichere und anpassbare Rechenkapazität für praktisch jede Workload bietet –, um die Backend-, Frontend- und Suchkomponenten seines Produkts zu betreiben. Als Perplexity heranwuchs und die Zahl der ML-Modelle zunahm, benötigte das Unternehmen eine enorme Rechenleistung, um die Benutzer bedienen zu können.

Perplexity sprach mit AWS-Experten und erfuhr, dass Amazon SageMaker HyperPod, eine speziell entwickelte Infrastruktur für verteiltes Training in großem Maßstab, die Anforderungen für groß angelegtes Modelltraining erfüllen kann. Amazon SageMaker HyperPod ist mit verteilten Amazon-SageMaker-Trainingsbibliotheken vorkonfiguriert, die für die parallele Ausführung hoch skalierbarer und kostengünstiger, benutzerdefinierter Daten optimiert sind und parallele Deep-Learning-Trainingsaufträge mit Verbindungsgeschwindigkeiten von über 1 600 Gbit/s modellieren. Amazon SageMaker HyperPod verhindert auch Unterbrechungen beim Training der Basismodelle, indem es regelmäßig Checkpoints speichert. Wenn während des Trainings ein Hardwarefehler auftritt, erkennt der AWS-Service den Ausfall automatisch, repariert oder ersetzt die fehlerhafte Instance und setzt das Training ab dem zuletzt gespeicherten Checkpoint fort. Dies ermöglicht ein ununterbrochenes Modelltraining über Wochen oder Monate in einer verteilten Umgebung.

AWS bot Perplexity eine einmonatige Testversion an, um Möglichkeiten für verteiltes Training zu demonstrieren. Dabei entdeckte das Unternehmen die Vorteile der Nutzung von AWS. Zum Beispiel gewann Perplexity an Flexibilität bei der Ressourcenzuweisung; es verwendet verschiedene Amazon-EC2-Instance-Typen und GPUs, die auf bestimmte Aufgaben zugeschnitten sind.

Um ML-Modelle zu trainieren, benötigt Perplexity große Mengen an Arbeitsspeicher, um riesige Datenmengen ausführen und verschiedene Gradienten speichern zu können. Es entschied sich für Amazon-EC2-P4de-Instances, welche die höchste Leistung für ML-Training und Hochleistungs-Datenverarbeitungsanwendungen bieten, um Trainingsaufträge auszuführen und die Speicher- und Bandbreitenanforderungen zu erfüllen. Durch die Verwendung von Amazon SageMaker HyperPod überträgt Perplexity Daten zwischen verschiedenen GPUs viel schneller, wodurch die Trainingszeit für ML-Modelle um bis zu 40 % reduziert wurde.

„Die integrierten, parallelen Daten- und Modellbibliotheken von Amazon SageMaker HyperPod halfen uns, die Trainingszeit auf GPUs zu optimieren und den Trainingsdurchsatz zu verdoppeln,“ sagt Srinivas. Dadurch können unsere Trainingsexperimente jetzt doppelt so schnell ablaufen, wodurch unsere Entwickler schneller iterieren könne. Das beschleunigt die Entwicklung neuer generativer KI-Erlebnisse für unsere Kunden.“ Da Amazon SageMaker HyperPod den Cluster-Zustand automatisch überwacht und GPU-Ausfälle behebt, können sich unsere Entwickler auf die Modellentwicklung konzentrieren, anstatt Zeit mit der Verwaltung und Optimierung der zugrundeliegenden Infrastruktur zu verbringen.“

Perplexity zielt darauf ab, schnelle und genaue Antworten auf Benutzeranfragen zu geben, wofür Inferenzfunktionen nahezu in Echtzeit erforderlich sind. Mithilfe der Amazon-EC2-P5-Instances – die GPU-basierte Instances mit der höchsten Leistung für Deep-Learning-Anwendungen bieten – kann Perplexity Antworten mit einem viel höheren Durchsatz als zuvor generieren. Tatsächlich kann das Unternehmen Spitzenzeiten mit 10 000 gleichzeitigen Benutzern und über 100 000 Abfragen pro Stunde bewältigen, ohne die Latenz oder das Benutzererlebnis zu beeinträchtigen. Perplexity hostet auch das öffentlich verfügbare Llama-2-Modell auf Amazon-EC2-P5-Instances und verwendet Amazon SageMaker HyperPod, um das Open-Source-Modell mithilfe seiner eigenen Daten zu optimieren. Die Feinabstimmung von Modellen trägt dazu bei, die Genauigkeit und Relevanz der Antworten zu verbessern und das Modell an die Anforderungen der Antwort-Engine von Perplexity anzupassen.