[SEO-Zwischenüberschrift]
Diese Anleitung hilft Spieleentwicklern dabei, den Prozess der Erstellung eines Nicht-Spieler-Charakters (NSC) für ihre Spiele und die dazugehörige Infrastruktur zu automatisieren. Es verwendet Unreal Engine MetaHuman zusammen mit Basismodellen (FMs), beispielsweise den großen Sprachmodellen (LLMs) Claude 2 und Llama 2, um die Konversationsfähigkeiten von NSC zu verbessern. Dies führt zu dynamischen Reaktionen des NSC, die für jeden Spieler einzigartig sind und den geskripteten Dialog ergänzen. Mithilfe der Methodik für Large Language Model Ops (LLMOps) beschleunigt diese Anleitung die Prototypenerstellung und die Lieferzeit durch kontinuierliche Integration und Bereitstellen der generativen KI-Anwendung zusammen mit der Feinabstimmung der LLMs. Gleichzeitig wird sichergestellt, dass der NSC uneingeschränkten Zugriff auf eine sichere Wissensdatenbank über Spielgeschichten hat.
Diese Anleitung besteht aus vier Teilen: einer Übersichtsarchitektur, einer LLMOps-Pipeline-Architektur, einer Foundation Model Operations (FMOps)-Architektur und einer Architektur zur Datenbankhydrierung.
Bitte beachten: [Haftungsausschluss]
Architekturdiagramm
![](https://d1.awsstatic.com/apac/events/2021/aws-innovate-aiml/2022/eng/innovate-aiml-22-UI_Gradient-Divider.082bb46e8d9654e48f62bf018e131dd8ec563c4e.jpg)
-
Übersicht
-
LLMOps-Pipeline
-
FMOps-Pipeline
-
Datenbankhydrierung
-
Übersicht
-
Dieses Architekturdiagramm zeigt einen Überblick über den Workflow zum Hosten eines Generative-KI-NSC in AWS.
Schritt 1
Spiele-Clients interagieren mit dem NSC, der in der Unreal Engine Metahuman ausgeführt wird.
Schritt 2
Anfragen für generierte Textantworten vom NSC werden an einen Text-API-Endpunkt von Amazon API Gateway gesendet. Anfragen, die einen spielspezifischen Kontext vom NSC erfordern, werden an einen API-Gateway-Endpunkt von Retrieval Augmented Generation (RAG) gesendet.Schritt 3
AWS Lambda verarbeitet die NSC-Textanfragen und sendet sie an in Amazon Bedrock gehostete LLMs.Schritt 4
Basis-LLMs und durch Feinabstimmung angepasste LLMs liefern eine generierte Textantwort.Schritt 5
Die generierte Textantwort wird an Amazon Polly übermittelt, das wiederum einen Audiostream der Antwort zurückgibt. Das Audioformat wird an den NSC zurückgegeben, um es als Dialog bereitzustellen.Schritt 6
Für RAG-NSC-Anfragen übermittelt Lambda die Anfrage an Amazon Bedrock, um eine vektorisierte Darstellung aus dem Einbettungsmodell zu generieren. Anschließend sucht Lambda in einem Vektorindex von Amazon OpenSearch Service nach relevanten Informationen.Schritt 7
OpenSearch Service bietet eine Ähnlichkeitssuchfunktion, um relevanten Kontext bereitzustellen, der die generierte Textanfrage basierend auf der vektorisierten Darstellung der Anfrage von Amazon Bedrock erweitert.
Schritt 8
Large Language Model OpDer relevante Kontext und die ursprüngliche Textanfrage werden an in Amazon Bedrock gehostete LLMs gesendet, um eine generierte Textantwort bereitzustellen. Amazon Polly übermittelt dann die Antwort an den NSC zum Dialog.Schritt 9
Autoren von Spielgeschichten fügen spielspezifische Trainingsdaten hinzu, um mithilfe des FMOps-Prozesses benutzerdefinierte Modelle zu erstellen, oder fügen Spielgeschichtendaten hinzu, um die Vektordatenbank zu hydrieren.
Schritt 10
Infrastruktur- und DevOps-Techniker verwalten die Architektur als Code mithilfe des AWS Cloud Development Kit (AWS CDK) und überwachen die Anleitung mithilfe von Amazon CloudWatch. -
LLMOps-Pipeline
-
Dieses Architekturdiagramm veranschaulicht die Prozesse der Bereitstellung einer LLMOps-Pipeline in AWS.
Schritt 1
Infrastrukturtechniker erstellen und testen die kodifizierte Infrastruktur mithilfe von AWS CDK.
Schritt 2
Aktualisierungen des Infrastrukturcodes werden an das Repository von AWS CodeCommit übertragen, wodurch die Pipeline für kontinuierliche Integration und kontinuierliche Bereitstellung (CI/CD) innerhalb des AWS-Toolchain-Kontos aufgerufen wird.Schritt 3
Infrastruktur-Komponenten, wie z. B. Docker-Container und Vorlagen von AWS CloudFormation, werden in Amazon Elastic Container Registry (Amazon ECR) und Amazon Simple Storage Service (Amazon S3) kompiliert und gespeichert.Schritt 4
Die Infrastruktur wird im AWS-Konto zur Qualitätssicherung (QA) als CloudFormation-Stack für Integration und Systemtests bereitgestellt.Schritt 5
AWS CodeBuild initiiert automatisierte Testskripte, die überprüfen, ob die Architektur funktionsfähig und für die Produktionsbereitstellung bereit ist.Schritt 6
Nach erfolgreichem Abschluss aller Systemtests wird die Infrastruktur automatisch als CloudFormation-Stack im AWS-Produktionskonto (PROD) bereitgestellt.
Schritt 7
Die FMOps-Pipeline-Ressourcen werden auch als CloudFormation-Stack im PROD-AWS-Konto bereitgestellt.
-
FMOps-Pipeline
-
Dieses Architekturdiagramm zeigt den Prozess der Optimierung eines generativen KI-Modells mithilfe von FMOps.
Schritt 1
Textdokumente zur Spielerzählung werden in einen S3-Bucket hochgeladen.
Schritt 2
Das Ereignis zum Hochladen von Dokumentobjekten ruft Amazon SageMaker Pipelines auf.Schritt 3
Im Vorverarbeitungsschritt wird ein Verarbeitungsauftrag von SageMaker ausgeführt, um die Textdokumente für die Modellfeinabstimmung und Modellbewertung vorzuverarbeiten.Schritt 4
Der Rückrufschritt ermöglicht SageMaker Pipelines die Integration mit anderen AWS-Services durch Senden einer Nachricht an eine Amazon Simple Queue Service (Amazon SQS)-Warteschlange. Nachdem die Nachricht gesendet wurde, wartet SageMaker Pipelines auf eine Antwort aus der Warteschlange.Schritt 5
Amazon SQS verwaltet die Nachrichtenwarteschlange, die Aufgaben zwischen den SageMaker-Pipelines und dem Workflow von AWS Step Functions koordiniert.Schritt 6
Der Step-Functions-Workflow orchestriert den Prozess der Feinabstimmung des LLM. Sobald ein Modell optimiert wurde, sendet Amazon SQS eine Erfolgsmeldung zurück an den Rückrufschritt der SageMaker Pipelines.
Schritt 7
Im Schritt der Modellbewertung wird ein SageMaker-Verarbeitungsauftrag ausgeführt, um die Leistung des fein abgestimmten Modells zu bewerten. Das optimierte Modell wird in der Amazon SageMaker Model Registry gespeichert.Schritt 8
Praktiker aus dem Bereich Machine Learning (ML) überprüfen das abgestimmte Modell und genehmigen es für den Produktionseinsatz.Schritt 9
Ein Workflow von AWS CodePipeline wird aufgerufen, um das genehmigte Modell in der Produktion bereitzustellen. -
Datenbankhydrierung
-
Dieses Architekturdiagramm zeigt den Prozess zur Datenbankhydrierung durch Vektorisierung und Speicherung von Spielergeschichten für RAG.
Schritt 1
Ein Datenwissenschaftler lädt Textdokumente zur Spielgeschichte in einen S3-Bucket hoch.
Schritt 2
Durch das Hochladen des Objekts wird eine Lambda-Funktion aufgerufen, um einen SageMaker-Verarbeitungsauftrag zu starten.
Schritt 3
Ein SageMaker-Verarbeitungsauftrag lädt das Textdokument von Amazon S3 herunter und teilt den Text in mehrere Teile auf.
Schritt 4
Der Verarbeitungsauftrag von SageMaker übermittelt dann jeden Textabschnitt an ein Amazon-Titan-Einbettungsmodell, das in Amazon Bedrock gehostet wird, um eine vektorisierte Darstellung der Textabschnitte zu erstellen.Schritt 5
Der Verarbeitungsauftrag von SageMaker nimmt dann sowohl den Textblock als auch die Vektordarstellung in OpenSearch Service für RAG.
Well-Architected-Säulen
![](https://d1.awsstatic.com/apac/events/2021/aws-innovate-aiml/2022/eng/innovate-aiml-22-UI_Gradient-Divider.082bb46e8d9654e48f62bf018e131dd8ec563c4e.jpg)
Das AWS-Well-Architected-Framework hilft Ihnen, die Vor- und Nachteile der Entscheidungen zu verstehen, die Sie beim Aufbau von Systemen in der Cloud treffen. Die sechs Säulen des Frameworks ermöglichen es Ihnen, architektonische bewärhte Methoden für die Entwicklung und den Betrieb zuverlässiger, sicherer, effizienter, kostengünstiger und nachhaltiger Systeme zu erlernen. Mit dem AWS-Well-Architected-Tool, das kostenlos in der AWS-Managementkonsole verfügbar ist, können Sie Ihre Workloads anhand dieser bewährten Methoden überprüfen, indem Sie eine Reihe von Fragen für jede Säule beantworten.
Das obige Architekturdiagramm ist ein Beispiel für eine Lösung, die unter Berücksichtigung der bewährten Methoden von Well-Architected erstellt wurde. Um eine vollständige Well-Architected-Lösung zu erhalten, sollten Sie so viele bewährte Methoden von Well-Architected wie möglich befolgen.
-
Betriebliche Exzellenz
Diese Anleitung verwendet AWS X-Ray, Lambda, API Gateway und CloudWatch, um alle API-Anfragen für den generierten NSC-Dialog zwischen dem Client von Unreal Engine Metahuman und dem FM von Amazon Bedrock nachzuverfolgen. Dadurch erhalten Sie umfassende Einblicke in den Status der Anleitung und können jede Anfrage und Antwort des Clients differenziert nachverfolgen, so dass Sie Probleme schnell identifizieren und entsprechend reagieren können. Darüber hinaus ist diese Anleitung als CDK-Anwendung mithilfe von CodePipeline kodifiziert. Dadurch können Betriebsteams und Entwickler Fehler und Schwachstellen durch geeignete Änderungskontrollmethoden beheben und diese Aktualisierungen oder Korrekturen mithilfe der CI/CD-Pipeline schnell bereitstellen.
-
Sicherheit
Amazon S3 bietet verschlüsselten Schutz für die Speicherung der Dokumentation der Spielgeschichte im Ruhezustand, sowie einen verschlüsselten Zugriff auf Daten während der Übertragung. Gleichzeitig wird die Dokumentation der Spielgeschichte in den Vektor aufgenommen oder ein FM von Amazon Bedrock wird optimiert. API Gateway fügt eine zusätzliche Sicherheitsebene zwischen Unreal Engine Metahuman und dem FM von Amazon Bedrock hinzu, indem es eine TLS-basierte Verschlüsselung aller Daten zwischen dem NSC und dem Modell bereitstellt. Schließlich implementiert Amazon Bedrock automatische Mechanismen zur Missbrauchserkennung, um Verstöße gegen die AWS-Richtlinie zur akzeptablen Nutzung und die AWS-Richtlinie zur verantwortungsvollen KI besser zu identifizieren und zu mindern.
-
Zuverlässigkeit
API Gateway verwaltet die automatische Skalierung und Drosselung von Anfragen des NSC an das FM. Da die gesamte Infrastruktur außerdem mithilfe von CI/CD-Pipelines kodifiziert ist, können Sie Ressourcen über mehrere AWS-Konten und mehrere AWS-Regionen hinweg parallel bereitstellen. Dies ermöglicht mehrere Szenarien zur gleichzeitigen erneuten Bereitstellung der Infrastruktur, um Sie bei der Behebung von Ausfällen auf AWS-Regionsebene zu unterstützen. API Gateway und Lambda als Serverless-Infrastrukturressourcen ermöglichen es Ihnen, sich auf die Spielentwicklung zu konzentrieren, anstatt die Ressourcenzuweisung und Nutzungsmuster für API-Anfragen manuell zu verwalten.
-
Leistung und Effizienz
Serverless Ressourcen, wie Lambda und API Gateway, tragen zur Leistungseffizienz der Anleitung bei, indem sie sowohl Elastizität als auch Skalierbarkeit bieten. Dadurch kann sich die Anleitung dynamisch an eine Zunahme oder Abnahme der API-Aufrufe vom NSC-Client anpassen. Ein elastischer und skalierbarer Ansatz hilft Ihnen dabei, Ressourcen für eine optimale Leistung richtig zu dimensionieren und auf unvorhergesehene Zunahmen oder Rückgänge bei API-Anfragen zu reagieren – ohne dass Sie bereitgestellte Infrastrukturressourcen manuell verwalten müssen. So müssen die bereitgestellten Infrastrukturressourcen nicht manuell verwalten.
-
Kostenoptimierung
Durch die Codierung der Anleitung als CDK-Anwendung erhalten Spieleentwickler die Möglichkeit, schnell Prototypen ihrer NSC-Charaktere zu erstellen und diese in der Produktion einzusetzen. Entwickler erhalten schnellen Zugriff auf FMs von Amazon Bedrock über eine REST-API von API Gateway, ohne die FMs entwickeln, erstellen und vorab trainieren zu müssen. Die schnelle Erstellung von Prototypen trägt dazu bei, den Zeit- und Betriebsaufwand zu reduzieren, der mit der Erstellung von FMs von Grund auf verbunden ist.
-
Nachhaltigkeit
Lambda bietet einen Serverless-, skalierbaren und ereignisgesteuerten Ansatz, ohne dedizierte Rechenressourcen bereitstellen zu müssen. Amazon S3 implementiert Richtlinien für den Datenlebenszyklus sowie Komprimierung für alle Daten in dieser Anleitung und ermöglicht so eine energieeffiziente Speicherung. Amazon Bedrock hostet FMs in AWS-Silikon und bietet so eine bessere Leistung pro Watt an Standard-Rechenressourcen.
Implementierungsressourcen
![](https://d1.awsstatic.com/apac/events/2021/aws-innovate-aiml/2022/eng/innovate-aiml-22-UI_Gradient-Divider.082bb46e8d9654e48f62bf018e131dd8ec563c4e.jpg)
Der Beispielcode dient als Ausgangspunkt. Er ist in der Branche erprobt, präskriptiv, aber nicht endgültig, und ein Blick unter die Haube, der Ihnen den Einstieg erleichtert.
Ähnliche Inhalte
![](https://d1.awsstatic.com/apac/events/2021/aws-innovate-aiml/2022/eng/innovate-aiml-22-UI_Gradient-Divider.082bb46e8d9654e48f62bf018e131dd8ec563c4e.jpg)
[Titel]
Haftungsausschluss
Der Beispielcode, die Softwarebibliotheken, die Befehlszeilentools, die Machbarkeitsnachweise, die Vorlagen oder andere zugehörige Technologien (einschließlich derjenigen, die von unseren Mitarbeitern bereitgestellt werden) werden Ihnen als AWS-Inhalte im Rahmen der AWS-Kundenvereinbarung oder der entsprechenden schriftlichen Vereinbarung zwischen Ihnen und AWS (je nachdem, was zutrifft) zur Verfügung gestellt. Sie sollten diese AWS-Inhalte nicht in Ihren Produktionskonten oder für Produktions- oder andere kritische Daten verwenden. Sie sind verantwortlich für das Testen, Sichern und Optimieren des AWS-Inhalts, z. B. des Beispielcodes, für die Verwendung in der Produktion auf der Grundlage Ihrer spezifischen Qualitätskontrollverfahren und -standards. Bei der Bereitstellung von AWS-Inhalten können AWS-Gebühren für die Erstellung oder Nutzung von kostenpflichtigen AWS-Ressourcen anfallen, z. B. für den Betrieb von Amazon-EC2-Instances oder die Nutzung von Amazon-S3-Speicher.
Verweise auf Services oder Organisationen von Drittanbietern in diesen Leitlinien bedeuten nicht, dass Amazon oder AWS eine Billigung, Förderung oder Zugehörigkeit zwischen Amazon oder AWS und dem Drittanbieter darstellt. Die Beratung durch AWS ist ein technischer Ausgangspunkt, und Sie können Ihre Integration mit Services von Drittanbietern anpassen, wenn Sie die Architektur bereitstellen.