Amazon SageMaker – FAQs

SageMaker bietet speziell entwickelte ML-Governance-Tools für den gesamten Lebenszyklus von ML. Mit Amazon SageMaker Role Manager können Administratoren in wenigen Minuten Mindestberechtigungen definieren. Amazon SageMaker Model Cards erleichtert das Erfassen, Abrufen und Weitergeben wichtiger Modellinformationen von der Konzeption bis zur Bereitstellung, und Amazon SageMaker Model Dashboard hält Sie über das Verhalten des Produktionsmodells auf dem Laufenden – alles an einem Ort. Weitere
Informationen finden Sie unter ML-Governance mit Amazon SageMaker.

Sie können mit SageMaker Role Manager Mindestberechtigungen in Minutenschnelle definieren. SageMaker Role Manager bietet einen Basissatz von Berechtigungen für ML-Aktivitäten und Personas mit einem Katalog von vorgefertigten IAM-Richtlinien. Sie können die grundlegenden Berechtigungen beibehalten oder sie weiter an Ihre speziellen Bedürfnisse anpassen. Mit ein paar selbstgesteuerten Eingabeaufforderungen können Sie schnell gängige Governance-Konstrukte wie Netzwerkzugriffsgrenzen und Verschlüsselungsschlüssel eingeben. SageMaker Role Manager erstellt die IAM-Richtlinie dann automatisch. Sie können die generierte Rolle und die zugehörigen Richtlinien über die AWS-IAM-Konsole einsehen. Um die Berechtigungen weiter auf Ihren Anwendungsfall zuzuschneiden, verknüpfen Sie Ihre verwalteten IAM-Richtlinien mit der IAM-Rolle, die Sie mit SageMaker Role Manager erstellen. Sie können auch Tags hinzufügen, um die Rolle zu identifizieren und über AWS-Services hinweg zu organisieren.

SageMaker Model Cards hilft Ihnen dabei, die Modelldokumentation über den gesamten ML-Lebenszyklus hinweg zu zentralisieren und zu standardisieren, indem Sie eine einzige Quelle der Wahrheit für Modellinformationen schaffen. SageMaker Model Cards füllt Schulungsdetails automatisch aus, um den Dokumentationsprozess zu beschleunigen. Sie können auch Details wie den Zweck des Modells und die Leistungsziele hinzufügen. Sie können die Ergebnisse der Modellbewertung an Ihre Modellkarte anhängen und Visualisierungen bereitstellen, um wichtige Einblicke in die Modellleistung zu erhalten. SageMaker Model Cards können durch Exportieren in ein PDF-Format leicht mit anderen geteilt werden.

Das SageMaker Model Dashboard gibt Ihnen einen umfassenden Überblick über die eingesetzten Modelle und Endpunkte, so dass Sie Ressourcen und Verletzungen des Modellverhaltens in einem einzigen Fenster verfolgen können. Durch die Integration mit SageMaker Model Monitor und SageMaker Clarify können Sie das Modellverhalten in vier Dimensionen überwachen, einschließlich der Daten- und Modellqualität sowie der Verzerrung und der Attributionsabweichungen. SageMaker Model Dashboard bietet außerdem eine integrierte Funktion zum Einrichten und Empfangen von Warnmeldungen für fehlende und inaktive Modellüberwachungsaufträge sowie für Abweichungen im Modellverhalten in Bezug auf Modellqualität, Datenqualität, Bias Drift und Feature Attribution Drift. Sie können einzelne Modelle weiter untersuchen und die Faktoren analysieren, die sich im Laufe der Zeit auf die Modellleistung auswirken. Dann können Sie mit ML-Praktikern nachfassen, um Korrekturmaßnahmen zu ergreifen.

SageMaker JumpStart hilft Ihnen, schnell und einfach mit ML zu beginnen. SageMaker JumpStart bietet eine Reihe von Lösungen für die häufigsten Anwendungsfälle, die mit nur wenigen Klicks bereitgestellt werden können. Die Lösungen sind vollständig anpassbar, und präsentieren die Anwendung von AWS-CloudFormation-Vorlagen und Referenzarchitektur, sodass Sie Ihre ML-Reise beschleunigen können. SageMaker JumpStart bietet auch Grundlagenmodelle und unterstützt die Ein-Klick-Bereitstellung und Feinabstimmung von mehr als 150 gängigen Open-Source-Modellen, beispielsweise für Transformer, zur Objekterkennung oder zur Bildklassifizierung. 

SageMaker JumpStart bietet proprietäre und öffentliche Modelle. Eine Liste der verfügbaren Grundlagenmodelle finden Sie unter Erste Schritte mit Amazon SageMaker JumpStart.

Sie können über SageMaker Studio, das SageMaker-SDK und die AWS-Managementkonsole auf die Grundlagenmodelle zugreifen. Um mit proprietären Basismodellen beginnen zu können, müssen Sie die Verkaufsbedingungen im AWS Marketplace akzeptieren.

Nein. Ihre Inferenz- und Trainingsdaten werden nicht verwendet oder weitergegeben, um das Basismodell, das SageMaker JumpStart den Kunden zur Verfügung stellt, zu aktualisieren oder zu trainieren.

Nein. Bei firmeneigenen Modellen können Kunden die Gewichte und Skripte der Modelle nicht einsehen.

Modelle sind in allen Regionen auffindbar, in denen SageMaker Studio verfügbar ist. Die Möglichkeit, ein Modell bereitzustellen, unterscheidet sich jedoch je nach Modell und Instance-Verfügbarkeit des erforderlichen Instanceyps. Die Verfügbarkeit der AWS-Region und die erforderliche Instance finden Sie auf der Modell-Detailseite im AWS Marketplace.

Bei proprietären Modellen werden Ihnen die vom Modellanbieter festgelegten Softwarepreise und die SageMaker-Infrastrukturgebühren auf der Grundlage der verwendeten Instance in Rechnung gestellt. Für öffentlich verfügbare Modelle werden Ihnen die SageMaker-Infrastrukturgebühren auf der Grundlage der verwendeten Instance berechnet. Weitere Informationen finden Sie unter Preise für Amazon SageMaker und AWS Marketplace.

Sicherheit hat bei AWS oberste Priorität, und SageMaker JumpStart ist auf Sicherheit ausgelegt. Das ist der Grund, warum SageMaker Ihnen den Besitz und die Kontrolle über Ihre Inhalte durch einfache, leistungsstarke Tools gibt, mit denen Sie festlegen können, wo Ihre Inhalte gespeichert werden, und mit denen Sie Ihre Inhalte während der Übertragung und im Ruhezustand sichern und Ihren Zugriff auf AWS-Services und Ressourcen für Ihre Benutzer verwalten können.

1. Wir geben keine Informationen zu Kundenschulungen und Inferenzen an Modellverkäufer auf AWS Marketplace weiter. Ebenso werden die Modellartefakte des Verkäufers (z. B. Modellgewichte) nicht mit dem Käufer geteilt.
2. SageMaker JumpStart verwendet keine Kundenmodelle, Trainingsdaten oder Algorithmen, um seinen Service zu verbessern, und gibt keine Kundenschulungs- und Inferenzdaten an Dritte weiter.
3. In SageMaker JumpStart werden ML-Modellartefakte bei der Übertragung und Speicherung verschlüsselt.
4. Im Rahmen des AWS-Modells der geteilten Verantwortung ist AWS für den Schutz der Infrastruktur verantwortlich, in der die gesamte AWS Cloud ausgeführt wird. Sie sind dafür verantwortlich, die Kontrolle über Ihre auf dieser Infrastruktur gehosteten Inhalte zu behalten.

Durch die Verwendung eines Modells aus dem AWS Marketplace oder SageMaker JumpStart übernehmen die Benutzer die Verantwortung für die Qualität der Modellausgabe und erkennen die in der individuellen Modellbeschreibung beschriebenen Funktionen und Einschränkungen an.

SageMaker JumpStart enthält mehr als 150 vortrainierte öffentlich verfügbare Modelle von PyTorch Hub und TensorFlow Hub. Für Sichtaufgaben wie Bildklassifizierung und Objekterkennung können Sie Modelle wie RESNET, MobileNet und Single-Shot Detector (SSD) nutzen. Für Textaufgaben wie Satzklassifizierung, Textklassifizierung und Beantwortung von Fragen können Sie Modelle wie BERT, RoBERTa und DistilBERT verwenden.

Mit SageMaker JumpStart können Datenwissenschaftler und ML-Entwickler ML-Artefakte, einschließlich Notebooks und Modelle, innerhalb ihrer Organisation problemlos gemeinsam nutzen. Administratoren können ein Repository einrichten, auf das eine bestimmte Gruppe von Benutzern zugreifen kann. Alle Benutzer mit Zugriffsberechtigung auf das Repository können Modelle und Notebooks sowie die öffentlichen Inhalte innerhalb von SageMaker JumpStart durchsuchen und verwenden. Benutzer können Artefakte auswählen, um Modelle zu trainieren, Endpunkte einzusetzen und Notebooks in SageMaker JumpStart auszuführen.

Mit SageMaker JumpStart können Sie bei der Entwicklung von ML-Anwendungen die Markteinführung beschleunigen. Modelle und Notebooks, die von einem Team innerhalb Ihres Unternehmens erstellt wurden, können mit nur wenigen Klicks mit anderen Teams innerhalb Ihres Unternehmens geteilt werden. Der interne Wissensaustausch und die Wiederverwendung von Ressourcen können die Produktivität Ihres Unternehmens erheblich steigern.

Amazon SageMaker Clarify unterstützt jetzt die Bewertung von Basismodellen. Sie können die besten Basismodelle für Ihren speziellen Anwendungsfall bewerten, vergleichen und auswählen. Wählen Sie einfach das Modell aus, das Sie für eine bestimmte Aufgabe bewerten möchten, z. B. die Beantwortung von Fragen oder die Zusammenfassung von Inhalten. Wählen Sie dann die Bewertungskriterien aus (z. B. Genauigkeit, Fairness und Robustheit) und laden Sie Ihren eigenen Prompt-Datensatz hoch oder wählen Sie aus integrierten, öffentlich verfügbaren Datensätzen. Bei subjektiven Kriterien oder nuancierten Inhalten, die eine differenzierte menschliche Bewertung erfordern, können Sie entweder Ihre eigenen Mitarbeiter einsetzen oder einen von AWS bereitgestellten verwalteten Mitarbeiterstab zur Überprüfung der Antworten verwenden. Sobald Sie den Einrichtungsprozess abgeschlossen haben, führt SageMaker Clarify seine Bewertungen durch und erstellt einen Bericht, so dass Sie leicht nachvollziehen können, wie das Modell in Bezug auf die Schlüsselkriterien abgeschnitten hat. Sie können die Basismodelle in SageMaker JumpStart mithilfe des Evaluierungsassistenten oder alle Basismodelle, die nicht auf AWS gehostet werden, mithilfe der Open-Source-Bibliothek evaluieren.

Ja. Administratoren können steuern, welche Amazon SageMaker JumpStart-Modelle für ihre Benutzer über mehrere AWS-Konten und Benutzerprinzipale hinweg sichtbar und nutzbar sind. Weitere Informationen finden Sie in der Dokumentation.

Das Inferenzoptimierungs-Toolkit macht es Ihnen leicht, die neuesten Techniken zur Inferenzoptimierung zu implementieren, um eine Kostenleistung auf dem neuesten Stand der Technik (SOTA) auf Amazon SageMaker zu erzielen und gleichzeitig monatelange Entwicklerzeit zu sparen. Sie können aus einem Menü beliebter Optimierungstechniken von SageMaker wählen und Optimierungsjobs im Voraus ausführen, das Modell auf Leistungs- und Genauigkeitsmetriken vergleichen und das optimierte Modell dann zur Inferenz auf einem SageMaker-Endpunkt bereitstellen. Das Toolkit behandelt alle Aspekte der Modelloptimierung, sodass Sie sich mehr auf Ihre Geschäftsziele konzentrieren können.

Das Toolkit zur Inferenzoptimierung hilft Ihnen, die Kostenleistung und die Markteinführungszeit für generative KI-Anwendungen zu verbessern. Das vollständig verwaltete Toolkit zur Modelloptimierung bietet Ihnen Zugriff auf die neuesten Optimierungstechniken mit benutzerfreundlichen Tools. Es ist auch einfach, im Laufe der Zeit auf die beste verfügbare Lösung aufzurüsten, da sich das Toolkit kontinuierlich an die neuesten Innovationen, neue Hardware und Hosting-Funktionen anpasst.

Das Inferenzoptimierungs-Toolkit unterstützt Optimierungstechniken wie spekulative Dekodierung, Quantisierung und Kompilierung. Sie können die Optimierungen, die Sie Ihrem Modell hinzufügen möchten, mit wenigen Klicks auswählen, und Amazon SageMaker übernimmt die gesamte undifferenzierte Schwerstarbeit wie die Beschaffung der Hardware, die Auswahl des Deep-Learning-Containers und der entsprechenden Tuning-Parameter für die Ausführung der Optimierungsjobs und das Speichern der optimierten Modellartefakte an dem von Ihnen angegebenen S3-Speicherort.

Für Speculative Decoding können Sie mit dem von SageMaker bereitgestellten Entwurfsmodell beginnen, sodass Sie Ihre eigenen Entwurfsmodelle nicht von Grund auf neu erstellen und Routing- und Optimierungen auf Systemebene anfordern müssen. Bei der Quantisierung wählen Sie einfach den Präzisionstyp aus, den Sie verwenden möchten, und starten einen Benchmarking-Job, um die Kompromisse zwischen Leistung und Genauigkeit zu messen. Amazon SageMaker generiert einen umfassenden Bewertungsbericht, sodass Sie den Kompromiss zwischen Leistung und Genauigkeit einfach analysieren können. Bei Compilation ruft Amazon SageMaker für die gängigsten Modelle und deren Konfigurationen automatisch kompilierte Modellartefakte während der Einrichtung und Skalierung des Endpunkts ab. Dadurch müssen Sie keine Kompilierungsjobs im Voraus ausführen, wodurch Sie Hardwarekosten sparen.

Das Amazon SageMaker-Toolkit zur Inferenzoptimierung hilft Ihnen dabei, Ihre Kosten und den Zeitaufwand für die Optimierung von GenAI-Modellen zu reduzieren, sodass Sie sich auf Ihre Geschäftsziele konzentrieren können.

SageMaker Canvas ist ein No-Code-Service mit einer intuitiven Point-and-Click-Oberfläche, mit der Sie hochpräzise, auf ML basierende Prognosen aus Ihren Daten erstellen können. Mit SageMaker Canvas können Sie über eine Drag-and-Drop-Benutzeroberfläche auf Daten aus einer Vielzahl von Quellen zugreifen und diese kombinieren. Dabei werden die Daten automatisch bereinigt und aufbereitet, um die manuelle Bereinigung zu minimieren. SageMaker Canvas wendet eine Vielzahl von hochmodernen ML-Algorithmen an, um hochpräzise Vorhersagemodelle zu finden, und bietet eine intuitive Benutzeroberfläche zur Erstellung von Vorhersagen. Sie können SageMaker Canvas verwenden, um in einer Vielzahl von Geschäftsanwendungen viel genauere Vorhersagen zu treffen und einfach mit Datenwissenschaftlern und Analysten in Ihrem Unternehmen zusammenzuarbeiten, indem Sie Ihre Modelle, Daten und Berichte teilen. Weitere Informationen zu SageMaker Canvas finden Sie in den häufig gestellten Fragen zu Amazon SageMaker Canvas.

Mit SageMaker Canvas zahlen Sie auf der Grundlage der Nutzung. Mit SageMaker Canvas können Sie Ihre Daten aus verschiedenen Quellen interaktiv einlesen, untersuchen und aufbereiten, hochpräzise ML-Modelle mit Ihren Daten trainieren und Vorhersagen erstellen. Es gibt zwei Komponenten, die Ihre Rechnung bestimmen: Sitzungsgebühren, die auf der Anzahl der Stunden basieren, in denen SageMaker Canvas verwendet oder angemeldet wird, und Gebühren für das Training des Modells, die auf der Größe des Datensatzes basieren, der zur Erstellung des Modells verwendet wird. Weitere Informationen finden Sie unter Preise für Amazon SageMaker Canvas.

Amazon SageMaker Pipelines unterstützt Sie bei der Erstellung vollautomatischer ML-Workflows von der Datenvorbereitung bis zur Modellbereitstellung. Auf diese Weise können Sie in der Produktion Tausende von ML-Modellen bereitstellen. Sie können Pipelines mit dem SageMaker-Python-SDK erstellen und sie über die Benutzeroberfläche von SageMaker Studio anzeigen, ausführen und überprüfen. SageMaker Pipelines kümmert sich um die Verwaltung der Daten zwischen den Schritten, das Packen der Code-Rezepte und die Orchestrierung ihrer Ausführung, wodurch die monatelange Codierung auf einige Stunden reduziert wird. Jedes Mal, wenn ein Workflow ausgeführt wird, wird eine vollständige Aufzeichnung der verarbeiteten Daten und der ergriffenen Maßnahmen geführt, damit Datenwissenschaftler und ML-Entwickler Probleme schnell beheben können.

Sie können einen Schritt zur Modellregistrierung in Ihrer SageMaker-Pipeline verwenden, um alle Modelle, die für den Einsatz in Frage kommen, an einem Ort zu konsolidieren. Später können Sie oder jemand anderes in Ihrem Team diese Modelle in der SageMaker Model Registry entweder über die SageMaker Studio-Benutzeroberfläche oder das Python SDK entdecken, überprüfen und für die Bereitstellung genehmigen.

Eine SageMaker-Pipeline besteht aus „Schritten“. Sie können einen der nativ unterstützten Schritttypen auswählen, um einen Workflow zu erstellen, der verschiedene SageMaker-Features (z. B. Training, Evaluierung) oder andere AWS-Services (z. B. EMR, Lambda) aufruft. Sie können Ihren vorhandenen ML-Python-Code auch in die SageMaker-Pipeline verschieben, indem Sie entweder den Python-Decorator „@step“ verwenden oder ganze Python-Notebooks als Komponenten der Pipeline hinzufügen. Weitere Informationen finden Sie im SageMaker Pipelines Developer Guide.

SageMaker Pipelines verfolgt automatisch alle Modellbestandteile und führt einen Prüfpfad über alle Änderungen, wodurch die manuelle Nachverfolgung entfällt, und kann Ihnen beim Erreichen von Compliance-Zielen helfen. Mit SageMaker Pipelines können Sie Daten, Code, trainierte Modelle und mehr verfolgen.

Für die Nutzung von SageMaker Pipelines fallen keine zusätzlichen Gebühren an. Sie zahlen nur für das zugrunde liegende Computing oder sonstige separate AWS-Services, die Sie in SageMaker Pipelines verwenden.

Ja. Amazon SageMaker Components für Kubeflow Pipelines sind Open-Source-Plugins, die es Ihnen ermöglichen, Kubeflow Pipelines zum Definieren Ihrer ML-Workflows und SageMaker für Daten-Labeling, Training und Inferenzschritte zu verwenden. Kubeflow Pipelines ist ein Add-on für Kubeflow, mit dem Sie portierbare und skalierbare durchgängige ML-Pipelines entwickeln und bereitstellen können. Allerdings müssen ML-Betriebsteams beim Verwenden von Kubeflow-Pipelines einen Kubernetes-Cluster mit CPU- und GPU-Instances verwalten und stets für eine hohe Auslastung sorgen, um Betriebskosten zu senken. Das Maximieren der Auslastung eines Clusters für mehrere Daten-Wissenschaftsteams ist schwierig und sorgt bei den ML-Betriebsteams für einen zusätzlichen betrieblichen Aufwand. Als Alternative für einen ML-optimierten Kubernetes-Cluster können Sie mit SageMaker Components für Kubeflow Pipelines leistungsstarke SageMaker-Funktionen nutzen, wie Datenkennzeichnung, vollständig verwaltete, umfangreiche Hyperparameter-Optimierung, verteilte Trainingsaufgaben, sichere und skalierbare Modellbereitstellung mit nur einem Klick sowie kostengünstiges Training durch Amazon Elastic Compute Cloud (Amazon EC2)-Spot-Instances, ohne dass Sie Kubernetes-Cluster speziell für die Ausführung der ML-Aufgaben konfigurieren und verwalten müssen.

Für die Nutzung von SageMaker Components für Kubeflow-Pipelines fallen keine zusätzlichen Gebühren an. 

Human-in-the-Loop ist der Prozess, bei dem menschliche Eingaben während des gesamten ML-Lebenszyklus genutzt werden, um die Genauigkeit und Relevanz von Modellen zu verbessern. Menschen können eine Vielzahl von Aufgaben übernehmen, von der Datengenerierung und -kommentierung bis hin zur Modellprüfung und -anpassung. Das menschliche Eingreifen ist besonders wichtig für generative KI-Anwendungen, bei denen der Mensch in der Regel sowohl der Anforderer als auch der Konsument der Inhalte ist. Es ist daher von entscheidender Bedeutung, dass Menschen Basismodelle (FMs) darin schulen, wie sie genau, sicher und sachdienlich auf die Aufforderungen der Benutzer reagieren können. Menschliches Feedback kann verwendet werden, um Ihnen bei der Erledigung mehrerer Aufgaben zu helfen. Erstens, die Erstellung qualitativ hochwertiger Trainingsdatensätze für generative KI-Anwendungen durch überwachtes Lernen (bei dem ein Mensch den Stil, die Länge und die Genauigkeit simuliert, mit der ein Modell auf Benutzeraufforderungen reagieren sollte) und verstärkendes Lernen mit menschlichem Feedback (bei dem ein Mensch die Modellantworten einstuft und klassifiziert). Zweitens, die Verwendung von Daten, die von Menschen erstellt wurden, um FMs an bestimmte Aufgaben oder an Ihre domain- und bereichsspezifischen Daten anzupassen und die Modellausgabe für Sie relevant zu machen.

Human-in-the-Loop-Fähigkeiten spielen eine wichtige Rolle bei der Entwicklung und Verbesserung von generativen KI-Anwendungen auf der Grundlage von FMs. Hochqualifiziertes Personal, das in den Leitlinien der Aufgaben geschult ist, kann Feedback, Anleitung, Inputs und Bewertungen bei Aktivitäten wie der Generierung von Demonstrationsdaten zur Schulung von FMs, der Korrektur und Verbesserung von Stichprobenantworten, der Feinabstimmung eines Modells auf der Grundlage von Unternehmens- und Branchendaten, der Absicherung gegen Toxizität und Voreingenommenheit und vielem mehr liefern. Human-in-the-Loop-Fähigkeiten können daher die Genauigkeit und Leistung des Modells verbessern. 

Amazon SageMaker Ground Truth bietet die umfassendste Palette von Human-in-the-Loop-Fähigkeiten. Es gibt zwei Möglichkeiten, Amazon SageMaker Ground Truth zu nutzen: ein Self-Service-Angebot und ein AWS-verwaltetes Angebot. Im Rahmen des Self-Service-Angebots können Ihre Datenannotatoren, Inhaltsersteller und Prompt-Engineers (intern, von Anbietern verwaltet oder unter Nutzung der öffentlichen Crowd) unsere Low-Code-Benutzeroberfläche verwenden, um die „Human-in-the-Loop“-Aufgaben zu beschleunigen, während Sie gleichzeitig die Flexibilität haben, Ihre eigenen benutzerdefinierten Workflows zu erstellen und zu verwalten. Bei dem von AWS verwalteten Angebot (SageMaker Ground Truth Plus) übernehmen wir die schwere Arbeit für Sie, einschließlich der Auswahl und Verwaltung der richtigen Arbeitskräfte für Ihren Anwendungsfall. SageMaker Ground Truth Plus entwirft und passt einen durchgängigen Workflow an (einschließlich detaillierter Mitarbeiterschulungen und Qualitätssicherungsschritte) und stellt ein qualifiziertes, von AWS verwaltetes Team bereit, das für die spezifischen Aufgaben geschult ist und Ihre Anforderungen an Datenqualität, Sicherheit und Compliance erfüllt. 

SageMaker Data Wrangler reduziert den Zeitaufwand für die Zusammenführung und Vorbereitung von Daten für ML. Über eine einzige Schnittstelle in SageMaker Studio können Sie in nur wenigen Schritten Daten aus Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon EMR, Snowflake und Databricks durchsuchen und importieren. Sie können auch Daten abfragen und importieren, die aus über 50 Datenquellen übertragen und von Amazon AppFlow im AWS-Glue-Datenkatalog registriert werden. SageMaker Data Wrangler wird die Rohdaten automatisch laden, aggregieren und anzeigen. Nachdem Sie Ihre Daten in SageMaker Data Wrangler importiert haben, können Sie automatisch generierte Spaltenzusammenfassungen und Histogramme sehen. Mit dem Bericht SageMaker Data Wrangler Data Quality and Insights, der zusammenfassende Statistiken und Warnungen zur Datenqualität enthält, können Sie Ihre Daten besser verstehen und mögliche Fehler erkennen. Sie können die von SageMaker Clarify unterstützte Verzerrungsanalyse auch direkt von SageMaker Data Wrangler aus durchführen, um mögliche Verzerrungen bei der Datenaufbereitung zu erkennen. Von dort aus können Sie die vorgefertigten Transformationen von SageMaker Data Wrangler verwenden, um Ihre Daten vorzubereiten. Sobald Ihre Daten vorbereitet sind, können Sie mit Amazon SageMaker Pipelines vollautomatische Workflows für ML erstellen oder diese Daten in den Amazon SageMaker Feature Store importieren.

SageMaker Data Wrangler unterstützt Tabellen-, Zeitreihen- und Bilddaten und bietet mehr als 300 vorkonfigurierte Datentransformationen zur Aufbereitung dieser verschiedenen Datenmodalitäten. Für Kunden, die Textdaten in Data Wrangler für NLP-Anwendungsfälle vorbereiten möchten, unterstützt Data Wrangler die NLTK-Bibliothek, so dass Kunden Textdaten vorbereiten können, indem sie ihre eigenen benutzerdefinierten Transformationen in Data Wrangler erstellen.

SageMaker Data Wrangler bietet eine Auswahl von über 300 vorgefertigten, PySpark-basierten Datentransformationen, sodass Sie Ihre Daten transformieren und Ihren Datenvorbereitungs-Workflow skalieren können, ohne eine einzige Codezeile schreiben zu müssen. Darüber hinaus können Sie Ihre Daten mithilfe einer FM-gestützten Schnittstelle in natürlicher Sprache für ML-Modelle transformieren oder einen benutzerdefinierten Code-Ausschnitt aus der Snippet-Bibliothek von SageMaker Data Wrangler erstellen.

Mit SageMaker Data Wrangler können Sie Ihre Daten besser verstehen und potenzielle Fehler und Extremwerte mithilfe einer Reihe robuster vorkonfigurierter Visualisierungsvorlagen identifizieren. Histogramme, Streudiagramme und ML-spezifische Visualisierungen wie die Erkennung von Ziellecks sind verfügbar, ohne dass eine einzige Codezeile geschrieben werden muss. Sie können auch eigene Visualisierungen erstellen und bearbeiten.

Sie zahlen für alle ML-Rechen-, Speicher- und Datenverarbeitungsressourcen, die Sie für SageMaker Data Wrangler verwenden. Hier können Sie alle Details zu den Preisen von SageMaker Data Wrangler einsehen. Im Rahmen des kostenlosen Kontingents für AWS können Sie auch kostenlos mit SageMaker Data Wrangler beginnen.

SageMaker Data Wrangler bietet ein einheitliches Erlebnis, das es Ihnen ermöglicht, Daten vorzubereiten und nahtlos ein Machine-Learning-Modell in SageMaker Canvas zu trainieren. SageMaker Canvas erstellt, trainiert und optimiert automatisch die besten ML-Modelle basierend auf Ihren Daten. Sie können auch in SageMaker Data Wrangler vorbereitete Funktionen mit Ihren bestehenden Modellen verwenden. Sie können SageMaker-Data-Wrangler-Verarbeitungsaufträge so konfigurieren, dass sie als Teil Ihrer SageMaker-Schulungspipeline ausgeführt werden, indem Sie den Auftrag entweder in der Benutzeroberfläche (UI) konfigurieren oder ein Notebook mit dem Orchestrierungscode exportieren.

Sie können SageMaker-Verarbeitungsaufträge direkt von der SageMaker-Data-Wrangler-Benutzeroberfläche aus konfigurieren und starten, einschließlich der Planung Ihres Datenverarbeitungsauftrags und der Parametrisierung Ihrer Datenquellen, um neue Datenstapel problemlos und in großem Umfang zu verarbeiten.

Sobald Sie Ihre Daten vorbereitet haben, bietet SageMaker Data Wrangler verschiedene Optionen für die Überführung Ihres SageMaker-Data-Wrangler-Flows in die Produktion und lässt sich nahtlos in MLOps und CI/CD-Funktionen integrieren. Sie können SageMaker-Verarbeitungsaufträge direkt von der SageMaker-Data-Wrangler-Benutzeroberfläche aus konfigurieren und starten, einschließlich der Planung Ihres Datenverarbeitungsauftrags und der Parametrisierung Ihrer Datenquellen, um neue Datenstapel problemlos und in großem Umfang zu verarbeiten. Alternativ lässt sich SageMaker Data Wrangler nahtlos in die SageMaker-Verarbeitung und den SageMaker-Spark-Container integrieren. So können Sie SageMaker Data Wrangler ganz einfach mit den SageMaker-SDKs in Ihren Produktions-Workflow integrieren.

Mit nur wenigen Mausklicks teilt und trainiert SageMaker Data Wrangler ein XGBoost-Modell mit Standard-Hyperparametern. Basierend auf dem Problemtyp bietet SageMaker Data Wrangler eine Modellzusammenfassung, eine Funktionszusammenfassung und eine Konfusionsmatrix, um Ihnen schnell einen Einblick zu geben, so dass Sie Ihre Datenaufbereitungsabläufe iterieren können.

SageMaker Data Wrangler unterstützt verschiedene Stichprobenverfahren – wie Top-K, Zufallsstichproben und geschichtete Stichproben – für den Import von Daten, so dass Sie Ihre Daten mit der Benutzeroberfläche von SageMaker Data Wrangler schnell umwandeln können. Wenn Sie große oder umfangreiche Datensätze verwenden, können Sie die Größe der SageMaker-Data-Wrangler-Instance erhöhen, um die Leistung zu verbessern. Sobald Sie Ihren Flow erstellt haben, können Sie Ihren gesamten Datensatz mit SageMaker-Data-Wrangler-Verarbeitungsaufträgen verarbeiten.

Ja, Sie können SageMaker Feature Store als Ziel für Ihre in SageMaker Data Wrangler vorbereiteten Funktionen konfigurieren. Dies kann direkt in der Benutzeroberfläche geschehen oder Sie können ein speziell für die Verarbeitung von Daten erstelltes Notizbuch mit dem SageMaker Feature Store als Ziel exportieren.

Der SageMaker Feature Store ist eine vollständig verwaltete, speziell entwickelte Plattform zum Speichern, Freigeben und Verwalten von Features für Machine Learning (ML)-Modelle. Features können entdeckt und gemeinsam genutzt werden, um sie modell- und teamübergreifend mit sicherem Zugriff und Kontrolle, auch für AWS-Konten, einfach wiederzuverwenden. SageMaker Feature Store unterstützt sowohl Online- als auch Offline-Features für Echtzeit-Inferenz, Batch-Inferenz und Training. Es verwaltet auch Batch- und Streaming-Feature-Engineering-Pipelines, um Doppelarbeit bei der Feature-Erstellung zu reduzieren und die Modellgenauigkeit zu verbessern.

Bei Offline-Features handelt es sich in der Regel um große Mengen historischer Daten, die für das Training und die Batch-Inferenz verwendet werden. Offline-Features werden in einem Objektspeicher mit hoher Verfügbarkeit und hoher Haltbarkeit verwaltet.

Online-Funktionen werden in Anwendungen verwendet, um Prognosen in Echtzeit zu erstellen. Online-Funktionen werden von einem Speicher mit hohem Durchsatz bereitgestellt, der Latenzzeiten im einstelligen Millisekundenbereich von Client-Anwendungen für schnelle Prognosen unterstützt.

Der SageMaker Feature Store gewährleistet automatisch die Konsistenz zwischen Online- und Offline-Features ohne zusätzliche Verwaltung oder Code, um die Konsistenz in Trainings- und Inferenzumgebungen zu gewährleisten.

Der SageMaker Feature Store verwaltet Zeitstempel für alle Features und bietet integrierte Methoden, mit denen Sie Features jederzeit abrufen können, sei es für geschäftliche oder Compliance-Anforderungen. Anstatt komplexe SQL-Abfragen oder viel Code zu schreiben, können Sie die integrierten Methoden für Zeitreisen und zeitpunktgenaue Verknüpfungen aufrufen, um Datensätze für das Training und die Batch-Inferenz für den gewünschten Zeitraum zu generieren

Im Rahmen des kostenlosen Kontingents für AWS können Sie SageMaker Feature Store zum Einstieg kostenlos verwenden. Mit dem SageMaker Feature Store bezahlen Sie für das Schreiben in den Feature Store sowie für das Lesen und Speichern im Online Feature Store. Informationen zu Preisen finden Sie unter Preise für Amazon SageMaker.

SageMaker bietet zwei Angebote zum Daten-Labeling: Amazon SageMaker Ground Truth Plus und Amazon SageMaker Ground Truth. Mit beiden Optionen können Sie Rohdaten wie Bilder, Textdateien und Videos identifizieren und informative Beschriftungen hinzufügen, um hochwertige Trainings-Datensätze für Ihre ML-Modelle zu erstellen. Weitere Informationen finden Sie unter Daten-Labeling mit Amazon SageMaker.

Geodaten stellen Merkmale oder Objekte auf der Erdoberfläche dar. Die erste Art von Geodaten sind Vektordaten, die zweidimensionale Geometrien wie Punkte, Linien oder Polygone verwenden, um Objekte wie Straßen und Landgrenzen darzustellen. Bei der zweiten Art von Geodaten handelt es sich um Rasterdaten, wie z.B. Bilder, die von Satelliten, Luftplattformen oder Fernerkundungsdaten aufgenommen wurden. Dieser Datentyp verwendet eine Pixelmatrix, um zu definieren, wo sich die Merkmale befinden. Sie können Rasterformate zum Speichern unterschiedlicher Daten verwenden. Eine dritte Art von Geodaten sind mit Geo-Tags versehene Standortdaten. Dazu gehören Points of Interest (z. B. der Eiffelturm), mit Ortsangaben versehene Beiträge in sozialen Medien, Breiten- und Längengradkoordinaten oder verschiedene Stile und Formate von Straßenadressen.

Die Geodatenfunktionen von SageMaker ermöglichen es Datenwissenschaftlern und ML-Ingenieuren, ML-Modelle für Prognosen mithilfe von Geodaten zu entwickeln, zu trainieren und bereitzustellen. Sie können Ihre eigenen Daten wie Planet-Labs-Satellitendaten von Amazon S3 hinzufügen oder Daten von Open Data in AWS, Amazon Location Service und anderen Geodatenquellen von SageMaker erwerben.

Sie können Geodaten-ML-Funktionen von SageMaker verwenden, um Prognosen zu Geodaten schneller zu treffen als mit Do-it-yourself-Lösungen. Die Geodaten-Funktionen von SageMaker vereinfachen den Zugriff auf Geodaten aus Ihren vorhandenen Kunden-Data-Lakes, Open-Source-Datensätzen und anderen Geodatenquellen von SageMaker. Die Geodaten-Funktionen von SageMaker minimieren den Bedarf an benutzerdefinierten Infrastruktur- und Datenvorverarbeitungs-Funktionen, da sie speziell entwickelte Algorithmen für eine effiziente Datenaufbereitung, Modelltraining und Inferenz bieten. Sie können auch benutzerdefinierte Visualisierungen und Daten von SageMaker Studio aus erstellen und für Ihr Unternehmen freigeben. Zu den Geodaten-Funktionen von SageMaker gehören vortrainierte Modelle für allgemeine Anwendungen in der Landwirtschaft, Immobilien, Versicherungen und Finanzdienstleistungen.

Sie können vollständig verwaltete Jupyter Notebooks in SageMaker für die vollständige ML-Entwicklung verwenden. Skalieren Sie Ihre Rechen-Instances nach oben oder unten mit der größten Auswahl an rechenoptimierten und GPU-beschleunigten Instances in der Cloud.

SageMaker-Studio-Notebooks sind Jupyter-Notebooks in einem Schritt, die sich schnell hochfahren lassen. Die zugrunde liegenden Rechenressourcen sind voll elastisch, sodass Sie die verfügbaren Ressourcen einfach nach oben oder unten wählen können und die Änderungen automatisch im Hintergrund stattfinden, ohne Ihre Arbeit zu unterbrechen. SageMaker ermöglicht auch die Freigabe von Notebooks in einem Schritt. Sie können Notebooks problemlos mit anderen teilen und diese erhalten genau dasselbe Notebook, das am selben Ort gespeichert ist.

Mit SageMaker-Studio-Notebooks können Sie sich mit Ihren Unternehmensdaten über IAM Identity Center anmelden. Die gemeinsame Nutzung von Notebooks innerhalb und zwischen Teams ist einfach, da die für den Betrieb eines Notebooks erforderlichen Abhängigkeiten automatisch in den Arbeits-Images verfolgt werden, die bei der gemeinsamen Nutzung des Notebooks mit diesem gekapselt werden.

Notebooks in SageMaker Studio IDEs bieten einige wichtige Funktionen, die sie von den Instance-basierten Notebooks unterscheiden. Erstens können Sie Notebooks schnell starten, ohne dass Sie eine Instance manuell bereitstellen und darauf warten müssen, dass sie einsatzbereit ist. Die Startzeit für den Aufruf der Benutzeroberfläche zum Lesen und Ausführen eines Notebooks ist schneller als bei den Instance-basierten Notebooks. Sie haben auch die Flexibilität, jederzeit aus einer großen Sammlung von Instance-Typen innerhalb der Benutzeroberfläche zu wählen. Es ist nicht nötig, über die AWS-Managementkonsole zu gehen, um neue Instances zu starten und Ihre Notebooks zu portieren. Jeder Benutzer hat ein isoliertes Home-Verzeichnis, unabhängig von einer bestimmten Instance. Dieses Verzeichnis wird beim Start automatisch in alle Notebook-Server und Kernel gemountet, so dass Sie auf Ihre Notebooks und andere Dateien zugreifen können, auch wenn Sie die Instance wechseln, um Ihre Notebooks anzuzeigen und auszuführen. SageMaker-Studio-Notebooks sind in AWS IAM Identity Center (Nachfolger von AWS SSO) integriert, so dass es einfach ist, die organisatorischen Anmeldeinformationen für den Zugriff auf die Notebooks zu verwenden. Sie sind auch mit speziell entwickelten ML-Tools in SageMaker und anderen AWS Services für Ihre komplette ML-Entwicklung integriert, von der Aufbereitung von Daten im Petabyte-Maßstab mithilfe von Spark in Amazon EMR über das Trainieren und Debuggen von Modellen bis hin zum Bereitstellen und Überwachen von Modellen und Verwalten von Pipelines.

Amazon SageMaker Notebooks gewährt Zugriff auf alle SageMaker-Features, darunter verteiltes Training, Batch-Transformation, Hosting und Experimentverwaltung. Sie können aus SageMaker-Notebooks heraus auch auf andere Services wie Datensätze in Amazon S3, Amazon Redshift, AWS Glue, Amazon EMR, oder AWS Lake Formation zugreifen.

ML-Praktiker können einen gemeinsamen Arbeitsbereich erstellen, in dem Teamkollegen SageMaker-Studio-Notebooks gemeinsam lesen und bearbeiten können. Durch die Verwendung der gemeinsamen Schritte können Teamkollegen dieselbe Notebook-Datei gemeinsam bearbeiten, den Notebook-Code gleichzeitig ausführen und die Ergebnisse gemeinsam überprüfen, um ein Hin und Her zu vermeiden und die Zusammenarbeit zu optimieren. In den gemeinsam genutzten Bereichen werden ML-Teams über integrierte Unterstützung für Dienste wie BitBucket und AWS CodeCommit verfügen, so dass sie problemlos verschiedene Versionen ihres Notebooks verwalten und Änderungen im Laufe der Zeit vergleichen können. Alle in den Notebooks erstellten Ressourcen, wie z. B. Experimente und ML-Modelle, werden automatisch gespeichert und mit dem spezifischen Arbeitsbereich verknüpft, in dem sie erstellt wurden, so dass die Teams leichter organisiert bleiben und die Entwicklung von ML-Modellen beschleunigen können.

Bei der Nutzung von SageMaker Notebooks in Studio-IDEs zahlen Sie für Rechnerleistung und Speicherkapazität. Siehe Preise für Amazon SageMaker für die Gebühren nach Recheninstance-Typ. Ihre Notebooks und einschlägige Artefakte wie Dateien und Skripte bleiben auf Amazon Elastic File System (Amazon EFS) erhalten. Unter Preise für Amazon EFS finden Sie die Speichergebühren. Im Rahmen des kostenlosen AWS-Kontingents können Sie SageMaker-Studio-Notebooks zum Einstieg kostenlos verwenden.

Nein. Sie können auf derselben Compute-Instance mehrere Notebooks einrichten und betreiben. Sie zahlen nur für genutzte Datenverarbeitung, nicht für einzelne Elemente. Weitere Informationen zu diesem Thema finden Sie unserem Leitfaden zur Messung.

Neben Notebooks können Sie in SageMaker Studio zudem Terminals und interaktive Shells starten und betreiben – alles auf derselben Computing-Instance. Jede Anwendung läuft innerhalb eines Containers oder Images. SageMaker Studio stellt eine Reihe integrierter Images bereit, die gezielt und vorab konfiguriert für Datenwissenschaft und ML sind.

Überwachung und Herunterfahren der Ressourcen, die von Ihren SageMaker-Studio-Notebooks genutzt werden, können über die visuelle Oberfläche von SageMaker Studio sowie die AWS-Managementkonsole erfolgen. Weitere Informationen finden Sie in der Dokumentation.

Ja. Sie werden weiterhin für die Datenverarbeitung belastet. Dies kann man mit dem Starten von Amazon-EC2-Instances in der AWS-Managementkonsole und dem anschließenden Schließen des Browsers vergleichen. Die Amazon-EC2-Instances laufen weiter und es fallen weiterhin Gebühren an, es sei denn, Sie schalten die Instance extra ab.

Nein. Für Einrichten oder Konfigurieren einer SageMaker-Studio-Domain sowie Hinzufügen, Updaten und Löschen von Benutzerprofilen entstehen keine Gebühren.

Als Administrator finden Sie die Liste der einzelnen Gebührenposten für SageMaker, darunter derer für SageMaker Studio, in der AWS-Fakturierungskonsole. Wählen Sie in der AWS-Managementkonsole für SageMaker im Menü oben Services aus, geben Sie im Suchfeld „billing“ (Fakturierung) ein und wählen Sie aus der Dropdown-Liste „Billing“ aus. Wählen Sie dann auf der linken Seite Bills (Rechnungen) aus. Im Details-Bereich können Sie auf SageMaker klicken, um die Liste der Regionen zu erweitern und einzelne Gebührenposten anzusehen.

SageMaker Studio Lab ist eine kostenlose Entwicklungsumgebung für ML, die kostenlos Computing, Speicher (bis zu 15 GB) und Sicherheit bietet, damit jeder mit ML lernen und experimentieren kann. Alles, was Sie für den Anfang benötigen, ist eine gültige E-Mail-ID, Sie müssen keine Infrastruktur konfigurieren, Identität und Zugriff verwalten oder sich für ein AWS-Konto anmelden. SageMaker Studio Lab beschleunigt die Modellerstellung durch die GitHub-Integration und ist mit den beliebtesten ML-Tools, Frameworks und Bibliotheken vorkonfiguriert, damit Sie sofort loslegen können. SageMaker Studio Lab speichert Ihre Arbeit automatisch, sodass Sie zwischen den Sitzungen nicht neu starten müssen. Sie können einfach Ihren Laptop schließen und später wiederkommen.

SageMaker Studio Lab richtet sich an Studenten/innen, Forscher und Datenwissenschaftler, die eine kostenlose Notebook-Entwicklungsumgebung ohne Einrichtung für ihre ML-Kurse und -Experimente benötigen. SageMaker Studio Lab eignet sich hervorragend für Benutzer, die keine Produktionsumgebung benötigen, aber dennoch eine Teilmenge der SageMaker-Funktionalität benötigen, um ihre ML-Fähigkeiten zu verbessern. SageMaker-Sitzungen werden automatisch gespeichert, sodass Benutzer bei jeder Benutzersitzung dort weitermachen können, wo sie aufgehört haben.

SageMaker Studio Lab ist ein auf AWS basierender Service und nutzt viele der gleichen Kernservices wie Amazon SageMaker Studio, z. B. Amazon S3 und Amazon EC2. Im Gegensatz zu den anderen Services benötigen Kunden kein AWS-Konto. Stattdessen erstellen sie ein spezifisches Konto für SageMaker Studio Lab mit einer E-Mail-Adresse. Dadurch erhält der Benutzer Zugriff auf eine begrenzte Umgebung (15 GB Speicher und 12 Stunden Sitzungen), damit er ML-Notebooks ausführen kann.

Mit SageMaker Canvas können Sie nahtlos AWS-Datenquellen entdecken, auf die Ihr Konto Zugriff hat, einschließlich Amazon S3 und Amazon Redshift. Sie können Daten mit der visuellen Drag-and-Drop-Oberfläche von SageMaker Canvas durchsuchen und importieren. Darüber hinaus können Sie Dateien per Drag-and-Drop von Ihrer lokalen Festplatte ziehen und vorgefertigte Konnektoren verwenden, um Daten aus Drittanbieterquellen wie Snowflake zu importieren.

Nachdem Sie Quellen verbunden, einen Datensatz ausgewählt und Ihre Daten vorbereitet haben, können Sie die Zielspalte auswählen, die Sie vorhersagen möchten, um einen Modellerstellungsauftrag einzuleiten. SageMaker Canvas identifiziert automatisch die Art des Problems, generiert neue relevante Funktionen, testet einen umfassenden Satz von Prognosemodellen mit ML-Techniken wie linearer Regression, logistischer Regression, Deep Learning, Zeitreihenvorhersage und Gradient Boosting und erstellt das Modell, das auf der Grundlage Ihres Datensatzes genaue Prognosen macht.

SageMaker HyperPod wurde speziell entwickelt, um die Ausbildung im Basismodell (FM) zu beschleunigen. Sie bietet eine robustere Infrastruktur, die für groß angelegte verteilte Trainings optimiert ist und es Ihnen ermöglicht, schneller auf Tausenden von Beschleunigern zu trainieren. Sie erkennt, diagnostiziert und behebt die Fehler automatisch, so dass Sie FMs monatelang ohne Unterbrechung trainieren können. SageMaker HyperPod ist mit verteilten Trainingsbibliotheken von SageMaker vorkonfiguriert, damit Sie die Leistung effizient verbessern können, indem Sie die Trainingsdaten des Modells in kleinere Blöcke verteilen, sodass sie parallel zwischen Beschleunigern verarbeitet werden können.

Wenn Sie längere und größere Workloads benötigen, die eine hohe Anzahl von Instances wie GPUs oder AWS-Beschleuniger erfordern, können Sie SageMaker HyperPod verwenden, um die Trainingszeit zu verkürzen.

Ja. SageMaker kann Deep-Learning-Modelle und große Trainingssätze in einem Bruchteil der Zeit, die zum manuellen Erstellen und Optimieren dieser Verteilungsstrategien erforderlich ist, automatisch auf AWS-GPU-Instances verteilen. Die beiden verteilten Trainingstechniken, die SageMaker anwendet, sind Datenparallelität und Modellparallelität. Datenparallelität wird angewendet, um die Trainingsgeschwindigkeit zu verbessern, indem die Daten gleichmäßig auf mehrere GPU-Instances verteilt werden, sodass jede Instance gleichzeitig trainieren kann. Modellparallelität ist nützlich für Modelle, die zu groß sind, um auf einer einzelnen GPU gespeichert zu werden, und erfordert, dass das Modell in kleinere Teile aufgeteilt wird, bevor es auf mehrere GPUs verteilt wird. Mit nur wenigen Zeilen zusätzlichen Codes in Ihren PyTorch- und TensorFlow-Schulungsskripten wendet SageMaker automatisch Datenparallelität oder Modellparallelität für Sie an, sodass Sie Ihre Modelle schneller entwickeln und bereitstellen können. SageMaker bestimmt den besten Ansatz für die Aufteilung Ihres Modells, indem es Algorithmen zur Graphenpartitionierung verwendet, um die Berechnungen der einzelnen GPUs auszugleichen und gleichzeitig die Kommunikation zwischen den GPU-Anwendung zu minimieren. SageMaker optimiert Ihre verteilten Trainingsaufträge auch durch Algorithmen, die die AWS-Datenverarbeitung und das AWS-Netzwerk vollständig nutzen, um eine nahezu lineare Skalierungseffizienz zu erzielen, mit der Sie Schulungen schneller abschließen können als manuelle Open-Source-Implementierungen.

Mit SageMaker-Experimenten können Sie Iterationen organisieren und nach ML-Modellen verfolgen. Mit SageMaker-Experimenten können Sie Iterationen verwalten, indem Sie die Eingabeparameter, Konfigurationen und Ergebnisse automatisch erfassen und als „Experimente“ speichern. Sie können ein Amazon SageMaker-Experiment erstellen, um Ihre ML-Workflows mit ein paar Codezeilen aus Ihrer bevorzugten Entwicklungsumgebung zu verfolgen. Sie können SageMaker Experiments auch mithilfe des SageMaker Python SDK in Ihr SageMaker-Trainingsskript integrieren.

SageMaker Debugger erfasst während des Trainings automatisch Metriken in Echtzeit, z. B. Konfusionsmatritzen und Lerngradienten, um die Modellgenauigkeit zu verbessern. Die Metriken von SageMaker Debugger können zum besseren Verständnis in SageMaker Studio visualisiert werden. SageMaker Debugger kann auch Warnungen und Fehlerbehebungshinweise generieren, wenn allgemeine Schulungsprobleme festgestellt werden. SageMaker Debugger überwacht und profiliert außerdem automatisch Systemressourcen wie CPUs, GPUs, Netzwerk und Speicher in Echtzeit und gibt Empfehlungen zur Neuzuweisung dieser Ressourcen. Auf diese Weise können Sie Ihre Ressourcen während des Trainings effizient nutzen und Kosten und Ressourcen reduzieren.

Managed Spot Training mit SageMaker lässt Sie Ihre ML-Modelle mithilfe von Amazon-EC2-Spot-Instances trainieren und gleichzeitig die Trainingskosten für Ihre Modelle um bis zu 90 % senken.

Sie aktivieren die Option Managed Spot Training, wenn Sie Ihre Trainingsaufträge einreichen, und Sie geben auch an, wie lange Sie auf Spot-Kapazität warten möchten. SageMaker verwendet dann Amazon-EC2-Spot-Instances, um Ihren Auftrag auszuführen, und verwaltet die Spot-Kapazität. Sie haben vollen Einblick in den Status Ihres Trainingsauftrags, sowohl während sie laufen als auch während sie auf Kapazität warten.

Managed Spot Training ist ideal, wenn Sie Flexibilität bei Ihren Trainingsläufen haben und wenn Sie die Kosten Ihrer Trainingsaufträge minimieren möchten. Mit Managed Spot Training können Sie die Kosten für das Training Ihrer ML-Modelle um bis zu 90 % zu senken.

Managed Spot Training verwendet Amazon-EC2-Spot-Instances zum Training und diese Instances können vorweggenommen werden, wenn AWS Kapazität benötigt. Daher können Managed Spot Trainings-Aufträge in kleinen Schritten ausgeführt werden, sobald die Kapazität verfügbar wird. Die Trainingsaufträge müssen nicht von Grund auf neu gestartet werden, wenn es zu einer Unterbrechung kommt, da SageMaker die Trainingsaufträge mit dem neuesten Modell-Checkpoint wieder aufnehmen kann. Die integrierten Rahmenbedingungen und die integrierten Computer-Vision-Algorithmen mit SageMaker ermöglichen regelmäßige Checkpoints, und Sie können Checkpoints mit benutzerdefinierten Modellen aktivieren.

Wir empfehlen regelmäßige Checkpoints als allgemein bewährtes Verfahren für lange laufende Trainingsaufträge. Dadurch wird verhindert, dass Ihre Managed-Spot-Trainings-Aufträge neu gestartet werden, wenn die Kapazität vorweggenommen wird. Wenn Sie Checkpoints aktivieren, setzt SageMaker Ihre Managed-Spot-Trainings-Aufträge vom letzten Checkpoint aus fort.

Sobald ein Managed-Spot-Training-Auftrag abgeschlossen ist, können Sie die Einsparungen in der AWS-Managementkonsole sehen und auch die Kosteneinsparungen als prozentuale Differenz zwischen der Dauer, für die der Trainingsauftrag ausgeführt wurde, und der Dauer, die Ihnen in Rechnung gestellt wurde, berechnen. Unabhängig davon, wie oft Ihre Managed-Spot-Training-Aufträge unterbrochen werden, werden Sie nur einmal für die Dauer belastet, für die die Daten heruntergeladen wurden.

Managed Spot Training kann mit allen Instances verwendet werden, die in SageMaker unterstützt werden.

Managed Spot Training wird in allen AWS-Regionen unterstützt, in denen SageMaker derzeit verfügbar ist.

Es gibt keine festen Grenzen für die Größe der Datensätze, die Sie für Trainingsmodelle mit SageMaker verwenden können.

SageMaker umfasst integrierte Algorithmen für lineare Regression, logistische Regression, K-Means-Clustering, Hauptkomponentenanalyse, Faktorisierungsmaschinen, Modellierung neuronaler Themen, latente Dirichlet-Zuordnung, Gradient-Boosted-Trees, sequence2sequence, Zeitreihenprognose, word2vec und Bildklassifizierung. SageMaker bietet außerdem optimierte Apache MXNet-, Tensorflow-, Chainer-, PyTorch-, Gluon-, Keras-, Horovod-, Scikit-learn- und Deep Graph Library-Container. Darüber hinaus unterstützt SageMaker Ihre benutzerdefinierten Trainingsalgorithmen, die über ein Docker-Image bereitgestellt werden, das der dokumentierten Spezifikation entspricht.

Die meisten Algorithmen für ML machen verschiedene Parameter verfügbar, die wie der zugrunde liegende Algorithmus funktioniert. Diese Parameter werden meist als „Hyperparameter“ bezeichnet. Von ihren Werten hängt ab, wie gut die trainierten Modelle sind. Bei der automatischen Modelloptimierung wird nach Hyperparametern eines Algorithmus gesucht, die ein optimales Modell erzeugen können.

Sie können die automatische Modelloptimierung in SageMaker zusätzlich zu Algorithmen ausführen lassen, vorausgesetzt, dass die Modelloptimierung wissenschaftlich realisierbar ist, einschließlich integrierter SageMaker-Algorithmen, tief reichenden neuronalen Netzwerken oder beliebigen Algorithmen, den Sie als Docker-Image in SageMaker einführen.

Nein, derzeit nicht. Die beste Modelloptimierung genießen Sie mit SageMaker.

Derzeit verwenden wir als Algorithmus für die Optimierung von Hyperparametern eine benutzerdefinierte Implementierung der bayes'schen Optimierungsmethodik. Diese zielt darauf ab, eine vom Kunden festgelegte Zielmetrik über den gesamten Optimierungsprozess zu optimieren. Die Implementierung prüft insbesondere die Zielmetrik der abgeschlossenen Trainingsaufträgen und leitet aus den gewonnenen Informationen die Hyperparameterkombination für den nächsten Trainingsauftrag ab.

Nein. Wie sich bestimmte Hyperparameter auf die Leistung des Modells auswirken, hängt von verschiedenen Faktoren ab. Es lässt sich kaum abschließend vorhersagen, ob ein Hyperparameter wichtiger ist als der andere und deshalb angepasst werden muss. Wenn in SageMaker Algorithmen integriert sind, geben wir an, ob ein Hyperparameter angepasst werden kann.

Wie lange eine Hyperparameteroptimierung dauert, hängt von verschiedenen Faktoren ab. So ist beispielsweise zu berücksichtigen, wie groß der Datenbestand ist, welcher Algorithmus zugrunde liegt und welche Werte die Hyperparameter aufweisen. Darüber hinaus können Kunden angeben, wie viele Trainings gleichzeitig laufen sollen und wie viele Trainings insgesamt durchgeführt werden sollen. All diese Entscheidungen wirken sich auf die Dauer der Hyperparameteroptimierung aus.

Nein, derzeit nicht. Derzeit müssen Sie eine einzelne Zielmetrik vorgeben, wenn Sie Ihren Algorithmuscode so optimieren oder abändern möchten, dass er eine neue Metrik (ein gewichteter Durchschnitt aus zwei oder mehreren nützlichen Kennzahlen) ausgibt und dass die Optimierung auf diese Zielmetrik optimal ausgerichtet wird.

Für die eigentliche Hyperparameteroptimierung wird nichts berechnet. Kostenpflichtig sind jedoch die Trainings, die von der Hyperparameteroptimierung ausgelöst werden. Hierbei sind die Preise für Modelltraining ausschlaggebend.

SageMaker Autopilot automatisiert jeden Schritt in einem typischen ML-Workflow, einschließlich der Funktionsvorverarbeitung, der Algorithmusauswahl und der Hyperparameter-Optimierung. Der besondere Fokus liegt hier auf Anwendungsfällen in den Bereichen Klassifizierung und Regression. Die automatische Modelloptimierung auf der anderen Seite wurde für die Optimierung beliebiger Modelle konzipiert. Dabei ist es unerheblich, ob es auf integrierten Algorithmen, Deep Learning-Frameworks oder benutzerdefinierten Containern basiert. Im Austausch für die Flexibilität müssen Sie den jeweiligen Algorithmus manuell auswählen und die zu optimierenden Hyperparameter and die entsprechenden Suchbereiche bestimmen.

Bestärkendes Lernen ist eine Technik des ML, mit der ein Agent in einer interaktiven Umgebung durch Versuch und Irrtum lernen kann. Dabei fließt auch Feedback von seinen eigenen Aktionen und Erfahrungen ein.

Ja, Sie können Modelle für das verstärkende Lernen zusätzlich zu den Modellen für das überwachte und unüberwachte Lernen in SageMaker trainieren.

Beim Supervised Learning und beim bestärkenden Lernen wird die Zuweisung zwischen Eingabe und Ausgabe verwendet. Beim Supervised Learning besteht das Feedback, das ein Agent erhält, aber aus einem korrekten Satz an Aktionen für das Ausführen einer Aufgabe. Das bestärkende Lernen verwendet dagegen ein verzögertes Feedback, bei dem Belohnungssignale optimiert werden, um ein langfristiges Ziel durch eine Folge von Aktionen zu gewährleisten.

Beim überwachten Lernen besteht das Ziel darin, basierend auf Mustern in den Trainingsdaten die richtige Antwort zu ermitteln. Beim nicht überwachten Lernen gilt es, Ähnlichkeiten und Unterschiede zwischen Datenpunkten zu finden. Im Gegensatz dazu besteht das Ziel des Reinforcement Learnings (RL) darin, zu lernen, wie ein gewünschtes Ergebnis erreicht werden kann, auch wenn es noch nicht klar ist. Daher ist das bestärkende Lernen besser für die Unterstützung intelligenter Anwendungen geeignet, bei denen ein Agent autonome Entscheidungen treffen kann, z. B. bei Robotern, autonomen Fahrzeugen, HLK-Systemen, industriellen Steuerungen usw.

Amazon SageMaker RL unterstützt eine Reihe von Umgebungen für das Trainieren von RL-Modellen. Sie können AWS-Services wie AWS RoboMaker, Open-Source-Umgebungen, benutzerdefinierte und mit Open-AI-Gym-Schnittstellen entwickelte Umgebungen und kommerzielle Simulationsumgebungen wie MATLAB und SimuLink verwenden.

Nein. SageMaker RL umfasst Toolkits für das verstärkende Lernen wie Coach und Ray RLLib, die Implementierungen von RL-Agenten-Algorithmen wie DQN, PPO, A3C usw. bieten.

Ja. Sie können Ihre eigenen Bibliotheken für das verstärkende Lernen und Algorithmus-Implementierungen in Docker-Containern einbringen und sie in SageMaker RL ausführen.

Ja. Sie können sogar ein heterogenes Cluster auswählen, bei dem das Training auf einer GPU-Instance und die Simulationen auf mehreren CPU-Instances ausgeführt werden können.

Nachdem Sie Modelle erstellt und trainiert haben, bietet SageMaker drei Optionen zur Bereitstellung, damit Sie mit der Erstellung von Prognosen beginnen können. Die Echtzeit-Inferenz eignet sich für Workloads mit Latenzanforderungen im Millisekundenbereich, Nutzlastgrößen bis zu 6 MB und Verarbeitungszeiten von bis zu 60 Sekunden. Die Batch-Transformation eignet sich hervorragend für Offline-Vorhersagen für große Datenmengen, die im Voraus verfügbar sind. Die asynchrone Inferenz wurde für Workloads entwickelt, die keine Latenzzeiten von weniger als einer Sekunde, Nutzlastgrößen von bis zu 1 GB und Verarbeitungszeiten von bis zu 15 Minuten erfordern.

SageMaker Asynchronous Inference stellt eingehende Anforderungen in eine Warteschlange und verarbeitet sie asynchron. Diese Option ist ideal für Anfragen mit großen Nutzdaten und/oder langen Bearbeitungszeiten, die bei ihrem Eintreffen bearbeitet werden müssen. Optional können Sie die Einstellungen für die automatische Skalierung so konfigurieren, dass die Anzahl der Instances auf Null gesenkt wird, wenn keine aktiven Anfragen bearbeitet werden, um Kosten zu senken.

Sie können die Anzahl der Endpunkt-Instances von SageMaker Asynchronous Inference auf Null reduzieren, um Kosten zu senken, wenn Sie nicht aktiv Anfragen verarbeiten. Sie müssen eine Skalierungsrichtlinie definieren, die nach der benutzerdefinierten Metrik „ApproximateBacklogPerInstance“ skaliert und den Wert „MinCapacity“ auf Null setzt. Eine schrittweise Anleitung finden Sie im Abschnitt Automatische Skalierung eines asynchronen Endpunkts im Entwicklerhandbuch. 

SageMaker Serverless Inference ist eine speziell entwickelte Serverless-Modellbereitstellungsoption, die die Bereitstellung und Skalierung von ML-Modellen vereinfacht. SageMaker-Serverless-Inference-Endpunkte starten automatisch die Computingressourcen und skalieren sie je nach Datenverkehr ein und aus, sodass Sie nicht mehr den Instance-Typ auswählen, bereitgestellte Kapazität ausführen oder die Skalierung verwalten müssen. Sie können optional die Speicheranforderungen für Ihren Serverless-Inference-Endpunkt angeben. Sie zahlen nur für die Laufzeit des Inferenzcodes und die verarbeitete Datenmenge, nicht für Leerlaufzeiten.

SageMaker Serverless Inference vereinfacht das Entwicklererlebnis, indem es die Notwendigkeit beseitigt, im Voraus Kapazitäten bereitzustellen und Skalierungsrichtlinien zu verwalten. SageMaker Serverless Inference kann basierend auf den Nutzungsmustern innerhalb von Sekunden von zehn auf Tausende von Inferenzen skaliert werden, was es ideal für ML-Anwendungen mit intermittierendem oder unvorhersehbarem Datenverkehr macht. Ein Chatbot-Service, der von einem Gehaltsabrechnungsunternehmen genutzt wird, verzeichnet zum Beispiel am Monatsende einen Anstieg der Anfragen, während der restliche Monat von unregelmäßigem Datenverkehr geprägt ist. Die Bereitstellung von Instances für den gesamten Monat ist in solchen Szenarien nicht kosteneffizient, da Sie am Ende für Leerlaufzeiten bezahlen. SageMaker Serverless Inference hilft bei der Bewältigung dieser Art von Anwendungsfällen, indem es Ihnen sofort eine automatische und schnelle Skalierung bereitstellt, ohne dass Sie den Datenverkehr im Voraus vorhersagen oder Skalierungsrichtlinien verwalten müssen. Darüber hinaus zahlen Sie nur für die Rechenzeit für die Ausführung Ihres Inferenzcodes (in Millisekunden abgerechnet) und für die Datenverarbeitung, was es zu einer kostengünstigen Option für Workloads mit intermittierendem Datenverkehr macht.

Provisioned Concurrency (bereitgestellte Nebenläufigkeit) ermöglicht Ihnen die Bereitstellung von Modellen auf Serverless-Endpunkten mit vorhersehbarer Leistung und hoher Skalierbarkeit, indem Ihre Endpunkte für eine bestimmte Anzahl gleichzeitiger Anforderungen warm gehalten werden.

Bei On-Demand-Serverless-Endpunkten kann es einige Zeit dauern, bis Ihr Endpunkt die Rechenressourcen zur Verarbeitung der Anfragen hochgefahren hat, wenn Ihr Endpunkt eine Weile lang keinen Datenverkehr empfängt und dann plötzlich neue Anforderungen erhält. Dies wird als „Kaltstart“ bezeichnet. Ein Kaltstart kann auch auftreten, wenn Ihre nebenläufige Anforderungen die aktuelle Auslastung für nebenläufige Anforderungen überschreiten. Die Kaltstartzeit hängt von Ihrer Modellgröße, der Dauer des Herunterladens Ihres Modells und der Startzeit Ihres Containers ab.

Um die Variabilität in Ihrem Latenzprofil zu verringern, können Sie optional bereitgestellte Nebenläufigkeit für Ihre Serverless-Endpunkte aktivieren. Mit Provisioned Concurrency sind Ihre Serverless-Endpunkte immer einsatzbereit und können sofort Datenverkehrsschübe bewältigen, ohne dass es zu Kaltstarts kommt.

Wie bei On-Demand-Serverless-Inferenz zahlen Sie, wenn Provisioned Concurrency aktiviert ist, für die zur Verarbeitung von Inferenzanfragen aufgewendete Rechenkapazität, die pro Millisekunde abgerechnet wird, und für die Menge der verarbeiteten Daten. Sie zahlen auch für die Nutzung von Provisioned Concurrency, basierend auf dem konfigurierten Speicher, der bereitgestellten Dauer und dem Umfang der aktivierten Nebenläufigkeit. Weitere Informationen finden Sie unter Preise für Amazon SageMaker.

Mit SageMaker können Sie Schattentests durchführen, um ein neues ML-Modell vor der Produktionsfreigabe zu evaluieren, indem Sie seine Leistung im Vergleich zum aktuell eingesetzten Modell testen. SageMaker setzt das neue Modell im Schattenmodus neben dem aktuellen Produktionsmodell ein und spiegelt einen benutzerdefinierten Teil des Produktionsverkehrs auf das neue Modell. Es protokolliert optional die Modellinferenzen für den Offline-Vergleich. Außerdem bietet es ein Live-Dashboard mit einem Vergleich der wichtigsten Leistungsmetriken wie Latenz und Fehlerrate zwischen dem Produktions- und dem Schattenmodell, um Ihnen die Entscheidung zu erleichtern, ob Sie das neue Modell in die Produktion übernehmen sollen.

SageMaker vereinfacht das Einrichten und Überwachen von Schattenvarianten, so dass Sie die Leistung des neuen ML-Modells beim Live-Produktionsverkehr bewerten können. Mit SageMaker müssen Sie die Infrastruktur für Schattentests nicht mehr orchestrieren. Damit können Sie Testparameter wie den Prozentsatz des Datenverkehrs, der auf die Schattenvariante gespiegelt wird, und die Dauer des Tests steuern. Sie können also klein anfangen und die Inferenzanforderungen an das neue Modell erhöhen, sobald Sie Vertrauen in die Leistung des Modells gewonnen haben. SageMaker erstellt ein Live-Dashboard, das die Leistungsunterschiede bei den wichtigsten Metriken anzeigt, so dass Sie die Leistung des Modells leicht vergleichen können, um zu beurteilen, wie sich das neue Modell vom Produktionsmodell unterscheidet.

SageMaker Inference Recommender verkürzt die Zeit, die erforderlich ist, um ML-Modelle in die Produktion zu bringen, indem das Leistungs-Benchmarking automatisiert und die Modellleistung in allen SageMaker-ML-Instances optimiert wird. Sie können jetzt den SageMaker Inference Recommender verwenden, um Ihr Modell an einem Endpunkt bereitzustellen, der die beste Leistung bietet und die Kosten minimiert. Sie können in wenigen Minuten erste Schritte mit dem SageMaker Inference Recommender machen, während Sie einen Instance-Typ auswählen, und Sie erhalten innerhalb von Stunden Empfehlungen für optimale Endpunktkonfigurationen, wodurch wochenlange manuelle Tests und Abstimmungszeiten entfallen. Mit SageMaker Inference Recommender zahlen Sie nur für die SageMaker-ML-Instances, die während des Ladetests verwendet werden und es fallen keine zusätzlichen Gebühren an.

Sie sollten SageMaker Inference Recommender verwenden, wenn Sie Empfehlungen für die richtige Endpunktkonfiguration benötigen, um die Leistung zu verbessern und Kosten zu senken. Bisher mussten Datenwissenschaftler, die ihre Modelle bereitstellen wollten, manuelle Benchmarks durchführen, um die richtige Endpunktkonfiguration auszuwählen. Sie mussten zunächst den richtigen ML-Instance-Typ aus den über 70 verfügbaren Instance-Typen basierend auf den Ressourcenanforderungen ihrer Modelle und den Beispielnutzlasten auswählen und dann das Modell optimieren, um unterschiedliche Hardware zu berücksichtigen. Anschließend mussten umfangreiche Lasttests durchgeführt werden, um zu überprüfen, ob die Anforderungen an Latenz und Durchsatz erfüllt und die Kosten gering sind. Der SageMaker Inference Recommender eliminiert diese Komplexität, indem er es Ihnen leicht macht: 1) in wenigen Minuten mit einer Instance-Empfehlung zu beginnen; 2) Lasttests für alle Instance-Typen durchzuführen, um innerhalb von Stunden Empfehlungen für Ihre Endpunktkonfiguration zu erhalten; und 3) für automatisches Abstimmen von Container- und Modellserverparametern sowie das Durchführen von Modelloptimierungen für einen gegebenen Instance-Typ.

Datenwissenschaftler können über SageMaker Studio, AWS SDK für Python (Boto3) oder AWS CLI auf SageMaker Inference Recommender zugreifen. Sie können Bereitstellungsempfehlungen in SageMaker Studio in der SageMaker-Modellregistrierung für registrierte Modellversionen abrufen. Datenwissenschaftler können die Empfehlungen entweder durch SageMaker Studio, AWS SDK oder AWS CLI suchen und filtern.

Nein, wir unterstützen derzeit nur ein einziges Modell pro Endpunkt.

Derzeit unterstützen wir nur Echtzeit-Endpunkte.

Wir unterstützen alle von Amazon SageMaker unterstützten Regionen mit Ausnahme der AWS-China-Regionen.

Ja, wir unterstützen alle Arten von Containern. Amazon EC2 Inf1, basierend auf dem AWS-Inferentia-Chip, erfordert ein kompiliertes Modellartefakt, das entweder den Neuron-Compiler oder Amazon SageMaker Neo verwendet. Sobald Sie über ein kompiliertes Modell für ein Inferentia-Ziel und den zugehörigen Container-Image-URI verfügen, können Sie SageMaker Inference Recommender verwenden, um verschiedene Inferentia-Instance-Typen zu vergleichen.

Mit SageMaker Model Monitor können Entwickler Konzeptabweichungen erkennen und beheben. SageMaker Model Monitor erkennt automatisch Konzeptverschiebungen in implementierten Modellen und bietet detaillierte Warnungen, mit denen die Ursache des Problems ermittelt werden kann. Alle in SageMaker geschulten Modelle geben automatisch wichtige Messdaten aus, die in SageMaker Studio erfasst und angezeigt werden können. In SageMaker Studio können Sie konfigurieren, welche Daten erfasst werden sollen, wie diese angezeigt werden und wann Warnungen empfangen werden sollen.

Nein. SageMaker betreibt die Datenverarbeitungs-Infrastruktur für Sie und ermöglicht dort Zustandsprüfungen, die Anwendung von Sicherheitspatches und die Durchführung sonstiger routinemäßigen Wartungsarbeiten. Sie können die Modellartefakte auch aus dem Training mit benutzerdefinierten Inferenzcodes in Ihrer eigenen Hosting-Umgebung bereitstellen.

Das SageMaker-Hosting skaliert mit Application Auto Scaling automatisch auf die Leistung, die für Ihre Anwendung erforderlich ist. Außerdem können Sie die Nummer und den Typ der Instance manuell ändern, ohne dass es zu Ausfallzeiten kommt, indem Sie die Endpunktkonfiguration ändern.

SageMaker sendet Leistungsmetriken an Amazon CloudWatch Metrics, sodass Sie Messwerte verfolgen, Alarme festlegen und automatisch auf Änderungen im Produktionsdatenverkehr reagieren können. Darüber hinaus schreibt SageMaker Protokolle in Amazon CloudWatch Logs, damit Sie Ihre Produktionsumgebung überwachen und Fehler beheben können.

SageMaker kann alle Modelle hosten, die der dokumentierten Spezifikation für Inferenz-Docker-Images entsprechen. Dazu gehören Modelle, die aus SageMaker-Modellartefakten und Inferenzcode erstellt wurden.

SageMaker wurde dafür konzipiert, eine große Anzahl von Transaktionen pro Sekunde zu skalieren. Die genaue Anzahl hängt vom implementierten Modell und der Anzahl und Art der Instances ab, für die das Modell bereitgestellt wird.

Als vollständig verwalteter Service kümmert sich Amazon SageMaker um die Einrichtung und Verwaltung von Instances, Softwareversionskompatibilitäten und das Patchen von Versionen. Es bietet auch integrierte Metriken und Protokolle für Endgeräte, mit denen Sie Benachrichtigungen überwachen und empfangen können. Mit den SageMaker-Tools und geführten Workflows wird der gesamte Prozess der ML-Modellpaketierung und -bereitstellung vereinfacht, so dass die Endpunkte leicht optimiert werden können, um die gewünschte Leistung zu erzielen und Kosten zu sparen. Sie können Ihre ML-Modelle, einschließlich Basismodelle, mit wenigen Klicks in SageMaker Studio oder mit dem neuen PySDK einsetzen.

Durch die Batch-Transformation können Sie anhand von großen oder kleinen Daten-Batches Prognosen erstellen. Es ist nicht nötig, den Datensatz in mehrere Teile aufzuteilen oder Echtzeit-Endpunkte zu verwalten. Sie können mit einer einfachen API Prognosen für eine große Anzahl von Datensätzen anfordern und diese Daten leicht und schnell umwandeln.

SageMaker unterstützt die folgenden Endpunktoptionen: Einzelmodell-Endpunkte – Ein Modell in einem Container, der auf Dedicated Instances oder Serverless für niedrige Latenz und hohen Durchsatz gehostet wird. Multimodell-Endpunkte – Hosten Sie mehrere Modelle über eine gemeinsame Infrastruktur, um die Kosteneffizienz und die Nutzung zu maximieren. Sie können steuern, wie viel Rechenleistung und Speicher jedes Modell verwenden kann, um sicherzustellen, dass jedes Modell Zugriff auf die Ressourcen hat, die es für eine effiziente Ausführung benötigt. Serielle Inferenzpipelines – Mehrere Container teilen sich Dedicated Instances und werden nacheinander ausgeführt. Sie können eine Inferenzpipeline verwenden, um datenwissenschaftliche Vorverarbeitungs-, Vorhersagen- und Nachverarbeitungsaufgaben zu kombinieren.

Sie können Skalierungsrichtlinien verwenden, um die zugrunde liegenden Rechenressourcen automatisch zu skalieren, um Schwankungen bei Inferenzanfragen Rechnung zu tragen. Sie können die Skalierungsrichtlinien für jedes ML-Modell separat steuern, um Änderungen bei der Modellnutzung problemlos zu bewältigen und gleichzeitig die Infrastrukturkosten zu optimieren.

SageMaker Edge Manager erleichtert die Optimierung, Sicherung, Überwachung und Wartung von ML-Modellen auf Flotten von Edge-Geräten wie Smart-Kameras, Robotern, PCs und mobilen Geräten. Mit SageMaker Edge Manager können ML-Entwickler ML-Modelle auf einer Vielzahl von Edge-Geräten in großem Maßstab betreiben.

Um mit SageMaker Edge Manager zu beginnen, müssen Sie Ihre trainierten ML-Modelle in der Cloud kompilieren und verpacken, Ihre Geräte registrieren und Ihre Geräte mit dem SageMaker Edge Manager SDK vorbereiten. Um Ihr Modell für die Bereitstellung vorzubereiten, verwendet SageMaker Edge Manager SageMaker Neo, um Ihr Modell für Ihre Ziel-Edge-Hardware zu kompilieren. Sobald ein Modell kompiliert ist, signiert der SageMaker Edge Manager das Modell mit einem von AWS generierten Schlüssel und verpackt es dann mit seiner Laufzeit und den erforderlichen Anmeldeinformationen, um es für die Bereitstellung vorzubereiten. Auf der Geräteseite registrieren Sie Ihr Gerät bei SageMaker Edge Manager, laden das SageMaker-Edge-Manager-SDK herunter und befolgen die Anweisungen zum Installieren des SageMaker-Edge-Manager-Agenten auf Ihren Geräten. Das Tutorial-Notebook zeigt Ihnen Schritt für Schritt, wie Sie die Modelle vorbereiten und Ihre Modelle mit SageMaker Edge Manager an Edge-Geräte anschließen können.

SageMaker Edge Manager unterstützt gängige CPU (ARM, x86)- und GPU (ARM, Nvidia)-basierte Geräte mit Linux- und Windows-Betriebssystemen. Im Laufe der Zeit wird SageMaker Edge Manager erweitert, um mehr eingebettete Prozessoren und mobile Plattformen zu unterstützen, die auch von SageMaker Neo unterstützt werden.

Nein, müssen Sie nicht. Sie können Ihre Modelle anderswo trainieren oder ein bereits trainiertes Modell aus Open Source oder von Ihrem Modellanbieter verwenden.

Ja, müssen Sie. SageMaker Neo konvertiert und kompiliert Ihre Modelle in eine ausführbare Datei, die Sie dann verpacken und auf Ihren Edge-Geräten bereitstellen können. Sobald das Modellpaket bereitgestellt ist, entpackt der Agent von SageMaker Edge Manager das Modellpaket und führt das Modell auf dem Gerät aus.

SageMaker Edge Manager speichert das Modellpaket in Ihrem angegebenen Amazon-S3-Bucket. Sie können die von AWS IoT Greengrass bereitgestellte Over-the-Air (OTA)-Bereitstellungsfunktion oder einen anderen Bereitstellungsmechanismus Ihrer Wahl verwenden, um das Modellpaket von Ihrem S3-Bucket auf den Geräten bereitzustellen.

Neo-DLR ist eine Open Source-Laufzeit, die nur Modelle ausführt, die vom SageMaker-Neo-Service kompiliert wurden. Im Vergleich zur Open-Source-DLR enthält das SageMaker-Edge-Manager-SDK einen On-Device-Agenten für Unternehmen mit zusätzlichen Funktionen für Sicherheit, Modellverwaltung und Modellbereitstellung. Das SageMaker-Edge-Manager-SDK eignet sich für die Produktionsbereitstellung in großem Maßstab.

SageMaker Edge Manager und AWS IoT Greengrass können in Ihrer IoT-Lösung zusammenarbeiten. Sobald Ihr ML-Modell mit SageMaker Edge Manager verpackt ist, können Sie die OTA-Update-Funktion von AWS IoT Greengrass verwenden, um das Modellpaket auf Ihrem Gerät bereitzustellen. Mit AWS IoT Greengrass können Sie Ihre IoT-Geräte remote überwachen, während Sie mit SageMaker Edge Manager die ML-Modelle auf den Geräten überwachen und warten können.

AWS bietet die größte Breite und Tiefe der Funktionen zum Ausführen von Modellen auf Edge-Geräten. Wir verfügen über Services zur Unterstützung einer Vielzahl von Anwendungsfällen, einschließlich Computervision, Spracherkennung und vorausschauender Wartung.

Für Unternehmen, die Computervision auf Edge-Geräten wie Kameras und Geräten ausführen möchten, können Sie AWS Panorama verwenden. AWS Panorama bietet einsatzbereite Computervision-Anwendungen für Edge-Geräte. Der Einstieg in AWS Panorama ist einfach, indem Sie sich bei der Cloud-Konsole anmelden, das Modell angeben, das Sie in Amazon S3 oder SageMaker verwenden möchten, und anschließend Geschäftslogik als Python-Skript schreiben. AWS Panorama kompiliert das Modell für das Zielgerät und erstellt ein Anwendungspaket, damit es mit nur wenigen Klicks auf Ihren Geräten bereitgestellt werden kann. Darüber hinaus können unabhängige Softwaranbieter, die ihre eigenen benutzerdefinierten Anwendungen erstellen möchten, das AWS Panorama SDK verwenden, und Gerätehersteller können das Geräte-SDK verwenden, um ihre Geräte für AWS Panorama zu zertifizieren.

Kunden, die ihre eigenen Modelle erstellen und die Modellfunktionen genauer steuern möchten, können SageMaker Edge Manager verwenden. SageMaker Edge Manager ist ein verwalteter Service zum Vorbereiten, Ausführen, Überwachen und Aktualisieren von ML-Modellen für Flotten von Edge-Geräten wie Smart-Kameras, Smart-Lautsprechern und Robotern für alle Anwendungsfälle wie die Verarbeitung natürlicher Sprache, Betrugserkennung und vorausschauende Wartung. SageMaker Edge Manager ist für ML-Edge-Entwickler gedacht, die die Kontrolle über ihr Modell wünschen, einschließlich der Entwicklung verschiedener Modellfunktionen und der Überwachung von Modellen für Drift. Jeder ML-Edge-Entwickler kann SageMaker Edge Manager über die SageMaker-Konsole und die SageMaker-APIs verwenden. SageMaker Edge Manager bietet die Funktionen von SageMaker zum Erstellen, Trainieren und Bereitstellen von Modellen in der Cloud für Edge-Geräte.

SageMaker Edge Manager ist in sechs Regionen verfügbar: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), EU (Irland), EU (Frankfurt) und Asien-Pazifik (Tokio). Weitere Details finden Sie in der Liste regionaler AWS-Services.

Mit SageMaker Neo ist es möglich, ML-Modelle einmal zu trainieren und dann überall in der Cloud und am Edge auszuführen. SageMaker Neo optimiert automatisch Modelle, die mit gängigen DL-Frameworks entwickelt wurden und auf mehreren Hardwareplattformen bereitgestellt werden können. Optimierte Modelle können bis zu 25 mal schneller ausgeführt werden und verbrauchen weniger als ein Zehntel der Ressourcen eines typischen ML-Modells.

Melden Sie sich für die ersten Schritte mit SageMaker Neo bei der SageMaker-Konsole an, wählen Sie ein trainiertes Modell aus, folgen Sie dem Beispiel zum Kompilieren von Modellen, und stellen Sie das entstandene Modell auf Ihrer Ziel-Hardwareplattform bereit.

SageMaker Neo umfasst zwei wesentliche Hauptkomponenten – einen Compiler und eine Laufzeit. Zuerst liest der SageMaker-Neo-Compiler Modelle, die von unterschiedlichen Frameworks exportiert wurden. Anschließend wandelt er die Framework-spezifischen Funktionen und Operationen in eine Framework-unabhängige Zwischenrepräsentation um. Danach führt er eine Reihe von Optimierungen aus. Im Anschluss erzeugt der Compiler Binärcode für die optimierten Operationen und schreibt sie in eine freigegebene Objektbibliothek. Außerdem speichert der Compiler die Modelldefinition und Parameter in separaten Dateien. Während der Ausführung lädt die SageMaker-Neo-Laufzeit die vom Compiler erzeugten Artefakte – Modelldefinition, Parameter und die freigegebene Objektbibliothek zur Modellausführung.

Nein. Sie können Modelle an anderer Stelle trainieren und Neo dazu verwenden, sie für SageMaker-ML-Instances oder von AWS IoT Greengrass unterstützte Geräte zu optimieren.

Derzeit unterstützt SageMaker Neo die gängigsten DL-Modelle, die Computer-Vision-Anwendungen unterstützen, und die gängigsten Entscheidungsbaum-Modelle, die heute in SageMaker verwendet werden. Neo optimiert die Leistung von AlexNet-, ResNet-, VGG-, Inception-, MobileNet-, SqueezeNet- und DenseNet-Modellen, die in MXNet und TensorFlow trainiert wurden, und von Klassifizierungs- und Random-Cut-Forest-Modellen, die in XGBoost trainiert wurden.

Die Listen der unterstützten Cloud-Instances, Edge-Geräte und Framework-Versionen finden Sie in der Dokumentation zu SageMaker Neo.

Um eine Liste der unterstützten Regionen zu sehen, sehen Sie sich die Liste regionaler AWS-Services an.

Savings Plans von Sagemaker bieten ein flexibles nutzungsbasiertes Preismodell für SageMaker, im Austausch für eine Verpflichtung zu einer konstanten Nutzungsmenge (gemessen in USD/Stunde) für eine Laufzeit von einem oder drei Jahren. Savings Plans für SageMaker bieten die größte Flexibilität und tragen dazu bei, den Preis um bis zu 64 % zu senken. Diese Pläne gelten automatisch für berechtigte SageMaker ML Instances, darunter auch SageMaker Studio Notebooks, SageMaker On-Demand Notebooks, SageMaker Processing, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference und SageMaker Batch Transform, unabhängig von Instance-Familie, Größe oder Region. Zum Beispiel können Sie jederzeit die Nutzung von einer CPU-Instance ml.c5.xlarge, die in USA Ost (Ohio) läuft, auf eine ml.Inf1-Instance in USA West (Oregon) für Inferenz-Workloads jederzeit ändern und automatisch weiterhin den Preis des Savings Plans bezahlen.

Wenn Sie eine gleichbleibende Menge an SageMaker-Instances (gemessen in USD/Stunde) verwenden und mehrere SageMaker-Komponenten nutzen oder erwarten, dass sich Ihre Technologiekonfiguration (z. B. Instance-Familie, Region) im Laufe der Zeit ändert, können Sie Ihre Einsparungen mit den SageMaker Savings Plans einfacher maximieren und haben gleichzeitig die Flexibilität, die grundlegende Technologiekonfiguration aufgrund von Anwendungsanforderungen oder neuen Innovationen zu ändern. Der Savings-Plans-Tarif gilt automatisch für die Nutzung aller berechtigten ML-Instances, ohne dass manuelle Änderungen erforderlich sind.

Sie können im AWS Cost Explorer in der AWS-Managementkonsole oder über die API/CLI die ersten Schritte im Zusammenhang mit Savings Plans unternehmen. Mithilfe der Empfehlungen in AWS Cost Explorer können Sie sich mühelos für Savings Plans entscheiden, um so die größten Einsparungen zu erzielen. Die empfohlene stündliche Festmenge basiert auf Ihrer historischen On-Demand-Nutzung und Ihrer Wahl von Plantyp, Laufzeit und Zahlungsoption. Sobald Sie sich für einen Savings Plan registriert haben, wird Ihre genutzte Datenverarbeitungsleistung automatisch zu den ermäßigten Savings-Plans-Preisen berechnet. Jede darüber hinausgehende Nutzung wird zu den normalen On-Demand-Tarifen berechnet.

Der Unterschied zwischen Savings Plans für SageMaker und Savings Plans für Amazon EC2 liegt in den enthaltenen Services. Savings Plans für SageMaker gelten nur für die ML-Instance-Nutzung von SageMaker.

Savings Plans können in jedem Konto innerhalb einer AWS-Organisation/Produktreihe mit konsolidierter Fakturierung erworben werden. Standardmäßig gilt der Vorteil von Savings Plans für die Nutzung über alle Konten innerhalb einer AWS-Organisation/konsolidierten Abrechnungs-Familie. Sie können sich aber auch dafür entscheiden, den Vorteil von Savings Plans nur auf das Konto zu beschränken, das sie erworben hat.