Mehrsprachige automatische Untertitel und Audiosynchronisation für Live-Events sind dank AWS Media Services und SyncWords möglich

Dieser Beitrag wurde von Giovanni Galvez, VP für Geschäftsentwicklung und Strategie von SyncWords, mitverfasst.

Einführung

Das Hinzufügen von Untertiteln zu Live-Streaming-Events ist für die Branche nichts Neues. Es gibt etablierte Arbeitsabläufe zum Hinzufügen von Untertiteln zu Video-Feeds, indem spezielle Hardware-Encoder zum Einbetten der Untertitel verwendet werden. Diese Arbeitsabläufe können bei Live-Events zu Problemen führen, die wir in diesem Beitrag näher erläutern werden.

Zu den gängigen Methoden zur Einbettung von Untertiteln in Live-Streams gehören die Standards EIA-608 und 708. Oder man verwendet RTMP onCaptionInfo, um mit Base-64 kodierte 608/708 Untertiteldaten einzubetten.

Die Schwierigkeit besteht darin, dass Sie die Untertitel einbetten müssen, bevor Sie den Live-Stream für die Ausstrahlung verarbeiten können. Dies erfordert in der Regel ein lokales einkanaliges Untertitel-Encoder-Gerät als Teil des Streaming-Workflows für Live-Events. Außerdem sind zusätzliche Koordination und Planung erforderlich, da für die Veranstaltung möglicherweise automatisch generierte Untertitel oder ein Live-Stenograf benötigt wird.

Eine weitere Schwierigkeit besteht darin, dass 608/708 eingebettete Untertitel höchstens zwei Sprachen unterstützen. Besonders trifft dies auf Sprachen zu, die nicht zu den sieben von 608 unterstützten Sprachen gehören. Man könnte argumentieren, dass das 708-Protokoll von sich aus mehrere Sprachen unterstützt, was aus Sicht des Protokolls auch stimmt, aber in der Praxis bietet 708 keine breitere Unterstützung im End-to-End-System, so dass man nur selten eine echte Implementierung sieht, die 708 in vollem Umfang nutzt. Das bedeutet, dass die traditionelle 608/708-Kodierungsmethode nicht in Frage kommt, wenn drei oder mehr Sprachen mit Unterstützung für Unicode-Zeichensätze wie Chinesisch, Japanisch und Koreanisch übertragen werden sollen.

Da Over-the-Top-Streaming (OTT) mit der Einführung von HTTP Live Streaming (HLS) im Jahr 2009 durch Apple an Popularität gewinnt, können wir mehrsprachige Untertitel über Sidecar-Untertitel, wie das Web Video Text Tracks (WebVTT)-Format, bereitstellen.

Live-Untertitelung mit SyncWords

In diesem Blogbeitrag wird eine Lösung zur Beseitigung der Probleme bei der Verwendung von eingebetteten Untertiteln vorgestellt. Mit einer einfachen API-Integration zwischen Ihrem Workflow für die Videobearbeitung und -verpackung und den Künstliche Intelligenz (KI)-Tools des Cloud-basierten Videosoftwareunternehmens SyncWords können Sie Untertitel, Untertitelübersetzung und KI-Synchronisierung als Option aktivieren, ohne Ihren bestehenden Live-Video-Workflow unterbrechen zu müssen. SyncWords erstellt ein sekundäres Master-Manifest, das die Untertitelinformationen enthält, während das ursprüngliche Master-Manifest intakt bleibt und eine zuverlässige Backup-Option darstellt.

SyncWords [EN, Extern] bietet eine Plattform für das Streaming von Live-Untertiteln und Echtzeit-Übersetzungen mithilfe von KI. Das Ziel dieser Plattform ist es, Produktinnovationen und eine einfache Integration voranzutreiben, um den Kunden genaue, zuverlässige und mehrsprachige Echtzeit-Untertitelungs- und Synchronisationsdienste für Live-Events zu bieten zu können.

Im Folgenden wird ein typischer Workflow für das Streaming von Live-Events auf AWS mit AWS Elemental Media Services dargestellt. Ohne Änderungen an Ihrem bestehenden Workflow kann SyncWords Ihre Wiedergabeliste für Live-Events einspielen. Mit dem SyncWords Live AI Captioning Service kann eine geänderte Live-Wiedergabeliste mit Untertiteln in Ihren Ursprung geschrieben werden, z.B. in ein AWS Elemental MediaPackage oder einen Amazon Simple Storage Service (Amazon S3)-Bucket. Sie können somit den Zuschauern eine neue Wiedergabeliste mit Untertiteln und/oder Nachvertonung, die mittels SyncWords erstellt wird, mit synchronisierten, mehrsprachigen Untertiteln, anbieten.

Verbesserung der Untertitelung von Live-Streams und Synchronisierung von Übersetzungen

Bei der Untertitelung von Live-Events gibt es in der Regel eine Verzögerung von 3 bis 4 Sekunden zwischen dem gesprochenen Dialog auf dem Bildschirm und dem Erscheinen der Untertitel auf dem Bildschirm. Diese Verzögerung entsteht, weil eine spezielle Hardware benötigt wird, die den Untertiteltext erst nach dem Sprechen eines jeden Satzes generiert. SyncWords hat eine Lösung entwickelt, um dieses Problem zu lösen und die Untertitel sowie die übersetzte Sprache mit dem Live-Stream zu synchronisieren.

SyncWords nutzt die Latenz eines HTTP-Live-Streams (HLS) und berechnet das genaue Timing, damit die Untertitel und Übersetzungen für die Zuschauer synchron erscheinen. Diese Synchronisierung gewährleistet ein optimales Nutzererlebnis für unbegrenzt viele Zuschauer, die das OTT-Live-Programm sehen. Mit diesem innovativen Ansatz werden Untertitel und Übersetzungen nahtlos in den Live-Stream integriert, wodurch die spürbare Verzögerung entfällt und das Seherlebnis insgesamt verbessert werden kann.

Durch die Echtzeit-Synchronisation bietet SyncWords den Zuschauern sofortigen Zugriff auf genaue und synchronisierte Untertitel und Übersetzungen. Dies ist nicht nur für Personen von Vorteil, die auf einen barrierefreien Zugriff mittels Untertitel angewiesen sind, sondern verbessert auch das allgemeine Engagement und Verständnis aller Zuschauer. Die HLS-Lösung zwischen AWS Elemental Media Services und SyncWords beseitigt die Frustration und die Unannehmlichkeiten, die durch verzögerte Untertitel verursacht werden, und sorgt für ein nahtloses und inklusives Seherlebnis bei Live-Events.

Die Vorteile des Workflows sind:

• Keine Änderung des aktuellen Live-Veranstaltungsablaufs.
• Keine Unterbrechung Ihres Live-Veranstaltungsablaufs, mehrsprachige Untertitel werden über einen separaten Pfad als Zusatzoption aktiviert.
• Sie können eine redundante Wiedergabeliste erstellen, wobei die primäre Wiedergabeliste die generierten Untertitel enthält, während Ihre ursprüngliche Wiedergabeliste als sekundäre Wiedergabeliste dient, was die Zuverlässigkeit Ihres Live-Events erhöht.
• Fügen Sie Ihrem Live-Event mehrsprachige Untertitel hinzu, ohne komplexe Lösungen implementieren zu müssen.
• Nutzen Sie Untertitel als Service, um keine komplexen Workflows für Untertitel pflegen zu müssen.
• Fügen Sie synchronisierte, mehrsprachige Untertitel für Ihren Live-Event-Workflow mit einer einfachen Integration hinzu.
• Generieren Sie zusätzlich zu den Live-Untertiteln eine übersetzte Live-Vertonung für Ihren Workflow.
• Skalieren Sie die Untertitelung auf eine unbegrenzte Anzahl von Live-Kanälen, ohne spezielle Hardware für die Live-Untertitelung einzusetzen, was die Kosten minimiert.

Aufruf zum Handeln

Weitere Hinweise zur Erstellung einer Live-Event-Pipeline mit AWS finden Sie auf unserer Lösungsseite für Live-Streaming auf AWS. Wenn Sie sich für die Nutzung von AWS Elemental Media Services interessieren, besuchen Sie bitte die Produktseite. Lösungen für die Untertitelung von Live-Events und Integrationsdokumentation finden Sie unter SyncWords [EN, Extern].

Über die Autoren

Chris Zhang ist ein Solutions Architect bei AWS Elemental