Azure Media Services: Aktuelle Video Indexer-Updates von der NAB Show 2019

Veröffentlicht am 4 April, 2019

Principal Program Manager, Azure Media Services, Video Indexer

Update vom 16. April 2019: Wir verkünden mit Freude, dass der neue KI-basierte Editor von Video Indexer bei der diesjährigen NAB Show eine Auszeichnung als „Produkt des Jahres“ (Product of the Year Award) in der Kategorie „KI/Machine Learning“ gewonnen hat! Mit dieser begehrten Auszeichnung werden jährlich die bedeutendsten und vielversprechendsten neuen Produkte und Technologien geehrt, die bei der NAB präsentiert werden.

Nachdem das Team mit dem Release zur allgemeinen Verfügbarkeit von Video Indexer von Azure Media Services mehrere Preise gewonnen hat, darunter den IABM 2018 für Innovation im Content Management und den begehrten Peter Wayne Award, ist es weiterhin darauf konzentriert, zahlreiche neue Features und Modelle zu erstellen, mit deren Hilfe jede Organisation mit einem großen Archiv von Medieninhalten in der Lage ist, aus ihren Inhalten Erkenntnisse zu gewinnen. Mithilfe dieser Erkenntnisse kann die Sicherheit verbessert werden, neue Benutzerszenarien und Bedienungshilfen sind möglich, und es bieten sich neue Möglichkeiten der Monetarisierung.

Wir freuen uns, auf der NAB Show 2019 zahlreiche neue Verbesserungen an den Modellen und Oberflächen von Video Indexer bekannt geben zu können, die diese Woche veröffentlicht werden, darunter:

  • Ein neuer KI-basierter Editor, mit dem Sie binnen Minuten neue Inhalte aus vorhandenen Medien erstellen können
  • Verbesserungen an unserer benutzerdefinierten Personenerkennung, einschließlich einer zentralen Verwaltung von Modellen und der Möglichkeit, Modelle mit Bildern zu trainieren
  • Sprachmodelltraining auf der Basis von Transkriptbearbeitungen, mit denen Sie Ihr Sprachmodell effektiv verbessern und um branchenspezifische Begriffe erweitern können
  • Ein neues Szenensegmentierungsmodell (Vorschauversion)
  • Neue Erkennungsmodelle für Abspänne
  • Verfügbarkeit in 9 Regionen weltweit
  • Zertifizierungen für ISO 27001, ISO 27018, SOC 1, 2, 3, HiTRUST, FedRAMP, HIPAA und PCI
  • Möglichkeit der Übernahme von Daten und trainierten Modellen beim Wechsel von einem Video Indexer-Testkonto zu einem bezahlten Konto

In diesem Blogbeitrag erfahren Sie mehr über alle diese Neuerungen.

Darüber hinaus haben wir aufregende Neuigkeiten für Kunden, die unsere Livestreamingplattform nutzen, um Livefeeds zu erfassen, zu transcodieren und dynamisch zu verpacken und zu verschlüsseln, damit sie über Industriestandardprotokolle wie HLS und MPEG-DASH bereitgestellt werden können. Livetranskriptionen sind eine neue Funktion in unseren APIs der Version 3, mit der Sie die für Ihre Zuschauer angebotenen Streams verbessern können, indem Sie computergenerierte Texte bereitstellen, die aus gesprochenen Texten im Videostream transkribiert werden. Diese Texte werden zunächst nur als IMSC1.1-kompatibles TTML-Format in MPEG-4 Part 30-Fragmenten (ISO/IEC 14496-30) bereitgestellt, die über einen neuen Build von Azure Media Player wiedergegeben werden können. Weitere Informationen zu dieser Funktion und dem Programm für die private Vorschau finden Sie in der Dokumentation Introducing live transcriptions support in Azure Media Services (Einführung der Unterstützung von Livetranskripten in Azure Media Services).

Wir geben außerdem zwei weitere private Vorschauprogramme für die Transkription mehrerer Sprachen und die Animationserkennung bekannt, mit denen ausgewählte Kunden die Modelle und die damit verbundenen Funktionen beeinflussen können. Sprechen Sie uns bei der NAB Show an, oder stellen Sie eine Anfrage bei Ihrem Kontomanager, um diesen aufregenden Programmen beizutreten!

Es war es einfacher, neue Inhalte aus Ihrem Medienarchiv zu extrahieren

Eine Möglichkeit, fundierte Erkenntnisse aus Mediendateien zu nutzen, ist das Erstellen neuer Medien aus vorhandenen Inhalten. Dies kann zum Erstellen von Filmhighlights für Trailer, zum Verwenden von Ausschnitten alter Videos in Nachrichtensendungen, zum Erstellen von kürzeren Videos für soziale Medien oder zu jedem anderen geschäftlichen Zweck geschehen.

Um dieses Szenario mit nur wenigen Klicks umsetzen zu können, haben wir einen KI-basierten Editor erstellt, mit dem Sie die richtigen Medieninhalte suchen, die für Sie interessanten Teile finden und mit diesen – mithilfe der von Video Indexer generierten Metadaten – ein komplett neues Video erstellen können. Sobald Sie mit dem Ergebnis zufrieden sind, kann es von Video Indexer gerendert und heruntergeladen werden, sodass Sie es in Ihren eigenen Anwendungen oder Downstream-Workflows nutzen können.

Video Indexer mit Satya Nadella

Alle diese Funktionen sind auch über unsere aktualisierte REST-API verfügbar. Das bedeutet, dass Sie Code schreiben können, der automatisch Clips anhand von Erkenntnissen erstellt. Die neuen Editor-API-Aufrufe sind derzeit als öffentliche Vorschau verfügbar.

Möchten Sie den neuen KI-basierten Editor ausprobieren? Wechseln Sie einfach zu einer Ihrer indizierten Mediendateien, und klicken Sie auf die Schaltfläche „In Editor öffnen“, um mit dem Erstellen neuer Inhalte zu beginnen.

Intuitivere Modellanpassung und -verwaltung

Video Indexer ist mit einem umfangreichen Satz von direkt verwendbaren Modellen ausgestattet, sodass Sie Ihre Inhalte hochladen und unverzüglich Erkenntnisse gewinnen können. KI-Technologie wird jedoch grundsätzlich präziser, wenn Sie sie für den spezifischen Inhalt, für den sie eingesetzt wird, anpassen. Daher bietet Video Indexer einfache Anpassungsfunktionen für ausgewählte Modelle. Eine dieser Anpassungen ist die Möglichkeit, benutzerdefinierte Personenmodelle hinzuzufügen – zusätzlich zu den über 1 Million Prominenten, die Video Indexer zurzeit von Hause aus identifizieren kann. Diese Anpassungsmöglichkeit bestand bereits zuvor in Form des Trainierens von „unbekannten“ Personen im Inhalt eines Videos, aber wir erhielten zahlreiche Kundenanfragen, diese Funktion weiter zu verbessern, und das taten wir!

Um einen einfachen Anpassungsvorgang für Personenmodelle zu erreichen, fügten wir eine Seite für die zentrale Verwaltung der Personenerkennung hinzu, auf der Sie mehrere benutzerdefinierte Personenmodelle pro Konto erstellen können, die jeweils bis zu 1 Mio. unterschiedliche Einträge enthalten können. An dieser Stelle können Sie neue Modelle erstellen, vorhandenen Modellen neue Personen hinzufügen und diese nach Bedarf anzeigen, umbenennen und löschen. Dazu kommt nun die Möglichkeit, Modelle basierend auf Ihren statischen Bildern zu trainieren, selbst wenn Sie noch kein Video in Ihrem Konto hochgeladen haben. Organisationen, die bereits über ein Archiv von Personenbildern verfügen, können diese Archive nun zum Trainieren ihrer Modelle verwenden. Dazu müssen die entsprechenden Bilder lediglich auf den Namen der Person gezogen oder über die REST-API von Video Indexer (zurzeit als Vorschauversion) übermittelt werden.

Details zu einer Person

Möchten Sie mehr erfahren? Lesen Sie etwas über unsere erweiterten benutzerdefinierten Gesichtserkennungsoptionen.

Eine weitere wichtige Anpassung ist die Möglichkeit, Sprachmodelle zu trainieren, um sie an die Terminologie Ihrer Organisation oder ein branchenspezifisches Vokabular anzupassen. Damit Sie die Transkription für Ihre Organisation schneller verbessern können, erfasst Video Indexer jetzt automatisch Transkriptbearbeitungen, die manuell erfolgt sind, in einem neuen Eintrag im spezifischen verwendeten Sprachmodell. Anschließend müssen Sie nur noch auf die Schaltfläche „Trainieren“ klicken, um sie Ihrem eigenen angepassten Modell hinzuzufügen. Die Idee dahinter ist, eine Feedbackschleife herzustellen, bei der Organisationen mit einem grundlegenden, nicht angepassten Sprachmodell beginnen und dessen Genauigkeit durch manuelles Bearbeiten über eine gewisse Zeit verbessern, bis die branchenspezifischen Begriffe und Formulierungen verstanden werden.

Zeitachse in Video Indexer

Neue Features der Video Indexer-Pipeline

Einer der wichtigsten Vorteile von Video Indexer ist, mit einer Pipeline mehrere Erkenntnisse aus verschiedenen Kanälen in einer Zeitachse zu orchestrieren. Wir arbeiten ständig daran, diese Pipeline mit zusätzlichen Erkenntnissen zu erweitern.

Eines der neuesten Features für die Erkenntnisse von Video Indexer ist die Möglichkeit, das Video nach semantischen Szenen anhand von visuellen Hinweisen zu segmentieren (zurzeit als Vorschauversion). Semantische Szenen stellen eine weitere Ebene der Feinabstimmung unter den vorhandenen Modellen zur Einstellungserkennung und Keyframeextraktion in Video Indexer dar. Sie sind darauf ausgelegt, ein einzelnes Ereignis darzustellen, das sich aus einer Serie von semantisch verwandten aufeinanderfolgenden Einstellungen zusammensetzt.

Szenen können für das Gruppieren von Erkenntnissen und das Verweisen auf diese im gleichen Kontext verwendet werden, um eine komplexere Bedeutung aus ihnen zu ziehen. Wenn eine Szene beispielsweise ein Flugzeug, eine Landebahn und Gepäck enthält, kann der Kunde eine Logik erstellen, die erkennt, dass dies auf einem Flughafen stattfindet. Szenen können auch als Einheit verwendet werden, die als Ausschnitt aus einem vollständigen Video extrahiert werden.

Szenen in Video Indexer

Eine weitere tolle Neuheit in Video Indexer ist die Möglichkeit, den Abspann eines Films oder einer Fernsehsendung zu erkennen. Dies kann für Sendeanstalten nützlich sein, um zu erkennen, wann ihre Zuschauer das Video zu Ende angeschaut haben, und den richtigen Moment für eine Empfehlung der nächsten Sendung oder des nächsten Films zu erkennen, bevor die Zuschauer abwandern.

Video Indexer beruht auf Vertrauen (und mehr Regionen)

Da Video Indexer ein Teil der Azure Media Services-Familie ist und sich an Organisationen aller Größen und Branchen wendet, ist es von zentraler Bedeutung für uns, unseren Kunden beim Erfüllen ihrer gesetzlichen Verpflichtungen in allen regulierten Branchen und Märkten auf der ganzen Welt zu helfen. Deshalb freuen wir uns, bekannt geben zu können, dass Video Indexer jetzt für ISO 27001, ISO 27018, SOC 1, 2, 3, HIPAA, FedRAMP, PCI und HITRUST zertifiziert ist. Erfahren Sie mehr über den aktuellen Zertifizierungsstatus von Video Indexer und allen anderen Azure-Diensten.

Außerdem haben wir unsere weltweite Dienstverfügbarkeit ausgeweitet und bieten nun in 9 Regionen Bereitstellungen zu Ihrem Nutzen an. Die verfügbaren Regionen schließen nun „USA, Osten“ (Testversion), „USA, Osten 2“, „USA, Süden-Mitte“, „USA, Westen 2“, „Europa, Norden“, „Europa, Westen“, „Asien, Südosten“, „Asien, Osten“ und „Australien, Osten“ ein. Die meisten Regionen werden bald online sein, also informieren Sie sich regelmäßig. Die aktuelle regionale Verfügbarkeit von Video Indexer ist jederzeit auf der Seite Produkte nach Region zu finden.

Video Indexer ist weiterhin vollständig als Testversion in „USA, Osten“ verfügbar. Dadurch können Organisationen den vollen Funktionsumfang von Video Indexer mit ihren eigenen Daten ausprobieren, bevor sie über ihr Azure-Abonnement ein bezahltes Konto erstellen. Nachdem eine Organisation beschließt, zu ihrem Azure-Abonnement zu wechseln, kann sie alle Videos und Modellanpassungen, die sie in ihrem Testkonto erstellt hat, durch einfaches Aktivieren des entsprechenden Kontrollkästchens für den Inhalt im Kontoerstellungs-Assistenten kopieren.

Verbinden von Video Indexer mit einem Azure-Abonnement

Möchten Sie zu den ersten gehören, die unsere neuesten Funktionen ausprobieren?

Wir freuen uns, heute drei private Vorschauprogramme für Features bekannt zu geben, nach denen wir von vielen Kunden gefragt wurden.

Livetranskription: die Möglichkeit, ein Liveereignis zu streamen, bei dem Sprache im Ton in Texte transkribiert und zusammen mit den Video- und Audiodaten bereitgestellt wird.

Transkription gemischter Sprachen: die Möglichkeit, mehrere gesprochene Sprachen in einer Videodatei automatisch zu erkennen und eine Transkription gemischter Sprachen für diese Datei zu erstellen.

Charaktererkennung für Animation: die Möglichkeit, Charaktere in animierten Inhalten zu erkennen, als ob es sich um echte Menschen handeln würde!

Wir werden aus einer Liste der Kunden, die für diese neuen Möglichkeiten unsere Designpartner sein möchten, eine Gruppe auswählen. Ausgewählte Kunden werden diese neuen Möglichkeiten stark beeinflussen können und Modelle erhalten, die umfassend auf ihre Daten und ihre Organisationflows abgestimmt sind. Möchten Sie daran teilnehmen? Besuchen Sie uns bei der NAB Show, oder wenden Sie sich für weitere Details an Ihren Kontomanager!

Besuchen Sie uns bei der NAB Show 2019

Wenn Sie an der NAB Show 2019 teilnehmen, schauen Sie am Stand SL6716 vorbei, um die neuesten Innovationen bei Azure Media Services zu sehen! Wir würden uns freuen, Sie zu treffen, mehr über Ihre Projekte zu erfahren und Ihnen die verschiedenen Innovationen zu zeigen, die Azure Media Services und unsere Partner bei der NAB Show veröffentlichen. Am Stand gibt es auch während der gesamten Show Produktvorführungen.

Haben Sie Fragen oder Feedback? Wir freuen uns darauf, von Ihnen zu hören. Wenden Sie sich über UserVoice an uns, damit wir bestimmte Features priorisieren können, oder senden Sie eine E-Mail an VISupport@Microsoft.com, wenn Sie Fragen haben.