Wyszukiwanie słów kluczowych i zamiana mowy na tekst

Ten pomysł rozwiązania identyfikuje mowę w statycznych plikach wideo, aby zarządzać mową jako standardową zawartością.

Architektura

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

• Usługa Azure Blob Storage przechowuje duże ilości danych bez struktury, do których można uzyskiwać dostęp z dowolnego miejsca na świecie za pośrednictwem protokołu HTTP lub HTTPS. Za pomocą usługi Blob Storage można uwidaczniać dane publicznie na świecie lub prywatnie przechowywać dane aplikacji.
• Usługa Azure Encoding konwertuje pliki multimedialne z jednego kodowania na inne.
• Punkt końcowy przesyłania strumieniowego platformy Azure reprezentuje usługę przesyłania strumieniowego, która może dostarczać zawartość bezpośrednio do aplikacji odtwarzacza klienta lub do sieci dostarczania zawartości (CDN) w celu dalszej dystrybucji.
• Usługa Content Delivery Network zapewnia bezpieczne, niezawodne dostarczanie zawartości z szerokim zasięgiem globalnym i bogatym zestawem funkcji.
• Usługa Azure Odtwarzacz multimedialny używa standardów branżowych, takich jak HTML5 (MSE/EME), aby zapewnić wzbogacone środowisko adaptacyjnego przesyłania strumieniowego. Niezależnie od używanej technologii odtwarzania masz ujednolicony interfejs Języka JavaScript umożliwiający dostęp do interfejsów API.
• Usługa Azure Cognitive Search udostępnia gotową do użycia usługę, która jest wypełniana danymi, a następnie służy do dodawania funkcji wyszukiwania do aplikacji internetowej lub mobilnej.
• Usługa Web Apps hostuje witrynę internetową lub aplikację internetową.
• Usługa Azure Media Indexer umożliwia wyszukiwanie zawartości plików multimedialnych i generuje transkrypcję pełnotekstową dla zamkniętych podpis i słów kluczowych. Pliki multimedialne są przetwarzane pojedynczo lub w partiach.

Elementy

• Blob Storage to usługa, która jest częścią usługi Azure Storage. Usługa Blob Storage oferuje zoptymalizowany magazyn obiektów w chmurze dla dużych ilości danych bez struktury.
• Azure Media Services to oparta na chmurze platforma, która umożliwia przesyłanie strumieniowe wideo, zwiększanie ułatwień dostępu i dystrybucji oraz analizowanie zawartości wideo.
• Przesyłanie strumieniowe na żywo i na żądanie to funkcja usługi Azure Media Services, która dostarcza zawartość do różnych urządzeń na dużą skalę.
• Usługa Azure Encoding umożliwia konwertowanie plików zawierających cyfrowe wideo lub audio z jednego standardowego formatu na inny.
• Usługa Azure Odtwarzacz multimedialny odtwarza filmy wideo w różnych formatach.
• Usługa Azure Content Delivery Network oferuje globalne rozwiązanie umożliwiające szybkie dostarczanie zawartości. Ta usługa zapewnia użytkownikom szybki, niezawodny i bezpieczny dostęp do statycznej i dynamicznej zawartości internetowej aplikacji.
• Azure Cognitive Search to usługa wyszukiwania w chmurze, która dostarcza infrastrukturę, interfejsy API i narzędzia do wyszukiwania. Za pomocą usługi Azure Cognitive Search można tworzyć środowiska wyszukiwania za pośrednictwem prywatnej, heterogenicznej zawartości w aplikacjach internetowych, mobilnych i dla przedsiębiorstw.
• Usługa App Service udostępnia platformę do tworzenia, wdrażania i skalowania aplikacji internetowych. Funkcja Web Apps to usługa do hostowania aplikacji internetowych, interfejsów API REST i zapleczy mobilnych.
• Usługa Azure Media Indexer umożliwia wyszukiwanie zawartości plików multimedialnych. Może również wygenerować transkrypcję pełnotekstową dla zamkniętych podpis i słów kluczowych.

Szczegóły scenariusza

Rozwiązanie zamiany mowy na tekst umożliwia identyfikowanie mowy w statycznych plikach wideo, dzięki czemu można nim zarządzać jako standardową zawartością. Na przykład pracownicy mogą używać tej technologii do wyszukiwania w filmach szkoleniowych pod kątem wypowiadanych słów lub fraz. Następnie mogą przejść do określonego momentu w filmie wideo, który zawiera słowo lub frazę.

Korzystając z tego rozwiązania, możesz przekazać statyczne wideo do witryny internetowej platformy Azure. Usługa Azure Media Indexer używa interfejsu API rozpoznawania mowy do indeksowania mowy w filmach wideo i przechowywania jej w bazie danych platformy Azure. Słowa lub frazy można wyszukiwać przy użyciu funkcji Web Apps usługi aplikacja systemu Azure Service. Następnie możesz pobrać listę wyników. Po wybraniu wyniku możesz zobaczyć miejsce w filmie wideo, które zawiera wzmiankę o słowie lub frazie.

To rozwiązanie jest oparte na usłudze Azure Managed Services Content Delivery Network i Usłudze Azure Cognitive Search.

Potencjalne przypadki użycia

To rozwiązanie ma zastosowanie do scenariuszy, które mogą korzystać z możliwości wyszukiwania nagranej mowy. Oto kilka przykładów:

• Szkolenia i filmy edukacyjne.
• Dochodzenia w sprawie przestępczości.
• Analiza obsługi klienta.

Następne kroki

• Jak używać usługi Azure Blob Storage
• Jak kodować zasób przy użyciu usługi Media Encoder
• Jak zarządzać punktami końcowymi przesyłania strumieniowego
• Wprowadzenie do usługi Azure CDN
• Opracowywanie aplikacji odtwarzacza wideo
• Tworzenie usługi Azure Cognitive usługa wyszukiwania
• Uruchamianie usługi Web Apps w chmurze
• Indeksowanie plików multimedialnych

Powiązane zasoby

• System multimediów w chmurze Gridwich
• Multimedia cyfrowe transmisji strumieniowej na żywo
• Multimedia cyfrowe wideo na żądanie