Architektura rozwiązania: Odnajdywanie informacji dzięki uczeniu głębokiemu i przetwarzaniu języka naturalnego

Witryny społecznościowe, fora i inne zawierające dużo tekstu usługi pytań i odpowiedzi w dużym stopniu polegają na tagowaniu, które umożliwia indeksowanie i wyszukiwanie przez użytkownika. Bez odpowiedniego tagowania te witryny są znacznie mniej skuteczne. Jednak często tagowanie jest pozostawiane do uznania użytkowników. A ponieważ użytkownicy nie mają list często wyszukiwanych terminów ani dogłębnej wiedzy o kategoryzacji lub architekturze informacji w witrynie, wpisy są często niepoprawnie oznakowane. Powoduje to, że znalezienie zawartości jest trudne lub niemożliwe, gdy jest ona potrzebna później.

Łącząc głębokie uczenie i przetwarzanie języka naturalnego (NLP) z danymi w terminach wyszukiwania specyficznych dla witryny, rozwiązanie to w znacznym stopniu pomaga poprawić dokładność tagowania w witrynie. W miarę jak użytkownik wprowadza swój wpis, oferuje ono często używane terminy jako sugerowane tagi, ułatwiając innym znalezienie udostępnianych informacji.

Wytyczne dotyczące implementacji

Produkty/opis Dokumentacja

Microsoft SQL Server

Dane są przechowywane, strukturalizowane i indeksowane za pomocą programu Microsoft SQL Server.

Oparta na procesorze GPU maszyna wirtualna do analizy danych (DSVM) na platformie Azure

Podstawowym środowiskiem deweloperskim jest maszyna DSVM z procesorem GPU i NC24 oraz systemem Microsoft Windows Server 2016.

Środowisko robocze usługi Azure Machine Learning

Środowisko robocze jest używane do czyszczenia i transformacji danych oraz służy jako podstawowy interfejs dla usług eksperymentowania i zarządzania modelami.

Eksperymentowanie w usłudze Azure Machine Learning

Usługa eksperymentowania służy do trenowania modelu, w tym do strojenia hiperparametrycznego.

Zarządzanie modelami w usłudze Azure Machine Learning

Usługa zarządzania modelami służy do wdrażania końcowego modelu łącznie ze skalowaniem w poziomie do klastra platformy Azure zarządzanego przez usługę Kubernetes.

Program Jupyter Notebooks na maszynie wirtualnej analizy danych na platformie Azure

Program Jupyter Notebooks jest używany jako podstawowe zintegrowane środowisko projektowe dla modelu, który został opracowany w języku Python.

Azure Container Registry

Usługa zarządzania modelami tworzy i pakuje usługi internetowe czasu rzeczywistego jako kontenery platformy Docker. Te kontenery są przekazywane i rejestrowane za pomocą usługi Azure Container Registry.

Klaster usługi Azure Container Service

Wdrożenie tego rozwiązania wykorzystuje usługę Azure Container Service działającą w klastrze zarządzanym przez usługę Kubernetes. Kontenery są wdrażane z obrazów przechowywanych w usłudze Azure Container Registry.