Lösungsarchitektur: Ermittlung von Informationen durch Deep Learning und NLP (Natural Language Processing)

Websites sozialer Netzwerke, Foren und andere textintensive Frage-Antwort-Dienste sind in hohem Maße auf Tagging angewiesen, das die Indizierung und Benutzersuche ermöglicht. Ohne entsprechendes Tagging sind diese Websites weitaus ineffizienter. Oftmals liegt das Tagging jedoch im Ermessen der Benutzer. Da Benutzer nicht über Listen mit häufig gesuchten Begriffen oder tiefgreifende Kenntnisse der Kategorisierung oder Informationsarchitektur einer Website verfügen, werden Beiträge allzu oft falsch gekennzeichnet. Dies erschwert später die Suche nach Inhalten oder macht diese sogar unmöglich.

Durch die Kombination von Deep Learning und der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) mit Daten zu websitespezifischen Suchbegriffen verbessert diese Lösung die Tagginggenauigkeit auf Ihrer Website erheblich. Bei der Eingabe von Beiträgen werden Benutzern häufig verwendete Begriffe als Tags vorgeschlagen, sodass die angegebenen Informationen von anderen Benutzern einfacher gefunden werden können.

Implementierungsleitfaden

Produkte/Beschreibung Dokumentation

Microsoft SQL Server

Daten werden mithilfe von Microsoft SQL Server gespeichert, strukturiert und indiziert.

GPU-basierte Azure Data Science Virtual Machine

Die Kernentwicklungsumgebung ist die GPU-DSVM NC24 unter Microsoft Windows Server 2016.

Azure Machine Learning Workbench

Die Workbench-Anwendung wird zur Datenbereinigung und -transformation verwendet und dient als primäre Schnittstelle zu den Diensten für Experimentieren und Modellverwaltung.

Azure Machine Learning-Experimentieren-Dienst

Der Experimentieren-Dienst wird zum Modelltraining sowie zum Optimieren von Hyperparametern verwendet.

Azure Machine Learning-Modellverwaltungsdienst

Der Modellverwaltungsdienst wird zur Bereitstellung des endgültigen Modells sowie zum horizontalen Hochskalieren auf einen mit Kubernetes verwalteten Azure-Cluster verwendet.

Jupyter Notebooks auf der Azure Data Science Virtual Machine

Jupyter Notebooks werden als Basis-IDE für das in Python entwickelte Modell verwendet.

Azure-Containerregistrierung

Der Modellverwaltungsdienst erstellt Echtzeit-Webdienste und packt diese als Docker-Container. Diese Container werden hochgeladen und über Azure Container Registry registriert.

Azure Container Service-Cluster

Die Bereitstellung dieser Lösung verwendet einen Azure Container Service, der einen mit Kubernetes verwalteten Cluster ausführt. Die Container werden über die in Azure Container Registry gespeicherten Images bereitgestellt.