Megoldásarchitektúra: Információk feltérképezése a mély tanulással és a természetes nyelvi feldolgozással

A közösségi webhelyek, a fórumok és az elsősorban szöveges adatot használó más kérdés-válasz szolgáltatások egyik legfontosabb eleme a címkézés, amely lehetővé teszi az indexelést és a felhasználói keresést. Megfelelő címkézés hiányában az ilyen webhelyek hatékonysága jelentősen csökken. A címkézés azonban nagyon gyakran a felhasználó döntésére van hagyva. Mivel azonban a felhasználók nem rendelkeznek a gyakran keresett kifejezések listájával, és nincsenek tisztában a webhely információkategorizálási rendszerével sem, a bejegyzéseket sokszor nem megfelelő módon címkézik meg. Ez azonban problémássá, sőt olykor lehetetlenné is teheti a szükséges tartalom megtalálását.

Ez a megoldás a deep learning módszert és a természetes nyelvi feldolgozást (NLP) együttesen használja a webhelyspecifikus keresési kifejezésekre, és ezzel nagy mértékben javítja a címkézés pontosságát. Amikor a felhasználó megírja a bejegyzését, a megoldás gyakran használt címkéket javasol, lehetővé téve, hogy mások könnyebben megtalálják a tartalmat.

Implementálási segédlet

Termékek/Leírás Dokumentáció

Microsoft SQL Server

Az adatok tárolása, strukturálása és indexelése a Microsoft SQL Server használatával történik.

GPU-t tartalmazó Azure adatelemzési virtuális gép

A fejlesztési környezet alapvetően a Windows Server 2016 GPU DSVM NC24.

Azure Machine Learning Workbench

A Workbench adattisztítást és adatátalakítást végez, és a kísérleti és modellkezelési szolgáltatások elsődleges felületeként is szolgál.

Azure Machine Learning-kísérletezési szolgáltatás

A modell betanítása és a hiperparaméter finomhangolása a Kísérletezési szolgáltatással történik.

Azure Machine Learning Modellkezelés szolgáltatás

A kész modell üzembe helyezése és annak Kubernetes által kezelt Azure-fürtbe való kiterjesztése a Modellkezelési szolgáltatás használatával történik.

A Jupyter Notebooks az Azure adatelemzési virtuális gépén

A modellhez integrált fejlesztőkörnyezetként a Pythonban fejlesztett Jupyter Notebooks használatos.

Azure Container Registry

A Modellkezelési szolgáltatás a valós idejű webszolgáltatásokat Docker-tárolókként hozza létre és csomagolja be. A tárolók az Azure Container Registryn keresztül lesznek feltöltve és regisztrálva.

Azure Container Service-fürt

A megoldás üzembe helyezése az Azure Container Service és Kubernetes által kezelt fürt használatával történik. A tárolók üzembe helyezése az Azure Container Registryben tárolt rendszerképek használatával történik.