솔루션 아키텍처: 심화 학습 및 자연어 처리를 사용한 정보 검색

소셜 사이트, 포럼 및 기타 텍스트가 많은 Q&A 서비스에서는 태그 지정을 많이 사용하여 인덱싱 및 사용자 검색이 가능하도록 합니다. 적절한 태그 지정을 사용하지 않으면 이러한 사이트는 효과가 훨씬 더 적습니다. 그러나 종종 태그 지정은 사용자의 판단에 따라 유지됩니다. 또한 사용자는 일반적으로 검색된 용어 목록이 없거나 사이트의 범주화 또는 정보 아키텍처를 충분히 이해하지 못하므로 게시물의 레이블이 잘못 지정되는 경우가 자주 있습니다. 따라서 나중에 필요할 때 해당 콘텐츠를 찾기가 어렵거나 찾지 못할 수 있습니다.

이 솔루션은 사이트 관련 검색 용어에 대한 데이터와 심화 학습 및 NLP(자연어 처리)를 결합하여 사이트에서 태그 지정 정확도를 향상시킵니다. 사용자가 게시물을 입력하면 많이 사용되는 용어를 추천 태그로 제공하여 다른 사용자가 제공된 정보를 더 쉽게 찾을 수 있도록 합니다.

구현 지침

제품/설명 설명서

Microsoft SQL Server

데이터는 Microsoft SQL Server를 사용하여 저장되고, 구조화되며, 인덱싱됩니다.

GPU 기반 Azure 데이터 과학 가상 컴퓨터

핵심 개발 환경은 Microsoft Windows Server 2016 GPU DSVM NC24입니다.

Azure Machine Learning Workbench

Workbench는 데이터 정리 및 변환에 사용되며 실험 및 모델 관리 서비스의 기본 인터페이스로 사용됩니다.

Azure Machine Learning 실험 서비스

실험 서비스는 하이퍼 매개 변수 조정을 포함한 모델 교육에 사용됩니다.

Azure Machine Learning 모델 관리 서비스

모델 관리 서비스는 Kubernetes 관리 Azure 클러스터로 확장을 포함한 최종 모델 배포에 사용됩니다.

Azure 데이터 과학 VM의 Jupyter Notebook

Jupyter Notebook은 모델의 기본 IDE로 사용되며, Python에서 개발되었습니다.

Azure Container Registry

모델 관리 서비스에서는 실시간 웹 서비스를 만들고 Docker 컨테이너로 패키지화합니다. 이러한 컨테이너는 Azure Container Registry를 통해 업로드되고 등록됩니다.

Azure Container Service 클러스터

이 솔루션 배포에서는 Kubernetes 관리 클러스터를 실행하는 Azure Container Service를 사용합니다. 컨테이너는 Azure Container Registry에 저장된 이미지에서 배포됩니다.