Архитектура решения: Поиск информации с помощью глубинного обучения и нейролингвистического программирования

Социальные сайты, форумы и другие службы вопросов и ответов с большим количеством текста в значительной степени полагаются на расстановку тегов, позволяющую выполнять индексирование и пользовательский поиск. Без соответствующей расстановки тегов эти сайты не так эффективны. Часто, однако, расстановка тегов оставлена на усмотрение пользователя. Так как у пользователей нет списка часто используемых терминов или глубокого понимания категоризации или информационной архитектуры сайта, сообщения часто неправильно маркируются. Это затрудняет или делает невозможным поиск этого содержимого позднее.

Благодаря сочетанию глубокого обучения и обработки естественного языка (NLP) с поисковыми терминами, связанными с данными конкретных сайтов, решение помогает значительно улучшить точность расстановки тегов на сайте. Когда пользователь вводит запись, выводится список часто используемых терминов в качестве предлагаемых тегов, что облегчает поиск информации для других пользователей.

Deteção de informações com o processamento de linguagem natural e de aprendizagem profundaVeja como é que o processamento de linguagem natural e de aprendizagem profunda pode ser utilizado eficazmente com a plataforma Microsoft AI.

Руководство по реализации

Продукты и их описание Документация

Microsoft SQL Server

Данные сохраняются, структурируются и индексируются с помощью Microsoft SQL Server.

Виртуальная машина для обработки и анализа данных Azure на основе графического процессора

Основная среда разработки — это виртуальная машина для обработки и анализа данных (DSVM) NC24 Microsoft Windows Server 2016 на основе графического процессора.

Azure Machine Learning Workbench

Workbench используется для очистки и преобразования данных, а также служит в качестве основного интерфейса для служб экспериментирования и управления моделями.

Служба Экспериментирование в Машинном обучении Azure

Служба Экспериментирование используется для обучения модели, включая настройку гиперпараметров.

Служба управления моделями Машинного обучения Azure

Служба управления моделями используется для развертывания окончательной модели, включая масштабирование в кластер Azure, управляемый Kubenetes.

Блокноты Jupyter в виртуальной машине обработки и анализа Azure

Блокноты Jupyter используются в качестве базовой IDE для модели, разработанной в Python.

Реестр контейнеров Azure

Служба управления моделями создает и упаковывает веб-службы в реальном времени в качестве контейнеров Docker. Эти контейнеры передаются и регистрируются в реестре контейнеров Azure.

Служба Azure Kubernetes (AKS)

При развертывании этого решения используется Служба Azure Kubernetes для работы с кластером под управлением Kubernetes. Эти контейнеры развертываются из образов, хранящихся в реестре контейнеров Azure.