Интеллектуальные приложения, в которых используется База данных Azure для PostgreSQL

В этой статье представлено решение для автоматизации анализа данных и визуализации с помощью искусственного интеллекта (ИИ). Основными компонентами решения являются Функции Azure, Azure Cognitive Services и База данных Azure для PostgreSQL.

Архитектура

Скачайте файл Visio для этой архитектуры.

Поток данных

1. Действие функции Azure позволяет активировать приложение Функции Azure в конвейере Фабрика данных Azure. Вы создаете подключение связанной службы и используете связанную службу с действием, чтобы указать функцию Azure, которую вы хотите выполнить.
2. Данные из нескольких источников, включая служба хранилища Azure и Центры событий Azure для данных с большим объемом. Когда конвейер получает новые данные, он активирует приложение Функции Azure.
3. Приложение Функции Azure вызывает API Cognitive Services для анализа данных.
4. API Cognitive Services возвращает результаты анализа в формате JSON в приложение Функции Azure.
5. Приложение Функции Azure сохраняет данные и результаты API Cognitive Services в База данных Azure для PostgreSQL.
6. Машинное обучение Azure использует пользовательские алгоритмы машинного обучения для получения дополнительных сведений о данных.
   • Если вы приближаетесь к шагу машинного обучения с точки зрения без кода, вы можете реализовать дополнительные операции анализа текста для данных, такие как хэширование функций, Word2Vector и извлечение n-грамм.
   • Если вы предпочитаете подход на основе кода, вы можете запустить модель обработки естественного языка с открытым кодом (NLP) в качестве эксперимента в Машинное обучение studio.
7. Соединитель PostgreSQL для Power BI позволяет изучить аналитические сведения, которые можно интерпретировать в Power BI или пользовательском веб-приложении.

Компоненты

• служба приложение Azure предоставляет полностью управляемую платформу для быстрого создания, развертывания и масштабирования веб-приложений и API.
• Функции — это управляемая событиями бессерверная вычислительная платформа. Сведения об использовании действия для запуска функции в рамках конвейера Фабрики данных см. в разделе "Действие функции Azure" в Фабрика данных Azure.
• Центры событий — это полностью управляемая платформа потоковой передачи больших данных.
• Cognitive Services предоставляет набор служб ИИ и API, которые можно использовать для создания когнитивной аналитики в приложениях.
• База данных Azure для PostgreSQL — это полностью управляемая служба реляционных баз данных. Она обеспечивает возможности высокой доступности, гибкого масштабирования, установки исправлений и другие функции управления для PostgreSQL.
• Машинное обучение Azure — это облачная служба, которую можно использовать для обучения, развертывания и автоматизации моделей машинного обучения. Студия поддерживает подходы к коду и без кода.
• Power BI — это коллекция программных служб и приложений, которые отображают аналитические сведения и помогают извлекать аналитические сведения из данных.

Подробности сценария

Автоматизированный конвейер использует следующие службы для анализа данных:

• Cognitive Services использует ИИ для ответа на вопросы, анализа тональности и перевода текста.
• Машинное обучение Azure предоставляет средства машинного обучения для прогнозной аналитики.

Для хранения данных и результатов решение использует База данных Azure для PostgreSQL. База данных PostgreSQL поддерживает неструктурированные данные, параллельные запросы и декларативное секционирование. Эта поддержка делает База данных Azure для PostgreSQL эффективным выбором для высокоемких задач искусственного интеллекта и машинного обучения.

Решение автоматизирует доставку анализа данных. Соединитель связывает База данных Azure для MySQL с такими средствами визуализации, как Power BI.

Архитектура использует приложение Функции Azure для приема данных из нескольких источников данных. Это бессерверное решение, которое предлагает следующие преимущества:

• Обслуживание инфраструктуры: Функции Azure — это управляемая служба, которая позволяет разработчикам сосредоточиться на инновационных работах, которые обеспечивают ценность для бизнеса.
• Масштабируемость: Функции Azure предоставляет вычислительные ресурсы по запросу, поэтому экземпляры функций масштабируется по мере необходимости. По мере падения запросов ресурсы и экземпляры приложений автоматически сбрасываются.

Потенциальные варианты использования

База данных Azure для PostgreSQL — это облачное решение. В результате это решение не рекомендуется для мобильных приложений. Более подходящим для нижестоящего анализа в следующих отраслях и других отраслях:

• Транспорт: прогноз обслуживания
• Финансы: оценка рисков и обнаружение мошенничества
• Электронная коммерция: механизмы прогнозирования и рекомендаций клиентов
• Телекоммуникации: оптимизация производительности
• Служебные программы: предотвращение сбоев

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

• Для большинства функций API Cognitive Service для языка имеет максимальный размер 5120 символов для одного документа. Для всех функций максимальный размер запроса составляет 1 МБ. Дополнительные сведения об ограничениях данных и скорости см. в разделе "Ограничения службы" для Azure Cognitive Service для языка.

• В База данных Azure для PostgreSQL объем и скорость входящего трафика определяют выбор режима обслуживания и развертывания. Доступны две службы:

  • База данных Azure для PostgreSQL
  • Azure Cosmos DB для PostgreSQL, который ранее был известен как режим гипермасштабирования (Citus)

  Если вы минуете большие рабочие нагрузки отзывов и отзывов клиентов, используйте Azure Cosmos DB для PostgreSQL. В База данных Azure для PostgreSQL доступны два режима: один сервер и гибкий сервер. Сведения об использовании каждого режима развертывания см. в статье "Что такое База данных Azure для PostgreSQL?".

• Предыдущие версии этого решения использовали API Анализ текста Cognitive Services. Azure Cognitive Service для языка теперь объединяет три отдельные языковые службы в Cognitive Services: Анализ текста, QnA Maker и Распознавание речи (LUIS). Вы можете легко перейти из API Анализ текста в Cognitive Service для языкового API. Инструкции см. в статье "Миграция на последнюю версию Azure Cognitive Service для языка".

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".

Все данные в База данных Azure для PostgreSQL автоматически шифруются и резервируются. Вы можете настроить Microsoft Defender для облака для дальнейшего устранения угроз. Дополнительные сведения см. в разделе "Включение Microsoft Defender для реляционных баз данных с открытым исходным кодом" и реагирование на оповещения.

DevOps

Вы можете настроить GitHub Actions для подключения к базе данных База данных Azure для PostgreSQL с помощью строка подключения и настройки рабочего процесса. Дополнительные сведения см . в кратком руководстве. Использование GitHub Actions для подключения к Azure PostgreSQL.

Вы также можете автоматизировать жизненный цикл машинного обучения с помощью Azure Pipelines. Сведения о реализации рабочего процесса MLOps и создании конвейера CI/CD для проекта см. в репозитории GitHub MLOps с помощью Azure MLOps.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Cognitive Service для языка предлагает различные ценовые категории. Количество текстовых записей, которые вы обрабатываете, влияет на стоимость. Дополнительные сведения см. в разделе " Когнитивный сервис" для цен на язык.

Следующие шаги

• обзор Функции Azure
• Действие функции Azure в Фабрика данных Azure
• Центры событий Azure — платформа потоковой передачи больших данных и служба приема событий
• Общие сведения об Azure Cognitive Services
• Что такое Azure Cognitive Service for Language?
• Асинхронное использование функций языковой службы
• Консоль тестирования API Azure Cognitive Services для языка
• Использование DirectQuery для связывания PostgreSQL с Power BI
• Создание кластера Azure Cosmos DB for PostgreSQL на портале Azure
• Руководство. Использование моделей Машинное обучение Azure в Power BI
• Извлечение аналитических сведений из текста с помощью языковой службы
• Microsoft Certified: Azure AI Engineer Associate

Связанные ресурсы

• Интеллектуальные приложения с помощью База данных Azure для MySQL