Изменить

Процесс Детектора аномалий

Azure Databricks
Служебная шина Azure
Учетные записи службы хранилища Azure

В этой статье представлена архитектура практически в реальном времени реализации процесса обнаружения аномалий.

Архитектура

Схема архитектуры процесса детектора аномалий.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Данные временных рядов могут поступать из нескольких источников, таких как База данных Azure для MySQL, хранилище BLOB-объектов, Центры событий, Azure Cosmos DB, База данных SQL и База данных Azure для PostgreSQL.
  2. Данные учитываются в вычислительных ресурсах из различных источников хранилища, которые отслеживаются Детектор аномалий.
  3. Databricks помогает агрегировать, образцы и вычислять необработанные данные для создания времени с обнаруженными результатами. Databricks может обрабатывать поток и статические данные. Stream Analytics и Azure Synapse могут быть альтернативными в зависимости от требований.
  4. API детектора аномалий обнаруживает аномалии и возвращает результаты вычислений.
  5. Метаданные, связанные с аномалией, помещается в очередь.
  6. Приложение Аналитика выбирает сообщение из очереди сообщений на основе метаданных, связанных с аномалиями, и отправляет оповещение об аномалии.
  7. Результаты хранятся в Azure Data Lake Service 2-го поколения.
  8. Веб-приложения и Power BI могут визуализировать результаты обнаружения аномалий.

Компоненты

Ключевые технологии, используемые для реализации этой архитектуры:

  • служебная шина: надежная облачная служба обмена сообщениями (MaaS) и простая гибридная интеграция.
  • Azure Databricks: быстрая, простая и совместная служба аналитики на основе Apache Spark.
  • Power BI: интерактивные средства бизнес-аналитики данных.
  • служба хранилища учетные записи: устойчивое, высокодоступное и масштабируемое облачное хранилище.
  • Cognitive Services: облачные службы с интерфейсами REST API и пакетами SDK клиентской библиотеки, которые помогут вам создать когнитивный интеллект в приложениях.
  • Logic Apps: бессерверная платформа для создания корпоративных рабочих процессов, которые интегрируют приложения, данные и службы. В этой архитектуре приложения логики активируются с помощью HTTP-запросов.
  • Azure Data Lake Storage 2-го поколения: Azure Data Lake Storage 2-го поколения предоставляет семантику файловой системы, безопасность на уровне файлов и масштабирование.
  • Приложение Аналитика. Приложение Аналитика — это функция Azure Monitor, которая обеспечивает расширяемое управление производительностью приложений (APM) и мониторинг для динамических веб-приложений.

Альтернативные варианты

  • Центры событий с Kafka: альтернатива запуску собственного кластера Kafka. Эта функция Центров событий предоставляет конечную точку, совместимую с API Kafka.
  • Azure Synapse Analytics: служба аналитики, которая объединяет хранилище корпоративных данных и аналитику больших данных.
  • Машинное обучение Azure. Создание, обучение, развертывание и управление пользовательскими моделями машинного обучения и обнаружения аномалий в облачной среде.

Подробности сценария

API Azure Cognitive Services Детектор аномалий позволяет отслеживать и обнаруживать аномалии в данных временных рядов без необходимости знать машинное обучение. Алгоритмы API адаптируются, автоматически определяя и применяя лучшие модели к данным временных рядов независимо от отрасли, сценария или объема данных. Они определяют границы обнаружения аномалий, ожидаемых значений и аномальных точек данных.

Потенциальные варианты использования

Некоторые области, которые обнаружение аномалий помогает отслеживать:

  • Банковское мошенничество (финансовая отрасль)
  • Структурные дефекты (производственная промышленность)
  • Медицинские проблемы (отрасль здравоохранения)

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Масштабируемость

Большинство компонентов в этом примере сценария являются управляемыми службами, которые будут автоматически масштабироваться.

Общие рекомендации по разработке масштабируемых решений см. в разделе Контрольный список для обеспечения производительности в Центре архитектуры Azure.

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в разделе "Общие сведения о компоненте безопасности".

Управляемые удостоверения Служб Azure используются для предоставления доступа к другим ресурсам, находящимся внутри учетной записи, а затем присвоенным Функциям Azure. Разрешите этим удостоверениям получать доступ только к необходимым ресурсам, чтобы гарантировать, что никакие дополнительные возможности не предоставляются вашим функциям (и потенциально вашим клиентам).

Общие рекомендации по разработке безопасных решений см. в разделе Документация по системе безопасности Azure.

Устойчивость

Все компоненты в этом сценарии управляются, поэтому на региональном уровне все они являются устойчивыми автоматически.

Общее руководство по проектированию устойчивых решений см. в разделе Проектирование устойчивых приложений для Azure.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Сведения о затратах на выполнение этого сценария см. в предварительно заполненном калькуляторе со всеми службами. Чтобы узнать, как изменится цена для конкретного варианта использования, измените соответствующие переменные в соответствии с ожидаемым трафиком или объемами данных.

Мы предоставили три примера профилей затрат на основе объема трафика (предполагается, что все изображения размером 100 КБ):

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участник.

Автор субъекта:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги