Editar

Proceso de detección de anomalías

Azure Databricks
Azure Service Bus
Cuentas de Azure Storage

En este artículo se presenta una arquitectura para una implementación casi en tiempo real de un proceso de detección de anomalías.

Architecture

Diagrama de la arquitectura del proceso de detección de anomalías.

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

  1. Los datos de serie temporal pueden proceder de varios orígenes, como Azure Database for MySQL, Blob Storage, Event Hubs, Azure Cosmos DB, SQL Database y Azure Database for PostgreSQL.
  2. Los datos se ingieren en el proceso desde varios orígenes de almacenamiento para que los supervise Anomaly Detector.
  3. Databricks ayuda a agregar, muestrear y procesar los datos sin procesar para generar el tiempo con los resultados detectados. Databricks es capaz de procesar datos estáticos y de flujo. Stream Analytics y Azure Synapse pueden ser alternativas en función de los requisitos.
  4. La API de detector de anomalías detecta las anomalías y devuelve los resultados al proceso.
  5. Los metadatos relacionados con anomalías se ponen en cola.
  6. Application Insights selecciona el mensaje de la cola de mensajes en función de los metadatos relacionados con la anomalía y envía una alerta sobre la anomalía.
  7. Los resultados se almacenan en Azure Data Lake Service Gen2.
  8. Las aplicaciones web y Power BI pueden visualizar los resultados de la detección de anomalías.

Componentes

Tecnologías clave que se usan para implementar esta arquitectura:

  • Service Bus: Mensajería de confianza en la nube como servicio (MaaS) e integración híbrida sencilla.
  • Azure Databricks: Servicio de análisis rápido, sencillo y de colaboración basado en Apache Spark.
  • Power BI: Herramientas de inteligencia empresarial para la visualización interactiva de datos.
  • Cuentas de almacenamiento: Almacenamiento en la nube duradero, de alta disponibilidad y escalable a gran escala.
  • Cognitive Services: Servicios basados en la nube con las API REST y los SDK de biblioteca cliente disponibles para ayudarle a generar inteligencia cognitiva en sus aplicaciones.
  • Logic Apps: es una plataforma sin servidor para la creación de flujos de trabajo empresariales que integran aplicaciones, datos y servicios. En esta arquitectura, las aplicaciones lógicas se desencadenan mediante solicitudes HTTP.
  • Azure Data Lake Storage Gen2: proporciona la semántica del sistema de archivos, la seguridad de nivel de archivo y la escala.
  • Application Insights: es una característica de Azure Monitor que proporciona administración del rendimiento de las aplicaciones (APM) extensible y supervisión para aplicaciones web en vivo.

Alternativas

  • Event Hubs con Kafka: una alternativa a ejecutar su propio clúster de Kafka. Esta característica de Event Hubs proporciona un punto de conexión que es compatible con las API de Kafka.
  • Azure Synapse Analytics: servicio de análisis que engloba el almacenamiento de datos empresariales y el análisis de macrodatos.
  • Azure Machine Learning: Tecnología para crear, entrenar, implementar y administrar modelos de aprendizaje automático y detección de anomalías en entornos basados en la nube.

Detalles del escenario

Anomaly Detector API de Azure Cognitive Services permite supervisar y detectar anomalías en los datos de serie temporal sin tener que saber aprendizaje automático. Los algoritmos de la API se adaptan al identificar y aplicar automáticamente los modelos más idóneos para sus datos de series temporales, con independencia del sector, el escenario o el volumen de datos. Determinan los límites de la detección de anomalías, los valores esperados y los puntos de datos anómalos.

Posibles casos de uso

Algunas áreas que la detección de anomalías ayuda a supervisar:

  • Fraude bancario (sector financiero)
  • Defectos estructurales (sector industrial)
  • Problemas médicos (sector sanitario)

Consideraciones

Estas consideraciones implementan los pilares del marco de buena arquitectura de Azure, que es un conjunto de principios guía que se pueden usar para mejorar la calidad de una carga de trabajo. Para más información, consulte Marco de buena arquitectura de Microsoft Azure.

Escalabilidad

La mayoría de los componentes usados en este escenario de ejemplo son servicios administrados que se escalan automáticamente.

Para obtener instrucciones generales sobre cómo diseñar soluciones escalables, consulte la lista de comprobación de eficiencia del rendimiento en el Centro de arquitectura de Azure.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el abuso de datos y sistemas valiosos. Para más información, consulte Introducción al pilar de seguridad.

Managed Service Identities para recursos de Azure (MSI) se utiliza para proporcionar a otros recursos internos acceso a su cuenta y, a continuación, se asigna a Azure Functions. Permita a esas identidades el acceso solo a los recursos necesarios para evitar exponer nada que no sea necesario a las funciones (y, potencialmente, a sus clientes).

Para instrucciones generales de diseño de soluciones seguras, consulte Documentación de Azure Security Center.

Resistencia

En este escenario, todos los componentes son administrados, por lo que, a nivel regional, son resistentes de forma automática.

Para obtener instrucciones generales sobre el diseño de soluciones resistentes, consulte Diseño de aplicaciones resistentes de Azure.

Optimización de costos

La optimización de costos trata de buscar formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para más información, vea Información general del pilar de optimización de costos.

Para explorar el costo de la ejecución de este escenario, consulte la calculadora rellenada previamente con todos los servicios. Para ver cómo cambiarían los precios en su caso de uso concreto, cambie las variables pertinentes para que coincidan con los volúmenes de tráfico o datos previstos.

Hemos proporcionado tres ejemplos de perfiles de costo según la cantidad de tráfico (hemos dado por hecho que todas las imágenes tienen un tamaño de 100 KB):

  • Calculadora de ejemplo: este ejemplo de precios es una calculadora con todos los servicios de esta arquitectura, excepto Power BI y una solución de alertas personalizada.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes