Architettura della soluzione: Rilevamento delle anomalie con Machine Learning

I servizi usati dai reparti IT moderni generano volumi elevati di dati di telemetria per tenere traccia dei diversi aspetti dell'integrità operativa, delle prestazioni del sistema, delle informazioni dettagliate sull'utilizzo, delle metriche aziendali, degli avvisi e di altri tipi di informazioni. Il monitoraggio e la raccolta di informazioni dettagliate da tutti questi dati, tuttavia, non sono spesso completamente automatizzati e possono essere soggetti a errori, rendendo difficile la determinazione efficace e precisa dell'integrità del sistema in un punto specifico del tempo.

Questa soluzione personalizzabile per il rilevamento delle anomalie usa Machine Learning per assicurare la disponibilità elevata dei sistemi IT, offre una pipeline end-to-end che inserisce dati dalle origini dati locali e cloud e segnala gli eventi anomali ai sistemi di monitoraggio e di creazione di ticket downstream.

Questa soluzione permette di rilevare e risolvere rapidamente i problemi in base alle metriche sottostanti per l'integrità dall'infrastruttura IT (CPU, memoria e così via), dai servizi (timeout, variazioni del Contratto di servizio, brownout e così via) e da altri indicatori KPI (backlog degli ordini, errori di accesso e pagamento e così via).

Distribuisci in Azure

Usa il modello predefinito seguente per distribuire questa architettura in Azure

Distribuisci in Azure

Sfoglia su GitHub

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Linee guida di implementazione

Prodotti Documentazione

Hub eventi

Questo è il punto di ingresso della pipeline, in cui vengono inseriti i dati non elaborati delle serie temporali.

Analisi di flusso

Analisi di flusso esegue l'aggregazione a intervalli di 5 minuti e aggrega i punti dati non elaborati in base al nome delle metriche.

Archiviazione

Archiviazione di Azure archivia i dati aggregati dal processo di Analisi di flusso.

Data Factory

Data Factory chiama l'API di rilevamento delle anomalie a intervalli regolari (ogni 15 minuti per impostazione predefinita) sui dati in Archiviazione di Azure. Archivia i risultati in un database SQL.

Database SQL

Il database SQL archivia i risultati dell'API di rilevamento delle anomalie, inclusi i rilevamenti binari e i punteggi di rilevamento. Archivia anche i metadati facoltativi inviati con i punti dati non elaborati, per consentire la creazione di report più complessi.

Machine Learning Studio

Ospita l'API di rilevamento delle anomalie. Nota che l'API stessa è senza stato e richiede l'invio di punti dati cronologici in ogni chiamata API.

Bus di servizio

Le anomalie rilevate vengono pubblicate in un argomento del bus di servizio per consentire l'utilizzo da parte di servizi di monitoraggio esterni.

Application Insights

Application Insights consente il monitoraggio della pipeline.

Power BI

Power BI fornisce dashboard che mostrano i dati non elaborati, oltre alle anomalie rilevate.

Altre informazioni

Architetture delle soluzioni correlate