Architectuur voor de oplossing:Afwijkingsdetectie met machine learning

Met de services die worden gebruikt door moderne IT-afdelingen, worden grote volumes telemetriegegevens gegenereerd om diverse aspecten bij te houden van operationele status, systeemprestaties, inzicht in gebruik, bedrijfsmetrieken, waarschuwingen en nog veel meer. Vaak is het controleren en verzamelen van al deze gegevens echter niet volledig geautomatiseerd en is dit foutgevoelig, waardoor het moeilijk is om de status van het systeem op een bepaald moment effectief en nauwkeurig te bepalen.

In deze aanpasbare oplossing voor het detecteren van afwijkingen wordt machine learning gebruikt om te zorgen voor een hoge beschikbaarheid van IT-systemen. Daarnaast biedt deze een end-to-endpijplijn, waarin gegevens worden opgenomen vanuit on-premises gegevensbronnen en cloudgegevensbronnen, en worden afwijkende gebeurtenissen vastgelegd in systemen voor downstreambewaking en ticketsystemen.

Met deze oplossing kunt u snel problemen detecteren en oplossen op basis van onderliggende statusmetrieken van de IT-infrastructuur (CPU, geheugen enzovoort), services (time-outs, SLA-variaties, brown-outs enzovoort) en andere KPI's (Key Performance Indicators) (orderachterstand, aanmeldings- en betalingsfouten enzovoort).

Implementatie in Azure

Gebruik de volgende vooraf gemaakte sjabloon om deze architectuur op Azure te implementeren

Implementatie in Azure

Zoeken op GitHub

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Begeleiding bij implementatie

Producten Documentatie

Event Hubs

Dit is het toegangspunt van de pijplijn, waar de onbewerkte tijdseriegegevens worden opgenomen.

Stream Analytics

Met Stream Analytics worden elke vijf minuten aggregaties uitgevoerd en worden onbewerkte gegevenspunten geaggregeerd op metrieknaam.

Storage

Met Azure Storage worden gegevens opgeslagen die zijn geaggregeerd door de Stream Analytics-taak.

Data Factory

Via Data Factory wordt de API voor afwijkingsdetectie regelmatig (standaard elke 15 minuten) aangeroepen voor de gegevens in Azure Storage. Hiermee worden de resultaten opgeslagen in een SQL-database.

SQL Database

In SQL Database worden de resultaten van de API voor afwijkingsdetectie opgeslagen, inclusief binaire detecties en detectiescores. Daarnaast worden optionele metagegevens opgeslagen die worden verzonden met de onbewerkte gegevenspunten om ingewikkeldere rapportage mogelijk te maken.

Machine Learning Studio

Hierop wordt de API voor afwijkingsdetectie gehost. De API zelf is staatloos en hiervoor moeten historische gegevenspunten worden verzonden in elke API-aanroep.

Service Bus

Gedetecteerde afwijkingen worden gepubliceerd naar een Service Bus-onderwerp zodat deze kunnen worden gebruikt door externe controleservices.

Application Insights

Met Application Insights kan de pijplijn worden bewaakt.

Power BI

Power BI bevat dashboards met de onbewerkte gegevens en gedetecteerde afwijkingen.

Related solution architectures