Lösungsarchitektur: Anomalieerkennung mit Machine Learning

Die von modernen IT-Abteilungen verwendeten Dienste generieren große Volumen an Telemetriedaten, um unterschiedliche Aspekte der betrieblichen Integrität, Systemleistung, Nutzungsinformationen, Geschäftsmetriken, Warnungen usw. nachzuverfolgen. Jedoch ist oft die Überwachung und das Sammeln von Informationen von all diesen Daten nicht vollständig automatisiert und ist deshalb fehleranfällig. Dies macht es schwierig, die Integrität des Systems zu jedem Zeitpunkt effektiv und genau zu bestimmen.

Diese anpassbare Lösung zur Erkennung von Anomalien verwendet Machine Learning zum Sicherstellen der hohen Verfügbarkeit von IT-Systemen und bietet eine End-to-End-Pipeline, die Daten von lokalen und Clouddatenquellen erfasst und anormale Ereignisse an die Downstreamüberwachung und Ticketausstellungssysteme meldet.

Mit dieser Lösung können Sie Fehler schnell erkennen und auf Grundlage zugrunde liegender Integritätsmetriken der IT-Infrastruktur (CPU, Speicher usw.), von Diensten (Timeouts, Variationen von SLA, Brownouts usw.) und anderen Key Performance Indicators (Auftragsbestand, Fehler bei der Anmeldung und der Zahlung usw.) beheben.

In Azure bereitstellen

Verwenden Sie die folgende vorgefertigte Vorlage, um diese Architektur in Azure bereitzustellen

In Azure bereitstellen

Auf GitHub suchen

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Implementierungsleitfaden

Produkte Dokumentation

Event Hubs

Dies ist der Einstiegspunkt der Pipeline, wo die TimeSeries-Rohdaten erfasst werden.

Stream Analytics

Stream Analytics führt die Aggregation in Intervallen von fünf Minuten aus und aggregiert Rohdatenpunkte nach Metriknamen.

Storage

Azure Storage speichert die durch den Stream Analytics-Auftrag aggregierten Daten.

Data Factory

Data Factory ruft die Anomalieerkennungs-API regelmäßig auf den Daten in Azure Storage auf (in der Standardeinstellung alle 15 Minuten). Die Ergebnisse werden in einer SQL-Datenbank gespeichert.

SQL-Datenbank

Die SQL-Datenbank speichert die Ergebnisse der Anomalieerkennungs-API, einschließlich binärer Erkennung und Erkennungsbewertungen. Es werden ebenso die optionalen Metadaten gespeichert, die mit den Rohdatenpunkten gesendet werden, damit eine kompliziertere Berichterstellung möglich ist.

Machine Learning Studio

Die Anomalieerkennungs-API wird davon gehostet. Beachten Sie, dass die API selbst zustandslos ist und historische Datenpunkte benötigt, um in jedem API-Aufruf übermittelt werden zu können.

Service Bus

Erkannte Anomalien werden in einem Service Bus-Thema veröffentlicht, um den Verbrauch durch externe Überwachungsdienste zuzulassen.

Application Insights

Application Insights lässt die Überwachung der Pipeline zu.

Power BI

Power BI stellt Dashboards bereit, die die Rohdaten sowie die erkannten Anomalien zeigen.

Weitere Informationen

Zugehörige Lösungsarchitekturen