Architektura rozwiązania: Wykrywanie anomalii przy użyciu uczenia maszynowego

Usługi, z których korzystają nowoczesne działy IT, generują duże ilości danych telemetrycznych służących do śledzenia różnych aspektów kondycji operacyjnej, wydajności systemu, szczegółowych danych o użyciu, alertów i wielu innych elementów. Często jednak monitorowanie i zbieranie szczegółowych informacji z tych danych nie jest w pełni zautomatyzowane i może prowadzić do występowania błędów, co utrudnia skuteczne i precyzyjne określenie kondycji systemu w danym momencie.

To dostosowywalne rozwiązanie wykrywania anomalii korzysta z funkcji uczenia maszynowego, aby zapewnić wysoką dostępność systemów informatycznych, oraz zapewnia kompleksowy potok pozyskujący dane ze źródeł lokalnych lub w chmurze i zgłasza nietypowe zdarzenia do podrzędnych systemów monitorowania i tworzenia biletów.

Dzięki temu rozwiązaniu szybko wykryjesz i usuniesz problemy w oparciu o podstawowe metryki kondycji z infrastruktury IT (procesor CPU, pamięć itp.), usług (przekroczenia limitu czasu oczekiwania, różnice w umowie SLA, spadki napięcia) i innych kluczowych wskaźników wydajności (zaległości w zamówieniach, niepowodzenia logowania i płatności itp.).

Wdrażanie na platformie Azure

Użyj poniższego wstępnie utworzonego szablonu, aby wdrożyć tę architekturę na platformie Azure

Wdrażanie na platformie Azure

Przeglądaj w usłudze GitHub

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Wytyczne dotyczące implementacji

Produkty Dokumentacja

Event Hubs

To jest punkt wejścia potoku, w którym pozyskiwane są nieprzetworzone szeregi czasowe.

Stream Analytics

Usługa Stream Analytics wykonuje agregację w 5-minutowych odstępach i agreguje punkty danych pierwotnych według nazwy metryki.

Storage

Usługa Azure Storage przechowuje dane zagregowane przez zadanie usługi Stream Analytics.

Data Factory

Usługa Data Factory w regularnych odstępach czasu (domyślnie co 15 minut) wywołuje interfejs API usługi wykrywania anomalii względem danych usługi Azure Storage. Wyniki są zapisywane w bazie danych SQL.

SQL Database

Usługa SQL Database przechowuje wyniki z interfejsu API wykrywania anomalii, w tym wykrycia binarne i oceny wykrycia. Przechowuje także opcjonalne metadane wysyłane z punktami danych pierwotnych, aby umożliwić bardziej złożone raportowanie.

Machine Learning Studio

Ta usługa hostuje interfejs API usługi wykrywania anomalii. Zauważ, że sam interfejs API jest bezstanowy i wymaga, aby w każdym wywołaniu interfejsu API były wysyłane historyczne punkty danych.

Service Bus

Wykryte anomalie są publikowane w temacie usługi Service Bus w celu umożliwienia używania przez zewnętrzne usługi monitorowania.

Application Insights

Usługa Application Insights umożliwia monitorowanie potoku.

Power BI

Usługa Power BI udostępnia pulpity nawigacyjne wyświetlające dane pierwotne oraz wykryte anomalie.

Powiązane architektury rozwiązań