Architektura řešení: Detekce anomálií pomocí služby Machine Learning

Služby používané moderními IT odděleními generují velké objemy telemetrických dat, aby umožnily sledování různých aspektů provozního stavu, výkonu systému, přehledů o využití, obchodních metrik, upozorňování a mnoha dalších. Monitorování a shromažďování přehledů ze všech těchto dat však často není plně automatizované a může být náchylné k chybám, což ztěžuje efektivní a přesné určení stavu systému k danému určitému bodu v čase.

Toto přizpůsobitelné řešení detekce anomálií pomocí strojového učení zajišťuje vysokou dostupnost informačních systémů a poskytuje koncový kanál, který ingestuje data z místních i cloudových zdrojů dat a neobvyklé události hlásí do podřízených systémů monitorování a vytváření tiketů.

S tímto řešením budete moct rychle detekovat a opravovat problémy na základě základních metrik stavu z IT infrastruktury (procesor, paměť atd.), služeb (časové limity, odchylky od smlouvy SLA, výpadky atd.) a dalších klíčových ukazatelů výkonu (backlog objednávek, problémy s přihlášením a platbou atd.).

Nasadit do Azure

Nasazení této architektury do Azure s použitím následující předem sestavené šablony

Nasadit do Azure

Zobrazit nasazené řešení

Procházet na GitHubu

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Pokyny k implementaci

Produkty/popis Dokumentace

Event Hubs

Toto je vstupní bod kanálu, kde se ingestují nezpracovaná data časové řady.

Stream Analytics

Stream Analytics provádí agregaci v 5minutových intervalech a agreguje všechny nezpracované datové body podle názvu metriky.

Storage

Azure Storage uchovává data agregovaná úlohou Stream Analytics.

Data Factory

Data Factory v pravidelných intervalech (ve výchozím nastavení každých 15 minut) volá rozhraní API pro detekci anomálií v datech ve službě Azure Storage. Výsledky ukládá do databáze SQL.

SQL Database

SQL Database uchovává výsledky z rozhraní API pro detekci anomálií, včetně binárních detekcí a hodnocení detekcí. Uchovává také volitelná metadata odesílaná s nezpracovanými datovými body, která umožňují generování složitějších sestav.

Machine Learning Studio

Tady je hostované rozhraní API pro detekci anomálií. Mějte na paměti, že samotné rozhraní API je bezstavové a vyžaduje, aby se v každém volání rozhraní API odesílaly historické datové body.

Service Bus

Detekované anomálie se publikují v tématu Service Bus, aby je mohly využívat externí služby monitorování.

Application Insights

Application Insights umožňuje monitorování kanálu.

Power BI

Power BI poskytuje řídicí panely zobrazující nezpracovaná data i detekované anomálie.

Související architektury řešení