Lösningsarkitektur: Avvikelseidentifiering med Machine Learning

Alla de tjänster som används av en modern IT-avdelning genererar enorma mängder telemetridata som kan användas för att spåra driftstatus, systemprestanda, användningsstatistik, aviseringar och mycket annat. Övervakning och insamling av sådana data kan emellertid inte automatiseras helt, och där det förekommer manuella insatser uppstår det tyvärr också fel. Därmed blir det svårt att fastställa systemets hälsostatus för en given tidpunkt.

Det här är en anpassningsbar lösning för avvikelseidentifiering som använder maskininlärning för att säkerställa en hög tillgänglighetsgrad hos IT-systemen. Lösningen utgör även en komplett pipeline för inmatning av data från såväl lokala system som molndatakällor. Den skickar även avvikelserapporter till övervaknings- och loggningssystem nedströms.

Med den här lösningen kan du snabbt hitta och åtgärda fel utifrån hälsodata från IT-infrastrukturen (processor, minne etc.), tjänster (tidsgränser, SLA-variationer, strömavbrott etc.) och andra KPI:er (eftersläpande ordrar, misslyckade inloggningar och betalningar etc.).

Distribuera till Azure

Använd följande färdiga mall för att distribuera den här arkitekturen till Azure

Distribuera till Azure

Sök på GitHub

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Implementeringsanvisningar

Produkter Dokumentation

Event Hubs

Startpunkten för din pipeline. Det är här som Time Series-rådata matas in.

Stream Analytics

Stream Analytics gör sammanställningar av rådatapunkter utifrån måttnamn var femte minut.

Storage

Azure Storage lagrar data som sammanställts av ett Stream Analytics-jobb.

Data Factory

Data Factory anropar API:t för avvikelseidentifiering med jämna mellanrum (som standard var 15:e minut) och använder det på data i Azure Storage. Resultaten lagras i en SQL-databas.

SQL Database

SQL Database lagrar resultaten från API:t för avvikelseidentifiering, inklusive binära resultat och matchningspoäng. Här lagras även frivilliga metadata som skickas med rådatapunkterna för att möjliggöra mer avancerade rapporter.

Machine Learning Studio

Här finns API:t för avvikelseidentifiering. Observera att själva API:t är tillståndslöst, vilket innebär att varje API-anrop måste kompletteras med historiska datapunkter.

Service Bus

Alla påträffade avvikelser publiceras till ett Service Bus-ämne för att de ska kunna hittas av externa övervakningstjänster.

Application Insights

Med Application Insights kan du övervaka en pipeline.

Power BI

Power BI tillhandahåller instrumentpaneler som visar rådata samt alla avvikelser som påträffats.

Närliggande lösningsarkitekturer