Megoldásarchitektúra: Anomáliadetektálás gépi tanulással

A modern informatikai részlegek által használt szolgáltatások nagy tömegű telemetriai adat előállításával követik nyomon az üzemeltetés minőségének különböző szempontjait, a rendszer teljesítményét, a felhasználói tapasztalatokat, üzleti metrikákat, értesítéseket és sok egyebet. Csakhogy a figyelés és a hasznos információk kinyerése a rengeteg adatból gyakran nem teljesen automatizált és hibalehetőségeket rejt magában, így nehéz hatékonyan és pontosan felmérni a rendszer egy adott pillanatbeli állapotát.

Ez a személyre szabható anomáliadetektáló megoldás gépi tanulással gondoskodik az informatikai rendszerek magas rendelkezésre állásáról és teljes körű munkafolyamatot kínál, amely helyszíni és felhőbeli adatforrásokból tölt be adatokat, és értesíti az alá rendelt figyelő- és hibajegykezelő rendszereket a rendellenes eseményekről.

Ezzel a megoldással gyorsan észlelhetők és javíthatók a hibák a számítástechnikai infrastruktúrától (CPU, memória, stb.) és szolgáltatásoktól (kimaradások, szolgáltatásiszint-ingadozások, túlterhelődések, stb.) származó, az állapotot jelző mérőszámok és más fontos teljesítményjelzők (hátralékos megrendelések, meghiúsult bejelentkezési és fizetési kísérletek, stb.) alapján.

Üzembe helyezés az Azure-ban

Az architektúra Azure-ban történő üzembe helyezéséhez használhatja az alábbi, előre elkészített sablont

Üzembe helyezés az Azure-ban

Keresés a GitHubon

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

Implementálási segédlet

Termék Dokumentáció

Event Hubs

Ez a munkafolyamat belépési pontja, ahol a nyers adatok időrendben beérkeznek.

Stream Analytics

A Stream Analytics 5 percenként végez összesítést és a metrika neve szerint összegzi a nyers adatpontokat.

Storage

A Stream Analytics-feladat által összesített adatokat az Azure Storage tárolja.

Data Factory

A Data Factory rendszeres időközönként (alapértelmezés szerint 15 percenként) hívja meg az anomáliadetektáló API-t az Azure Storage-ban tárolt adatokkal. Az eredményeket egy SQL-adatbázisban tárolja.

SQL Database

Az SQL Database tárolja az anomáliadetektáló API eredményeit, köztük a bináris észleléseket és az észlelési pontszámokat. Összetettebb jelentések készítését a nyers adatpontokkal együtt választhatóan küldött metaadatok tárolásával teszi lehetővé.

Machine Learning Studio

Ez futtatja az anomáliadetektáló API-t. Fontos, hogy maga az API állapotmentes és minden API-hívásnál előzményadat-pontok küldését követeli meg.

Service Bus

Az észlelt rendellenességek egy Service Bus témakörbe lesznek közzétéve, hogy a külső figyelő szolgáltatások feldolgozhassák őket.

Application Insights

Az Application Insights lehetővé teszi a folyamat figyelését.

Power BI

A Power BI irányítópultokon mutatja meg a nyers adatokat és az észlelt rendellenességeket is.

Related solution architectures