Upravit

Proces detektoru anomálií

Azure Databricks
Azure Service Bus
Azure Storage Accounts

Tento článek představuje architekturu pro implementaci procesu detekce anomálií téměř v reálném čase.

Architektura

Diagram architektury procesu detektoru anomálií

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Data časových řad můžou pocházet z více zdrojů, jako jsou Azure Database for MySQL, Blob Storage, Event Hubs, Azure Cosmos DB, SQL Database a Azure Database for PostgreSQL.
  2. Data se ingestují do výpočetních prostředků z různých zdrojů úložiště, které se mají monitorovat Detektor anomálií.
  3. Databricks pomáhá agregovat, vzorkovat a vypočítat nezpracovaná data za účelem vygenerování času s zjištěnými výsledky. Databricks dokáže zpracovávat stream a statická data. Stream Analytics a Azure Synapse můžou být alternativy na základě požadavků.
  4. Rozhraní API detektoru anomálií detekuje anomálie a vrací výsledky pro výpočet.
  5. Metadata související s anomálií se zařadí do fronty.
  6. Aplikace Přehledy vybere zprávu z fronty zpráv na základě metadat souvisejících s anomálií a odešle výstrahu o anomálii.
  7. Výsledky se ukládají ve službě Azure Data Lake Service Gen2.
  8. Webové aplikace a Power BI mohou vizualizovat výsledky detekce anomálií.

Komponenty

Klíčové technologie používané k implementaci této architektury:

  • Service Bus: Spolehlivé cloudové zasílání zpráv jako služba (MaaS) a jednoduchá hybridní integrace.
  • Azure Databricks: Rychlá, snadná a společnou analytická služba založená na Apache Sparku
  • Power BI: Interaktivní nástroje BI pro vizualizaci dat
  • Účty úložiště: Odolné, vysoce dostupné a široce škálovatelné cloudové úložiště.
  • Cognitive Services: Cloudové služby s rozhraními REST API a sadami SDK klientských knihoven, které vám pomůžou sestavovat kognitivní inteligentní funkce do vašich aplikací.
  • Logic Apps: Bezserverová platforma pro vytváření podnikových pracovních postupů, které integrují aplikace, data a služby. V této architektuře se aplikace logiky aktivují požadavky HTTP.
  • Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 poskytuje sémantiku systému souborů, zabezpečení na úrovni souborů a škálování.
  • Přehledy aplikací: Aplikační Přehledy je funkce služby Azure Monitor, která poskytuje rozšiřitelnou správu výkonu aplikací (APM) a monitorování živých webových aplikací.

Alternativy

  • Event Hubs se systémem Kafka: Alternativou ke spuštění vlastního clusteru Kafka. Tato funkce služby Event Hubs poskytuje koncový bod, který je kompatibilní s rozhraními Kafka API.
  • Azure Synapse Analytics: Analytická služba, která spojuje podnikové datové sklady a analýzy velkých objemů dat.
  • Azure Machine Učení: Sestavování, trénování, nasazování a správa vlastních modelů strojového učení / detekce anomálií v cloudovém prostředí.

Podrobnosti scénáře

Rozhraní API služby Azure Cognitive Services Detektor anomálií umožňuje monitorovat a zjišťovat odchylky v datech časových řad, aniž byste museli znát strojové učení. Algoritmy rozhraní API se přizpůsobí automatickým identifikací a použitím nejvhodnějších modelů na data časových řad bez ohledu na obor, scénář nebo objem dat. Určují hranice detekce anomálií, očekávaných hodnot a neobvyklých datových bodů.

Potenciální případy použití

Některé oblasti, které detekce anomálií pomáhají monitorovat:

  • Bankovní podvod (finanční odvětví)
  • Strukturální vady (výrobní odvětví)
  • Zdravotní problémy (zdravotnictví)

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Škálovatelnost

Většina komponent používaných v tomto ukázkovém scénáři je spravovaných služeb, které se automaticky škálují.

Obecné pokyny k návrhu škálovatelných řešení najdete v kontrolním seznamu k efektivitě výkonu v Centru architektury Azure.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.

Spravované identity pro prostředky Azure se používají k zajištění přístupu k jiným prostředkům interním k vašemu účtu a následně přiřazené k vaší službě Azure Functions. Povolte těmto identitám přístup jenom k požadovaným prostředkům, aby se zajistilo, že vaše funkce (a potenciálně pro vaše zákazníky) nezpřístupní nic dalšího.

Obecné pokyny k návrhu zabezpečených řešení najdete v dokumentaci k zabezpečení Azure.

Odolnost

Všechny komponenty v tomto scénáři se spravují, takže na regionální úrovni jsou všechny odolné automaticky.

Obecné pokyny k návrhu odolných řešení najdete v tématu Návrh odolných aplikací pro Azure.

Optimalizace nákladů

Optimalizace nákladů se zabývá způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.

Pokud chcete prozkoumat náklady na provoz tohoto scénáře, podívejte se na předem vyplněnou kalkulačku se všemi službami. Pokud chcete zjistit, jak by se ceny pro váš konkrétní případ použití změnily, změňte příslušné proměnné tak, aby odpovídaly očekávanému provozu nebo objemu dat.

Na základě objemu provozu jsme zadali tři ukázkové profily nákladů (předpokládáme, že všechny obrázky mají velikost 100 kB):

  • Příklad kalkulačky: Tento příklad cen je kalkulačka se všemi službami v této architektuře, s výjimkou Power BI a vlastního řešení pro upozorňování.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky