Szerkesztés

Anomáliadetektor-folyamat

Azure Databricks
Azure Service Bus
Azure Storage Accounts

Ez a cikk egy anomáliadetektálási folyamat közel valós idejű implementálásának architektúráját mutatja be.

Architektúra

Az anomáliadetektor folyamatarchitektúrájának diagramja.

Töltse le az architektúra Visio-fájlját.

Adatfolyam

  1. Az idősoros adatok több forrásból is származhatnak, például az Azure Database for MySQL-ből, a Blob Storage-ból, az Event Hubsból, az Azure Cosmos DB-ből, az SQL Database-ből és az Azure Database for PostgreSQL-ből.
  2. Az adatok különböző tárolási forrásokból származó számítási adatokba kerülnek, amelyeket anomáliadetektor figyelnek.
  3. A Databricks segít a nyers adatok összesítésében, mintájában és kiszámításában, hogy időt generáljon az észlelt eredmények alapján. A Databricks képes stream- és statikus adatok feldolgozására. A Stream Analytics és az Azure Synapse a követelmények alapján alternatív megoldások lehetnek.
  4. Az anomáliadetektor API észleli az anomáliákat, és visszaadja az eredményeket a számításhoz.
  5. Az anomáliával kapcsolatos metaadatok várólistára kerülnek.
  6. Az alkalmazás Elemzések választja ki az üzenetet az üzenetsorból az anomáliával kapcsolatos metaadatok alapján, és riasztást küld az anomáliáról.
  7. Az eredmények tárolása az Azure Data Lake Service Gen2-ben történik.
  8. A webalkalmazások és a Power BI képes megjeleníteni az anomáliadetektálás eredményeit.

Összetevők

Az architektúra implementálásához használt főbb technológiák:

  • Service Bus: Megbízható felhőbeli üzenetkezelés szolgáltatásként (MaaS) és egyszerű hibrid integráció.
  • Azure Databricks: Gyors, egyszerű és együttműködésen alapuló Apache Spark-alapú elemzési szolgáltatás.
  • Power BI: Interaktív adatvizualizációs BI-eszközök.
  • Tárfiókok: Tartós, magas rendelkezésre állású és nagymértékben skálázható felhőalapú tároló.
  • Cognitive Services: Felhőalapú szolgáltatások REST API-kkal és ügyfélkódtár-SDK-kkal, amelyekkel kognitív intelligenciát építhet az alkalmazásokba.
  • Logic Apps: Kiszolgáló nélküli platform olyan vállalati munkafolyamatok létrehozásához, amelyek alkalmazásokat, adatokat és szolgáltatásokat integrálnak. Ebben az architektúrában a logikai alkalmazásokat HTTP-kérések aktiválják.
  • Azure Data Lake Storage Gen2: Az Azure Data Lake Storage Gen2 fájlrendszer-szemantikát, fájlszintű biztonságot és skálázást biztosít.
  • Alkalmazás Elemzések: Az alkalmazás Elemzések az Azure Monitor szolgáltatása, amely bővíthető alkalmazásteljesítmény-kezelést (APM) és monitorozást biztosít az élő webalkalmazásokhoz.

Alternatívák

  • Event Hubs with Kafka: A saját Kafka-fürt futtatásának alternatívája. Ez az Event Hubs-szolgáltatás olyan végpontot biztosít, amely kompatibilis a Kafka API-kkal.
  • Azure Synapse Analytics: A nagyvállalati adatraktározást és big data-elemzést ötvöző elemzési szolgáltatás.
  • Azure Machine Tanulás: Egyéni gépi tanulási/ anomáliadetektálási modellek létrehozása, betanítása, üzembe helyezése és kezelése felhőalapú környezetben.

Forgatókönyv részletei

Az Azure Cognitive Services anomáliadetektor API lehetővé teszi az idősoradatok rendellenességeinek monitorozását és észlelését anélkül, hogy ismernie kellene a gépi tanulást. Az API algoritmusai az iparágtól, forgatókönyvtől és adatmennyiségtől függetlenül automatikusan azonosítják és alkalmazzák a legjobban illeszkedő modelleket az idősor adataira. Meghatározzák az anomáliadetektálás, a várt értékek és a rendellenes adatpontok határait.

Lehetséges használati esetek

Az anomáliadetektált területek némelyike segít a monitorozásban:

  • Banki csalás (pénzügyi ágazat)
  • Szerkezeti hibák (feldolgozóipar)
  • Egészségügyi problémák (egészségügyi ágazat)

Megfontolások

Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.

Méretezhetőség

Az ebben a példaforgatókönyvben használt összetevők többsége olyan felügyelt szolgáltatások, amelyek automatikusan skálázódnak.

A méretezhető megoldások tervezésével kapcsolatos általános útmutatásért tekintse meg az Azure Architecture Center teljesítményhatékonysági ellenőrzőlistát .

Biztonság

A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.

Az Azure-erőforrások felügyelt identitásai a fiókon belüli, majd az Azure Functionshez rendelt egyéb erőforrásokhoz való hozzáférést biztosítják. Engedélyezze ezeknek az identitásoknak, hogy csak a szükséges erőforrásokhoz férjenek hozzá, hogy semmi extra ne legyen kitéve a függvényeknek (és potenciálisan az ügyfeleknek).

A biztonságos megoldások tervezésével kapcsolatos általános útmutatásért tekintse meg az Azure biztonsági dokumentációját.

Tartósság

Ebben a forgatókönyvben az összes összetevő felügyelt, így regionális szinten automatikusan rugalmasak.

A rugalmas megoldások tervezésével kapcsolatos általános útmutatásért lásd : Rugalmas alkalmazások tervezése az Azure-hoz.

Költségoptimalizálás

A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információ: A költségoptimalizálási pillér áttekintése.

A forgatókönyv futtatásának költségeinek megismeréséhez tekintse meg az előre kitöltött kalkulátort az összes szolgáltatással. Annak megtekintéséhez, hogy az adott használati eset díjszabása hogyan változna, módosítsa a megfelelő változókat a várt forgalomnak/adatmennyiségeknek megfelelően.

Három mintaköltségprofilt adtunk meg a forgalom mennyisége alapján (feltételezzük, hogy az összes kép mérete 100 kb):

  • Példakalkulátor: ez a díjszabási példa egy kalkulátor, amely az architektúra összes szolgáltatásával rendelkezik, kivéve a Power BI-t és az egyéni riasztási megoldást.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző:

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések