Bewerken

Proces voor anomaliedetectie

Azure Databricks
Azure Service Bus
Azure Storage Accounts

Dit artikel bevat een architectuur voor een bijna realtime implementatie van een anomaliedetectieproces.

Architectuur

Diagram van de anomaly detector-procesarchitectuur.

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

  1. Tijdreeksgegevens kunnen afkomstig zijn van meerdere bronnen, zoals Azure Database for MySQL, Blob Storage, Event Hubs, Azure Cosmos DB, SQL Database en Azure Database for PostgreSQL.
  2. Gegevens worden opgenomen in berekeningen van verschillende opslagbronnen die moeten worden bewaakt door Anomaly Detector.
  3. Databricks helpt bij het aggregeren, samplen en berekenen van de onbewerkte gegevens om de tijd te genereren met de gedetecteerde resultaten. Databricks kan stroom- en statische gegevens verwerken. Stream Analytics en Azure Synapse kunnen alternatieven zijn op basis van de vereisten.
  4. De anomaliedetectie-API detecteert afwijkingen en retourneert de resultaten om te berekenen.
  5. De anomaliegerelateerde metagegevens worden in de wachtrij geplaatst.
  6. Application Insights kiest het bericht uit de berichtenwachtrij op basis van de anomaliegerelateerde metagegevens en verzendt een waarschuwing over de anomalie.
  7. De resultaten worden opgeslagen in Azure Data Lake Service Gen2.
  8. Webtoepassingen en Power BI kunnen de resultaten van de anomaliedetectie visualiseren.

Onderdelen

Belangrijke technologieën die worden gebruikt om deze architectuur te implementeren:

  • Service Bus: Betrouwbare cloudberichten als een dienst (MaaS) en eenvoudige hybride integratie.
  • Azure Databricks: Snelle, eenvoudige en gezamenlijke analyseservice op basis van Apache Spark.
  • Power BI: Hulpprogramma's voor interactieve gegevensvisualisatie.
  • Opslagaccounts: duurzame, maximaal beschikbare en zeer schaalbare cloudopslag.
  • Cognitive Services: cloudservices met REST API's en clientbibliotheek-SDK's die beschikbaar zijn om cognitieve intelligentie in uw toepassingen in te bouwen.
  • Logic Apps: Serverloos platform voor het bouwen van bedrijfswerkstromen die toepassingen, gegevens en services integreren. In deze architectuur worden de logische apps geactiveerd door HTTP-aanvragen.
  • Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 biedt semantiek van bestandssysteem, beveiliging op bestandsniveau en schaal.
  • Application Insights: Application Insights is een functie van Azure Monitor die uitbreidbaar APM (Application Performance Management) en bewaking voor live web-apps biedt.

Alternatieven

  • Event Hubs met Kafka: een alternatief voor het uitvoeren van uw eigen Kafka-cluster. Deze Event Hubs-functie biedt een eindpunt dat compatibel is met Kafka-API's.
  • Azure Synapse Analytics: een analyseservice die datawarehousing voor ondernemingen en big data-analyses combineert.
  • Azure Machine Learning: aangepaste machine learning-/anomaliedetectiemodellen bouwen, trainen, implementeren en beheren in een cloudomgeving.

Scenariodetails

Met de Anomaly Detector-API van Azure Cognitive Services kunt u afwijkingen in uw tijdreeksgegevens bewaken en detecteren zonder dat u machine learning hoeft te kennen. De algoritmen van de API passen zich aan door automatisch de best passende modellen te identificeren en toe te passen op uw tijdreeksgegevens, ongeacht de branche, het scenario of het gegevensvolume. Ze bepalen grenzen voor anomaliedetectie, verwachte waarden en afwijkende gegevenspunten.

Potentiële gebruikscases

Sommige gebieden die anomaliedetectie gebruiken, helpen bij het bewaken van:

  • Bankfraude (financiële sector)
  • Structurele defecten (industrie)
  • Medische problemen (gezondheidszorg)

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Schaalbaarheid

De meeste onderdelen die in dit voorbeeldscenario worden gebruikt, zijn beheerde services die automatisch worden geschaald.

Zie de controlelijst voor prestatie-efficiëntie in het Azure Architecture Center voor algemene richtlijnen voor het ontwerpen van schaalbare oplossingen.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.

Beheerde identiteiten voor Azure-resources worden gebruikt om toegang te bieden tot andere resources die intern zijn voor uw account en vervolgens worden toegewezen aan uw Azure Functions. Sta deze identiteiten alleen toegang tot vereiste resources toe om ervoor te zorgen dat er niets extra's beschikbaar zijn voor uw functies (en mogelijk voor uw klanten).

Zie de Documentatie voor Azure-beveiliging voor algemene richtlijnen voor het ontwerpen van beveiligde oplossingen.

Tolerantie

Alle onderdelen in dit scenario worden beheerd, dus op regionaal niveau zijn ze allemaal automatisch tolerant.

Zie Tolerante toepassingen ontwerpen voor Azure voor algemene richtlijnen voor het ontwerpen van flexibele oplossingen.

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

Als u de kosten voor het uitvoeren van dit scenario wilt verkennen, raadpleegt u de vooraf ingevulde rekenmachine met alle services. Als u wilt zien hoe de prijzen voor uw specifieke use-case veranderen, wijzigt u de juiste variabelen zodat deze overeenkomen met uw verwachte verkeer/gegevensvolumes.

We hebben drie voorbeeldkostenprofielen opgegeven op basis van de hoeveelheid verkeer (we gaan ervan uit dat alle afbeeldingen 100 kB groot zijn):

  • Voorbeeldcalculator: dit prijsvoorbeeld is een rekenmachine met alle services in deze architectuur, met uitzondering van Power BI en aangepaste waarschuwingsoplossing.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen