Edytuj

Proces narzędzia do wykrywania anomalii

Azure Databricks
Azure Service Bus
Azure Storage Accounts

W tym artykule przedstawiono architekturę niemal w czasie rzeczywistym implementacji procesu wykrywania anomalii.

Architektura

Diagram architektury procesu wykrywania anomalii.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

  1. Dane szeregów czasowych mogą pochodzić z wielu źródeł, takich jak Azure Database for MySQL, Blob Storage, Event Hubs, Azure Cosmos DB, SQL Database i Azure Database for PostgreSQL.
  2. Dane są pozyskiwane do zasobów obliczeniowych z różnych źródeł magazynu, które mają być monitorowane przez Narzędzie do wykrywania anomalii.
  3. Usługa Databricks pomaga agregować, próbkować i obliczać nieprzetworzone dane w celu wygenerowania czasu z wykrytymi wynikami. Usługa Databricks może przetwarzać strumień i dane statyczne. Usługi Stream Analytics i Azure Synapse mogą być alternatywami na podstawie wymagań.
  4. Interfejs API narzędzia do wykrywania anomalii wykrywa anomalie i zwraca wyniki do obliczenia.
  5. Metadane związane z anomalią są kolejkowane.
  6. Aplikacja Szczegółowe informacje wybiera komunikat z kolejki komunikatów na podstawie metadanych związanych z anomalią i wysyła alert dotyczący anomalii.
  7. Wyniki są przechowywane w usłudze Azure Data Lake Service Gen2.
  8. Aplikacje internetowe i usługa Power BI mogą wizualizować wyniki wykrywania anomalii.

Składniki

Kluczowe technologie używane do implementowania tej architektury:

  • Service Bus: niezawodna obsługa komunikatów w chmurze jako usługa (MaaS) i prosta integracja hybrydowa.
  • Azure Databricks: szybka, łatwa i wspólna usługa analizy oparta na platformie Apache Spark.
  • Power BI: interaktywne narzędzia do analizy biznesowej wizualizacji danych.
  • Konta magazynu: trwały, wysoce dostępny i wysoce skalowalny magazyn w chmurze.
  • Cognitive Services: usługi oparte na chmurze z interfejsami API REST i zestawami SDK biblioteki klienta dostępne w celu ułatwienia tworzenia analizy poznawczej w aplikacjach.
  • Logic Apps: bezserwerowa platforma do tworzenia przepływów pracy przedsiębiorstwa, które integrują aplikacje, dane i usługi. W tej architekturze aplikacje logiki są wyzwalane przez żądania HTTP.
  • Azure Data Lake Storage Gen2: Usługa Azure Data Lake Storage Gen2 zapewnia semantyka systemu plików, zabezpieczenia na poziomie plików i skalowanie.
  • Szczegółowe informacje aplikacji: usługa Application Szczegółowe informacje to funkcja usługi Azure Monitor, która zapewnia rozszerzone zarządzanie wydajnością aplikacji (APM) i monitorowanie na żywo aplikacji internetowych.

Alternatywy

  • Usługa Event Hubs z platformą Kafka: alternatywa dla uruchamiania własnego klastra platformy Kafka. Ta funkcja usługi Event Hubs udostępnia punkt końcowy zgodny z interfejsami API platformy Kafka.
  • Azure Synapse Analytics: usługa analityczna, która łączy magazynowanie danych przedsiębiorstwa i analizę danych big data.
  • Usługa Azure Machine Edukacja: tworzenie, trenowanie, wdrażanie i zarządzanie niestandardowymi modelami wykrywania uczenia maszynowego/anomalii w środowisku opartym na chmurze.

Szczegóły scenariusza

Interfejs API Narzędzie do wykrywania anomalii usług Azure Cognitive Services umożliwia monitorowanie i wykrywanie nieprawidłowości w danych szeregów czasowych bez konieczności znajomości uczenia maszynowego. Algorytmy interfejsu API są dostosowywane przez automatyczne identyfikowanie i stosowanie najlepiej dopasowanych modeli do danych szeregów czasowych, niezależnie od branży, scenariusza lub ilości danych. Określają granice wykrywania anomalii, oczekiwanych wartości i nietypowych punktów danych.

Potencjalne przypadki użycia

Niektóre obszary, które pomagają monitorować wykrywanie anomalii:

  • Oszustwa bankowe (branża finansowa)
  • Wady strukturalne (przemysł produkcyjny)
  • Problemy medyczne (branża opieki zdrowotnej)

Kwestie wymagające rozważenia

Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.

Skalowalność

Większość składników używanych w tym przykładowym scenariuszu to usługi zarządzane, które będą automatycznie skalowane.

Aby uzyskać ogólne wskazówki dotyczące projektowania skalowalnych rozwiązań, zobacz listę kontrolną wydajności w Centrum architektury platformy Azure.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Omówienie filaru zabezpieczeń.

Tożsamości zarządzane dla zasobów platformy Azure służą do zapewniania dostępu do innych zasobów wewnętrznych do konta, a następnie przypisywanego do usługi Azure Functions. Zezwól tym tożsamościom na dostęp tylko do wymaganych zasobów, aby upewnić się, że żadne dodatkowe dane nie są widoczne dla Twoich funkcji (i potencjalnie dla klientów).

Ogólne wskazówki dotyczące projektowania bezpiecznych rozwiązań można znaleźć w dokumentacji zabezpieczeń platformy Azure.

Odporność

Wszystkie składniki w tym scenariuszu są zarządzane, więc na poziomie regionalnym są one automatycznie odporne.

Aby uzyskać ogólne wskazówki dotyczące projektowania odpornych rozwiązań, zobacz Projektowanie odpornych aplikacji na platformie Azure.

Optymalizacja kosztów

Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.

Aby zapoznać się z kosztem działania tego scenariusza, zobacz wstępnie wypełniony kalkulator ze wszystkimi usługami. Aby zobaczyć, jak ceny zmienią się dla konkretnego przypadku użycia, zmień odpowiednie zmienne, aby odpowiadały oczekiwanemu ruchowi/woluminom danych.

Udostępniliśmy trzy przykładowe profile kosztów na podstawie ilości ruchu (zakładamy, że wszystkie obrazy mają rozmiar 100 KB):

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki