편집

Anomaly Detector 프로세스

Azure Databricks
Azure Service Bus
Azure Storage 계정

이 문서에서는 변칙 검색 프로세스를 거의 실시간으로 구현하기 위한 아키텍처를 보여 줍니다.

아키텍처

Anomaly Detector 프로세스 아키텍처 다이어그램

이 아키텍처의 Visio 파일을 다운로드합니다.

데이터 흐름

  1. 시계열 데이터가 Azure Database for MySQL, Blob storage, Event Hubs, Azure Cosmos DB, SQL Database 및 Azure Database for PostgreSQL과 같은 여러 원본에서 시작될 수 있습니다.
  2. 데이터가 여러 스토리지 원본에서 컴퓨팅으로 수집되어 Anomaly Detector로 모니터링됩니다.
  3. Databricks는 원시 데이터를 집계, 샘플링 및 컴퓨팅하여 탐지된 결과로 시간을 생성하는 데 도움이 됩니다. Databricks는 스트림 및 정적 데이터를 처리할 수 있습니다. 요구 사항에 따로 스트림 분석 및 Azure Synapse로 대체할 수 있습니다.
  4. Anomaly Detector API가 변형을 탐지하고 결과를 컴퓨팅에 반환합니다.
  5. 변형 관련 메타데이터가 큐에 대기됩니다.
  6. Application Insights가 변형 관련 메타데이터를 기반으로 메시지 큐에서 메시지를 선택하고 변형에 대한 경고를 전송합니다.
  7. 결과가 Azure Data Lake Service Gen2에 저장됩니다.
  8. 웹 애플리케이션 및 Power BI가 변형 탐지 결과를 시각화할 수 있습니다.

구성 요소

이 아키텍처를 구현하는 데 사용되는 주요 기술:

  • Service Bus: 안정적인 클라우드 MaaS(Messaging as a Service) 및 간단한 하이브리드 통합입니다.
  • Azure Databricks: 빠르고 쉽고 협업적인 Apache Spark 기반의 분석 서비스입니다.
  • Power BI: 대화형 데이터 시각화 BI 도구입니다.
  • 스토리지 계정: 내구성, 고가용성 및 대규모 확장성이 있는 클라우드 스토리지입니다.
  • Cognitive Services: 애플리케이션에 인식 인텔리전스를 빌드하는 데 도움이 되는 REST API 및 클라이언트 라이브러리 SDK가 포함된 클라우드 기반 서비스입니다.
  • Logic Apps: 애플리케이션, 데이터 및 서비스를 통합하는 엔터프라이즈 워크플로를 빌드하기 위한 서버리스 플랫폼입니다. 이 아키텍처는 논리 앱이 HTTP 요청에 의해 트리거됩니다.
  • Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2는 파일 시스템 의미 체계, 파일 수준 보안 및 확장을 제공합니다.
  • Application Insights: Application Insights는 확장 가능한 APM(애플리케이션 성능 관리)과 라이브 웹앱에 대한 모니터링을 제공하는 Azure Monitor의 기능입니다.

대안

  • Kafka를 사용하는 Event Hubs: 사용자 고유의 Kafka 클러스터를 실행하는 대안입니다. 이 Event Hubs 기능은 Kafka API와 호환되는 엔드포인트를 제공합니다.
  • Azure Synapse Analytics: 엔터프라이즈 데이터 웨어하우징과 빅 데이터 분석을 결합한 분석 서비스입니다.
  • Azure Machine Learning: 클라우드 기반 환경에서 사용자 지정 기계 학습/변형 탐지 모델을 빌드, 학습, 배포 및 관리합니다.

시나리오 정보

Azure Cognitive Services Anomaly Detector API를 사용하면 기계 학습을 몰라도 시계열 데이터에서 변칙을 검색하고 모니터링할 수 있습니다. 이 API의 알고리즘은 업계, 시나리오 또는 데이터 볼륨에 관계없이 가장 적합한 모델을 자동으로 식별하여 시계열 데이터에 적용하여 조정됩니다. 이에 따라 변형 탐지, 예상 값 및 비정상 데이터 요소에 대한 경계가 결정됩니다.

잠재적인 사용 사례

변형 탐지가 모니터링에 도움이 되는 일부 영역은 다음과 같습니다.

  • 은행 사기(금융 산업)
  • 구조적 결함(제조 산업)
  • 의료 문제(의료 산업)

고려 사항

이러한 고려 사항은 워크로드의 품질을 향상시키는 데 사용할 수 있는 일단의 지침 원칙인 Azure Well-Architected Framework의 핵심 요소를 구현합니다. 자세한 내용은 Microsoft Azure Well-Architected Framework를 참조하세요.

확장성

이 예제 시나리오에서 사용되는 대부분의 구성 요소는 자동으로 확장되는 관리되는 서비스입니다.

확장 가능한 솔루션 설계에 대한 일반적인 지침은 Azure 아키텍처 센터의 성능 효율성 검사 목록을 참조하세요.

보안

우수한 보안은 중요한 데이터 및 시스템에 대한 고의적인 공격과 악용을 방어합니다. 자세한 내용은 보안 요소의 개요를 참조하세요.

Azure 리소스용 관리 ID는 계정 내부의 다른 리소스에 대한 액세스를 제공하는 데 사용된 후, Azure Functions에 할당됩니다. 해당 기능(및 잠재적으로 해당 고객)에 추가적으로 노출되는 것이 없도록 이러한 ID가 필요한 리소스에만 액세스하도록 허용합니다.

보안 솔루션 설계 방법에 대한 일반적인 지침은 Azure 보안 문서를 참조하세요.

복원력

이 시나리오의 모든 구성 요소가 관리되므로 모두 지역 수준에서 자동으로 복원됩니다.

복원력 있는 솔루션 설계에 대한 일반적인 지침은 복원력 있는 Azure 애플리케이션 디자인을 참조하세요.

비용 최적화

비용 최적화는 불필요한 비용을 줄이고 운영 효율성을 높이는 방법을 찾는 것입니다. 자세한 내용은 비용 최적화 핵심 요소 개요를 참조하세요.

이 시나리오 실행 비용을 살펴보려면 모든 서비스가 포함된 미래 채워진 계산기를 참조하세요. 특정 사용 사례에 대한 가격 변동을 확인하려면 필요한 트래픽/데이터 볼륨에 맞게 변수를 적절하게 변경합니다.

트래픽 양을 기준으로 다음 세 가지 샘플 비용 프로필을 제공했습니다(모든 이미지가 100kb 크기라고 가정).

  • 예제 계산기: 이 가격 책정 예제는 Power BI 및 사용자 지정 경고 솔루션을 제외하고 이 아키텍처의 모든 서비스가 포함된 계산기입니다.

참가자

Microsoft에서 이 문서를 유지 관리합니다. 원래 다음 기여자가 작성했습니다.

보안 주체 작성자:

비공개 LinkedIn 프로필을 보려면 LinkedIn에 로그인하세요.

다음 단계