솔루션 아키텍처: 기계 학습을 통한 이상 감지

현대 IT 부서에서 사용하는 서비스는 운영 상태, 시스템 성능, 사용 정보, 비즈니스 메트릭, 경고 등의 다양한 측면을 추적하기 위한 방대한 양의 텔레메트리 데이터를 생성합니다. 하지만 이 모든 데이터로부터 정보를 모니터링하고 수집하는 작업이 완전히 자동화되어 있지 않아서 오류가 쉽게 발생하고, 특정 시점의 시스템 상태를 효과적으로 정확하게 파악하기 어려운 경우가 많습니다.

이 사용자 지정 가능한 이상 감지 솔루션은 기계 학습을 사용하여 IT 시스템의 고가용성을 보장하고 엔드-투-엔드 파이프라인을 제공하여 온-프레미스와 클라우드 데이터 소스로부터 데이터를 수신하고 이상 이벤트를 다운스트림 모니터링 및 티켓팅 시스템으로 보고합니다.

이 솔루션을 사용하면 IT 인프라(CPU, 메모리 등), 서비스(시간 초과, SLA 편차, brownout 등) 및 기타 핵심 성과 지표(주문 백로그, 로그인 및 결제 실패 등)로부터의 기본적인 상태 메트릭을 바탕으로 문제를 빠르게 진단하고 해결할 수 있습니다.

Azure에 배포

미리 빌드된 템플릿을 사용하여 이 아키텍처를 Azure에 배포하세요.

Azure에 배포

GitHub에서 찾아보기

Machine Learning(Anomaly Detection) Service Bus topics(Publish/subscribe capabilities) Visual Studio Application Insights(Monitoring and telemetry) Event Hub(Event queue) Table Storage(Big Data store) Stream Analytics(Realtime analytics) Metadata Save ML output Score each dataset Publish anomalies detected Power BI Azure SQL DB(Anomaly detection results) Data Factory Time series data

구현 지침

제품 설명서

Event Hubs

원시 시계열 데이터가 수신되는 파이프라인의 진입점입니다.

Stream Analytics

Stream Analytics는 5분 간격으로 집계를 수행하고 메트릭 이름을 기준으로 원시 데이터 포인트를 집계합니다.

Storage

Azure Storage는 Stream Analytics 작업으로 집계된 데이터를 저장합니다.

데이터 팩터리

Data Factory는 Azure Storage의 데이터에 대해 정기적인 간격(기본 설정 15분 간격)으로 Anomaly Detection API를 호출합니다. 결과는 SQL 데이터베이스에 저장됩니다.

SQL Database

SQL Database는 이진 감지 및 감지 점수를 포함한 Anomaly Detection API의 결과를 저장합니다. 또한 보다 복잡한 보고를 위해 선택적으로 원시 데이터 포인트와 함께 전송된 메타데이터도 저장할 수 있습니다.

Machine Learning Studio

Anomaly Detection API를 호스팅합니다. API 자체는 상태 비저장이고 각 API 호출에서 과거 데이터 포인트를 전송해야 합니다.

Service Bus

감지된 이상은 서비스 버스 토픽으로 게시되어 외부 모니터링 서비스에서 소비할 수 있게 됩니다.

Application Insights

Application Insights는 파이프라인 모니터링을 가능하게 합니다.

Power BI

Power BI는 원시 데이터와 감지된 이상 현상을 표시하는 대시보드를 제공합니다.

Related solution architectures