HDInsight용 Apache Storm

빅 데이터에 대한 실시간 스트림 처리 용이

Apache Storm이란?

Apache Storm은 대규모의 고속 데이터 스트림을 위한 분산형의 내결함 오픈 소스 실시간 이벤트 처리 솔루션입니다. 처음에는 방대한 트윗 스트림에 대해 이 기술을 사용했던 Twitter로 인해 유명해진 Storm은 이제 Apache Software Foundation의 프로젝트입니다. Azure 클라우드는 하드웨어를 구입하거나 소프트웨어를 구성하지 않고, 선택한 개발 도구(Java 또는 C#)를 사용하여 Visual Studio에 견고히 통합된 Apache Storm을 쉽고 경제적으로 배포할 수 있게 해줍니다. 빠른 개요를 확인하세요.
데이터는 다양한 소스(응용 프로그램, 장치, 센서, 웹, 소셜)에서 오며 Web API 또는 필드 게이트웨이를 통해 클라우드에서 수집됩니다. 데이터는 HDInsight의 Apache Storm을 통한 실시간 데이터 처리를 위해 Event Hubs, Kafka, RabbitMQ 또는 ActiveMQ와 같은 큐 서비스에 배치됩니다. 데이터는 실시간 대시보드, 쿼리 및 분석을 실행할 수 있는 HDInsight의 Apache HBase가 있는 장기간용 저장소로 이동합니다.

실시간 문제에 대한 실시간 처리

오늘날의 상호 연결된 환경은 실시간으로 도착하는 빅데이터로 정의됩니다. Storm은 부정 색출, 클릭 스트림 분석, 재무적 경고, 연결된 센서 및 장치에서 원격 분석(IoT), 소셜 분석, 'Always On' ETL 파이프라인, 네트워크 모니터링 등과 같은 실시간 시나리오를 해결하는 데 이상적입니다. 고객은 장치, 센서, 인프라, 응용 프로그램, 웹 사이트 및 데이터에서 이러한 실제 이벤트를 경험할 수 있습니다.

쉬운 설정, 빠른 결과

HDInsight용 Storm을 사용하면 시간이 많이 걸리는 설치 또는 설정 작업이 필요하지 않습니다. Azure가 대신 처리해드립니다. 새 하드웨어를 구입하거나 다른 초기 비용을 지출할 필요 없이 몇 분 이내에 실행하여 Storm을 배포할 수 있습니다.

보다 쉽고 더 빠른 결과를 얻기 위한 통합 개발 환경

Storm은 사용이 간단하고 Java 및 .NET을 비롯한 모든 프로그래밍 언어를 지원합니다. 기본적으로 Visual Studio IDE와 통합되어 있으므로 Storm 토폴로지를 빠르고 쉽게 개발, 배포 및 디버깅할 수 있습니다. 다른 언어로 작성한 spout을 혼합할 수도 있습니다. 즉, 방대한 기존 spout 및 bolt 데이터를 활용할 수 있습니다.

빅데이터의 탄력적인 용량

HDInsight용 Storm은 Azure 클라우드의 강력한 기능을 활용하여 원하는 양의 데이터를 처리할 수 있는 모든 크기의 클러스터를 쉽게 만들 수 있습니다. 실제로 사용하는 계산 및 저장소에 대해서만 비용이 청구됩니다.

비즈니스 연속성을 보장하는 높은 가용성

Storm은 내결함성을 갖추고 있으며, 장애가 발생한 경우 다른 노드의 작업자를 자동으로 다시 시작합니다. HDInsight용 Storm은 좀 더 발전하여, Storm 클러스터에 대해 99.9%의 가동 시간을 보장합니다. 또한 Azure는 연중무휴 엔터프라이즈 지원과 클러스터 모니터링을 제공합니다.

최초의 Apache Storm 분석 파이프라인 배포

몇 분 안에 Apache Storm 클러스터를 배포하고 최초의 실시간 분석 파이프라인을 실행할 수 있습니다.

Azure 구독을 사용하거나 평가판 계정을 만들어 Azure 포털에 로그온하세요.

Storm 클러스터에 이름을 지정하고, 노드 수를 선택하여 클러스터 크기를 정의하세요. 한 개에서 수백 개에 이르는 노드에서 Storm 클러스터를 배포할 수 있습니다. 또한 Storm 클러스터의 규모를 확장 및 축소할 수 있습니다.

일반적으로 Storm 클러스터를 배포하는 데는 약 15분이 소요됩니다. 일단 배포된 후에는 페이지 아래쪽에 있는 STORM DASHBOARD를 클릭하여 첫 번째 Storm 토폴로지를 배포합니다.

클러스터를 만들 때 선택한 사용자 이름과 암호를 제공합니다.

드롭다운에서, 샘플 토폴로지 중 하나를 선택하거나 새 토폴로지를 업로드할 수 있습니다. 업로드한 토폴로지는 JAR 파일로 컴파일됩니다.

제출을 클릭하여 WorkCount 토폴로지를 배포합니다. 이 토폴로지는 입력의 결과로 얻어지는 수 많은 문장에 포함된 단어의 수를 계산합니다.

제출이 완료되면 Storm UI를 클릭하여 실행 중인 토폴로지를 모니터링할 수 있습니다.

Visual Studio 환경에서 모든 Storm 토폴로지를 쉽게 빌드하고 배포하고 관리할 수 있습니다. 또한 Azure SDK에는 HDInsight의 Storm을 위한 시작하기 쉬운 템플릿이 포함되어 있습니다. 이러한 Visual Studio 통합 환경은 생산성을 높이고, Visual Studio 환경 내에서 전체 프로젝트를 관리할 수 있도록 합니다.

HDInsight 무료 체험