HDInsight용 Apache Kafka

실시간 데이터에 대한 처리량이 많고 대기 시간이 짧은 관리 서비스

HDInsight용 Kafka는 오픈 소스로 된 엔터프라이즈급 스트리밍 수집 서비스로, 비용 효율적으로 쉽게 설치, 관리 및 사용할 수 있습니다. IoT(사물 인터넷), 사기 감지, 클릭 스트림 분석, 재무 알림, 소셜 분석 등 실시간 솔루션을 구축하세요.

초당 수백만 개 이벤트 스트림

실시간 응용 프로그램에서 생산된 대규모 데이터라도 HDInsight용 Kafka로 처리할 수 있습니다. Apache Kafka는 많이 사용되는 오픈 소스 스트림 수집 broker입니다. 수천명의 클라이언트로부터 초당 많은 읽기와 쓰기를 처리할 수 있습니다. HDInsight용 Apache Storm 또는 HDInsight용 Apache Spark와 즉시 통합 가능하여 강력한 스트리밍 파이프라인을 디자인할 수 있기 때문에 지능형으로 실시간 작업을 구동할 수 있습니다.


Apache Hadoop® 및 관련 오픈 소스 프로젝트 이름은 Apache Software Foundation의 상표입니다.

데이터는 다양한 이벤트 소스(응용 프로그램, 장치, 센서, 웹, 소셜)에서 오며 Web API 또는 필드 게이트웨이를 통해 클라우드에서 수집됩니다. 데이터 스트림은 Azure Machine Learning, HDInsight용 Spark, HDInsight용 Storm 및 저장소 어댑터와 같은 서비스를 사용한 처리 및 분석을 위해 HDInsight용 Kafka에서 수집됩니다. 데이터는 HDInsight의 Apache HBase, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store 및 Azure Search와 같은 서비스를 사용하여 장기 저장소로 이동됩니다. 그런 다음 실시간 대시보드, 쿼리 및 분석을 실행하거나 데이터를 장치로 보내 작업을 수행할 수 있습니다.

엔터프라이즈급 관리 및 통제

Microsoft Operations Management Suite를 통해 위협을 감지하고 모니터링하고 관리할 수 있기 때문에 실시간 솔루션에 대한 가시성과 통제권을 확보할 수 있습니다. 또한 로그와 이벤트, JMX 메트릭을 수집할 수 있기 때문에 Azure Automation runbook으로 선점형 작업을 정의하고 경고를 설정할 수 있습니다. 보고와 모니터링 목적으로 통계를 집계하고 풍부하게 시각화할 수도 있습니다.

안심할 수 있는 작동과 오픈 소스 지원

HDInsight용 Kafka는 Microsoft에서 24x7 엔터프라이즈급 지원과 클러스터 모니터링으로 관리하고 지원합니다. 일반 공급으로 출시한 HDInsight는 Kafka 클러스터에 대해 99.9%의 가동 시간을 보장합니다.

손쉬운 설정, 빠른 결과 도출

HDInsight용 Kafka는 시간이 많이 걸리는 설치 또는 설정 작업이 필요하지 않습니다. Azure가 대신 처리해드립니다. 또한 구성에 맞는 관리형 Kafka 클러스터를 완벽한 기능형 포털이나 단순한 JSON 템플릿을 사용하여 배포할 수 있습니다. 클러스터가 몇 분 이내에 실행되어 대기 시간이 짧고 처리량은 많은 데이터를 수집합니다. 비용은 사용한 계산과 저장소에 대해서만 지불하면 되기 때문에 새 하드웨어를 구입할 필요가 없으며 기타 사전 투자 비용이 발생하지 않습니다.

HDInsight용 Kafka 사용해 보기