HDInsight용 Apache Kafka

실시간 데이터에 대한 처리량이 많고 대기 시간이 짧은 관리 서비스

HDInsight용 Kafka는 오픈 소스로 된 엔터프라이즈급 스트리밍 수집 서비스로, 비용 효율적으로 쉽게 설치, 관리 및 사용할 수 있습니다. IoT(사물 인터넷), 사기 감지, 클릭 스트림 분석, 재무 알림, 소셜 분석 등 실시간 솔루션을 구축하세요.

99.9% SLA로 Kafka 관리

하드웨어를 구매하고 설치하여 비트를 조정하는 것은 많은 시간과 노력을 필요로 합니다. 데이터 손실이 발생하지 않도록 항상 이러한 시스템이 가동되고 있는지 확인하는 것은 더욱 큰 문제이며 소유 비용도 만만치 않습니다. Azure HDInsight용 Kafka는 이 모든 것을 관리합니다. 4번의 클릭으로 몇 분 내에 Kafka 클러스터가 실행되고, Kafka 작동 시간 동안 99.9% SLA가 제공됩니다. 즉, 새로운 Kafka broker를 설치하거나 손상된 broker를 수정하는 것에 대해 걱정할 필요 없이 실시간 응용 프로그램과 그 로직을 작성하고 더 높은 수준의 파이프라인을 구축하는 데 집중할 수 있습니다.

Azure 환경을 위한 랙 인식

Kafka는 일부 환경에서 잘 작동하는, 랙의 1차원 뷰로 설계되었습니다. 하지만 Azure와 같은 환경에서는 랙이 업데이트 도메인(UD)과 장애 도메인(FD)의 두 차원으로 분리됩니다. HDInsight Kafka는 Azure 환경에서 Kafka의 랙 인식을 보장하도록 확장성 있고 강력한 도구로 개발되었습니다. 이러한 도구는 Azure 가용성 영역 전반에서 높은 수준의 Kafka 가용성을 위해 UD 및 FD 전반의 파티션과 복제본의 균형을 다시 맞춥니다.

Azure Managed Disks와 통합

많은 특성을 수집하기 때문에 디스크는 클러스터의 노드에 첨부되며, 병목 현상을 일으키는 경우가 많습니다. 일반적으로 이 병목 현상을 확장하려면 더 많은 노드가 추가되어야 합니다. Azure Managed Disk는 노드 비용의 일부인 더 저렴하고 확장성 있는 디스크를 제공하는 기술입니다. HDInsight Kafka는 이러한 디스크와 통합되어 기존 1TB였던 것을 노드당 최대 16TB까지 제공합니다. 이로 인해 규모는 더 커지지만 역으로 비용은 훨씬 줄어듭니다. 기업 고객은 이러한 혁신으로 인해 매달 수천 달러를 절약하고 있습니다.

기본 제공 경고, 모니터링 및 예측 유지 관리

스트리밍 파이프라인을 실행하는 것은 단지 시작일 뿐입니다. 문제없이 안정적으로 작동하도록 하려면 인프라 모니터링 및 경고에 막대한 투자가 필요합니다. HDInsight용 Kafka는 Azure에서 기본으로 제공하는 모니터링 도구 모음을 통합하여 이러한 문제를 해결합니다. 이 기술은 VM 수준 디스크 및 NIC 메트릭부터 Kafka, Storm, Spark의 JMX 메트릭까지, 모든 것에 대한 모니터링을 지원합니다. 강력한 경고 및 모니터링 대시보드를 만드는 것뿐만 아니라, 스트리밍 파이프라인의 자동화된 예측 유지 관리를 위해 이러한 메트릭에 대한 스크립트와 Runbook을 지정할 수도 있습니다.

Kafka 데이터 복제를 지원하는 MirrorMaker

Kafka는 재해 복구, 고가용성 및 온-프레미스 클라우드 하이브리드 시나리오를 위해 여러 환경에 배포되는 경우가 많습니다. 이러한 작업에는 한 Kafka에서 다른 Kafka로의 데이터 복제가 필요합니다. HDInsight는 기업 고객과 긴밀하게 협업하여 이러한 요구 사항을 이해하고 데이터 복제 시나리오에 대한 지원을 제공합니다. HDInsight Kafka 미러링은 설정과 사용이 간편합니다.

몇 분 내로 클러스터 확장

필요한 메시지 크기와 초당 메시지 및 스트리밍 견적은 파이프라인 사용에 따라 달라집니다. 일반적으로 최대 트래픽은 클러스터의 크기를 가리키며, 사용되지 않은 용량에 대한 비용이 매우 높은 편입니다. 노드를 추가해야 하는 경우 새로운 컴퓨터를 다시 적용된 사용자 지정 항목과 함께 프로비전하고, 설치하고, 구성해야 합니다. HDInsight Kafka에서는 작은 클러스터부터 시작하고 이를 필요에 따라 확장하여 비용을 기하급수적으로 줄입니다. HDInsight는 새로운 노드를 적용된 사용자 지정 항목과 함께 몇 분 내로 프로비전합니다.

HDInsight용 Kafka로 무엇을 빌드할 수 있을까요?

아래 사용 사례에 대해 알아보세요.

데이터는 다양한 이벤트 소스(응용 프로그램, 장치, 센서, 웹, 소셜)에서 오며 Web API 또는 필드 게이트웨이를 통해 클라우드에서 수집됩니다. 데이터 스트림은 Azure Machine Learning, HDInsight용 Spark, HDInsight용 Storm 및 저장소 어댑터와 같은 서비스를 사용한 처리 및 분석을 위해 HDInsight용 Kafka에서 수집됩니다. 데이터는 HDInsight의 Apache HBase, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store 및 Azure Search와 같은 서비스를 사용하여 장기 저장소로 이동됩니다. 그런 다음 실시간 대시보드, 쿼리 및 분석을 실행하거나 데이터를 장치로 보내 작업을 수행할 수 있습니다.

HDInsight용 Kafka를 사용하는 고객

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

HDInsight용 Kafka가 처음이신가요?

아래의 링크를 활용하여 Azure의 Kafka, Storm, Spark Streaming을 사용하는 강력한 엔터프라이즈 수준의 스트리밍 파이프라인을 만들어보세요.

Azure를 사용하여 실시간 스트리밍 파이프라인 모니터링

Azure 모니터링과 HDInsight Kafka의 통합을 사용하여 강력한 경고 및 모니터링 대시보드와 스트리밍 파이프라인을 예측 유지 관리하는 자동화된 스크립트 및 Runbook을 만드는 방법을 알아보세요.

HDInsight용 Kafka 사용해 보기