Apache Kafka for HDInsight

针对实时数据的高吞吐量、低延迟托管服务

Kafka for HDInsight 是一项企业级开源流采集服务,它成本效益高,且易于设置、管理和使用。可生成实时解决方案,如 物联网 (IoT)、欺诈检测、点击流分析、财务警报和社交分析。

具有 99.9% SLA 的托管 Kafka

购买硬件、安装和优化位既耗时又耗力。要确保这些计算机始终处于启动和运行状态而不丢失任何数据是一项艰巨的挑战,并且具有高昂的拥有成本。Kafka for Azure HDInsight 可为你解决上述烦恼。仅需单击 4 次就能在数分钟内启动并运行 Kafka 群集,并且在 Kafka 运行时间内具有 99.9% SLA。也就是说,你无需劳神安装新 Kafka 中转站或修复故障中转站,只需专注于编写实时应用程序、逻辑,以及生成更高级别的管道。

Azure 环境下的机架识别

在设计上,Kafka 采用机架的一维视图,它在某些环境中表现良好。但是,在 Azure 之类的环境中,机架被分为二维 - 更新域 (UD) 和容错域 (FD)。HDInsight Kafka 开发了可缩放的可靠工具,确保在 Azure 环境下 Kafka 的机架可被识别。这些工具再次均衡了跨不同 UD 和 FD 的分区和副本,提供了跨 Azure 可用性区域的最高级别 Kafka 可用性。

与 Azure 托管磁盘集成

由于引入具有繁琐性,因此附加到群集节点的磁盘常常会造成瓶颈。按照惯例,要解决此瓶颈,需添加更多节点。Azure 托管磁盘是一项技术,它可以提供低廉的可缩放磁盘,费用占节点成本的一小部分。通过将 HDInsight Kafka 与这些磁盘集成,每个节点可提供高达 16 TB 的空间,远超传统的 1 TB。这使得缩放呈指数形式增加,成本以逆指数形式降低。得益于此创新,我们的企业客户每月能节约数千美元的成本。

现有警报、监视和预测性维护

启动并运行流式处理管道只是开始,要确保它能可靠工作而不出问题,还需加大监视和警报基础结构的投资。Kafka for HDInsight 则不存在这些问题,因为它集成了 Azure 的现成监视套件。这一技术允许你监视一切内容,包括 VM 级磁盘和 NIC 指标,以及 Kafka、Storm 和 Spark 的 JMX 指标。你不仅可以创建强大的警报和监视仪表板,还可针对这些指标指定脚本和 runbook,以便自动对流式处理管道进行预测性维护。

MirrorMaker 支持复制 Kafka 数据

Kafka 通常部署在多种不同环境中,适用于灾难恢复、高可用性和本地到云的混合方案。这需要将数据从一个 Kafka 复制到另一个。通过与企业客户紧密合作,HDInsight 获悉此需求,并为数据复制方案提供支持。Mirroring on HDInsight Kafka 易于安装和使用。

在几分钟内完成群集缩放

在使用管道的过程中,对消息大小、每秒消息数以及流式处理需求的估计会发生变化。按照惯例,群集大小依峰值流量而定,这导致未使用的容量产生高昂的成本。一旦要添加更多节点,则需要通过重新应用自定义项对计算机进行预配、安装和配置。在 HDInsight Kafka 上,从小群集开始,然后按需扩展,这样可以指数形式降低成本。HDInsight 负责预配新节点,并且在几分钟内即可应用自定义项。

使用 Kafka for HDInsight 可以生成什么?

了解以下用例

数据从各种事件源(应用程序、设备、传感器、Web、社交)传入,并且通过 Web API 或域网关收集到云。数据流由 Kafka for HDInsight 引入,用于处理和分析 Azure 机器学习、Spark for HDInsight、Storm for HDInsight 和存储适配器等服务。借助 HDInsight 上的 Apache HBase、DocumentDB、MonoDB SQL、Solr Azure、Data Lake store 和 Azure 搜索等服务,数据变为长期存储。然后即可运行实时仪表板、查询和分析,或者发送数据到设备进行操作。

使用 Kafka for HDInsight 的客户

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

不熟悉 Kafka for HDInsight?

点击下方链接,使用 Kafka、Storm 和 Spark Streaming on Azure 创建可靠的企业就绪流式处理管道。

通过 Azure 监视实时流式处理管道

了解如何将 HDInsight Kafka 与 Azure 监视集成,创建强大的警报和监视仪表板,实现流式处理管道的自动脚本和 runbook 预测性维护。

试用 Kafka for HDInsight