Apache Kafka para HDInsight

Servicio administrado de alta productividad y baja latencia para datos en tiempo real

Kafka para HDInsight es un servicio de ingesta de streaming de nivel empresarial y de código abierto que resulta muy rentable y es muy fácil de configurar, administrar y usar. Cree soluciones en tiempo real, como Internet de las cosas (IoT), detección de fraudes, análisis clickstream, alertas financieras y análisis social.

Kafka administrado con un acuerdo de nivel de servicio del 99,9 %

La compra de hardware y la instalación y el ajuste de software requieren mucho tiempo y esfuerzo. Asegurar que estas máquinas estén siempre en funcionamiento para que no se pierdan datos es un desafío aún mayor y supone un costo de propiedad enorme. Kafka para Azure HDInsight se encarga de administrarlo todo. Con 4 clics, se ponen en marcha los clústeres de Kafka en solo unos minutos, con un acuerdo de nivel de servicio que garantiza un tiempo de actividad de Kafka del 99,9 %. Esto significa que puede concentrarse en la escritura de aplicaciones en tiempo real, en su lógica y en crear canalizaciones de mayor nivel, en lugar de preocuparse por la instalación de nuevos agentes de Kafka o de solucionar los que no funcionen.

Reconocimiento de bastidores para entornos de Azure

Kafka está diseñado con una vista unidimensional de un bastidor que funciona bien en algunos entornos. Sin embargo, en entornos como Azure, un bastidor está dividido en dos dimensiones: dominios de actualización (UD) y dominios de error (FD). Kafka para HDInsight es escalable y herramientas muy sólidas garantizan que Kafka reconozca los bastidores en entornos de Azure. Estas herramientas reequilibran las particiones y réplicas de los dominios de actualización y de error para ofrecer el nivel más alto de disponibilidad de Kafka en las zonas de disponibilidad de Azure.

Integración con Azure Managed Disks

Debido a la naturaleza pesada de la ingesta, en los discos asociados a los nodos del clúster se producen con frecuencia cuellos de botella. Tradicionalmente, para escalar este cuello de botella, ha sido necesario agregar más nodos. Azure Managed Disks es una tecnología que proporciona discos escalables más económicos que suponen una fracción del costo de un nodo. Kafka para HDInsight se integra con estos discos para proporcionar hasta 16 TB/nodo en lugar de 1 TB, como era habitual. El resultado es una escalabilidad exponencialmente superior con una reducción de costos inversamente proporcional. Nuestros clientes empresariales pueden ahorrar miles de dólares al mes gracias a esta innovación.

Alertas, supervisión y mantenimiento predictivo de inmediato

Poner en funcionamiento una canalización de streaming es solo el comienzo. Para asegurar que funcione de forma confiable y sin problemas, es necesaria una inversión enorme en infraestructuras de supervisión y alertas. Kafka para HDInsight elimina este problema porque se integra de inmediato con Supervisión de Azure. Esta tecnología permite supervisarlo todo, desde las métricas de NIC y disco de las máquinas virtuales hasta las métricas de JMX de Kafka, Storm y Spark. No solo puede crear paneles de alertas y supervisión muy eficaces, sino que puede especificar scripts y runbooks de acuerdo con estas métricas para obtener mantenimiento automatizado y predictivo de su canalización de streaming.

MirrorMaker permite replicar datos de Kafka

Kafka se implementa con frecuencia en varios entornos para obtener recuperación ante desastres y alta disponibilidad, así como en escenarios híbridos de replicación de un entorno local en la nube. Esto implica replicar datos de un sistema Kafka a otro. HDInsight ha trabajado estrechamente con clientes empresariales para comprender esta necesidad y ofrece funcionalidad para escenarios de replicación de datos. La creación de reflejo en Kafka para HDInsight es muy fácil de configurar y de usar.

Escalado de clústeres en solo unos minutos

Las estimaciones del tamaño de los mensajes y de los mensajes por segundo y las necesidades de streaming varían conforme se utiliza la canalización. Tradicionalmente, se le ha dado a un clúster el tamaño necesario para el tráfico máximo, lo que supone costos muy altos por capacidad que no se utiliza. Cuando llega el momento de agregar más nodos, hay que aprovisionar, instalar y configurar las máquinas nuevas, lo que implica volver a aplicar también las personalizaciones. En Kafka para HDInsight, puede comenzar con clústeres pequeños y escalarlos verticalmente según sea necesario, lo que reduce exponencialmente los costos. HDInsight se encarga de aprovisionar los nodos nuevos y aplica las personalizaciones en cuestión de minutos.

¿Qué puede crear con Kafka para HDInsight?

Conozca algunos casos de uso:

Los datos proceden de diversas fuentes de eventos (aplicaciones, dispositivos, sensores, la Web, redes sociales) y se recopilan en la nube a través de API web o puertas de enlace de campo. La transmisión de datos es ingerida por Kafka para HDInsight para procesamiento y análisis con servicios como Azure Machine Learning, Spark para HDInsight, Storm para HDInsight y adaptadores de almacenamiento. Los datos se trasladan al almacenamiento a largo plazo con servicios como Apache HBase en HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake store y Azure Search. Después, puede ejecutar sus paneles de mando, consultas y análisis en tiempo real, o enviar datos a los dispositivos para tomar medidas.

Clientes que utilizan Kafka para HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

¿No conoce Kafka para HDInsight?

Utilice los vínculos siguientes para crear canalizaciones de streaming sólidas para uso empresarial con Kafka, Storm y Spark Streaming en Azure.

Supervise canalizaciones de streaming en tiempo real con Azure

Vea cómo utilizar la integración de Kafka para HDInsight con Supervisión de Azure para crear paneles de alertas y supervisión muy eficaces, así como mantenimiento predictivo de su canalización de streaming con runbooks y scripts automatizados.

Pruebe Kafka para HDInsight