Dans le contexte commercial actuel, face au volume de données en augmentation rapide et à la pression croissante pour réagir aux événements en temps réel, les organisations ont besoin de stratégies reposant sur les données pour obtenir de précieux insights plus rapidement et accroître leur avantage concurrentiel. Pour répondre à ces grands défis du Big Data, vous avez besoin d’une plateforme de streaming distribuée et massivement scalable qui prend en charge plusieurs producteurs et consommateurs, reliant les flux de données au sein de votre organisation. Apache Kafka et Azure Event Hubs fournissent de telles plateformes distribuées.

Quelles sont les différences entre Azure Event Hubs et Apache Kafka ?

Apache Kafka et Azure Event Hubs sont tous deux conçus pour gérer l’ingestion de flux à grande échelle et en temps réel. Conceptuellement, les deux sont des services de journal de validation distribués, partitionnés et répliqués. Les deux utilisent des modèles consommateurs partitionnés avec un concept de curseur côté client qui offre une scalabilité horizontale pour les charges de travail exigeantes.

Apache Kafka est une plateforme de streaming open source installée et exécutée en tant que logiciel. Event Hubs est un service complètement managé dans le cloud. Alors que Kafka possède un vaste écosystème en croissance rapide et une forte présence localement et dans le cloud, Event Hubs est une solution cloud et serverless qui vous libère de la gestion des serveurs ou des réseaux et de la configuration des répartiteurs.

Annonce d’Azure Event Hubs pour Apache Kafka

Nous sommes heureux d’annoncer la disponibilité générale d’Azure Event Hubs pour Apache Kafka. Avec Azure Event Hubs pour Apache Kafka, vous bénéficiez du meilleur des deux mondes : l’écosystème et les outils de Kafka, ainsi que la sécurité et l’échelle mondiale d’Azure.

Cette nouvelle fonctionnalité puissante vous permet de lancer le streaming d’événements depuis des applications utilisant le protocole Kafka directement dans Event Hubs, simplement en modifiant une chaîne de connexion. Permettez à vos applications, infrastructures et outils Kafka actuels de dialoguer avec Event Hubs et de profiter de la facilité d’une solution de plateforme en tant que service. Vous n’avez pas besoin d’exécuter Zookeeper, ni de gérer ou de configurer vos clusters.

Event Hubs for Kafka vous permet également de déverrouiller facilement les capacités de l’écosystème Kafka. Utilisez Kafka Connect ou MirrorMaker pour communiquer avec Event Hubs sans modifier une ligne de code. Trouvez des exemples de tutoriels sur GitHub.

Cette intégration vous permet de communiquer avec Azure Event Hubs sans modifier vos applications Kafka, ainsi que de tirer parti des fonctionnalités puissantes et uniques d’Event Hubs. Par exemple, envoyez de façon fluide des données au Stockage Blob ou à Data Lake Storage pour une conservation à long terme ou un traitement par micro-lots avec Event Hubs Capture. Passez facilement du streaming de plusieurs mégaoctets à plusieurs téraoctets de données, tout en gardant le contrôle du moment et de l’ampleur de la mise à l’échelle avec l’augmentation automatique. Event Hubs prend également en charge la géo-reprise d'activité après sinistre. Event Hubs est profondément intégré à d’autres services Azure tels que Azure Databricks, Azure Stream Analytics et Azure Functions pour vous permettre de déverrouiller des analytiques et des traitements supplémentaires.

Event Hubs pour Kafka prend en charge Apache Kafka 1.0 et versions ultérieures via le Protocole Apache Kafka que nous avons mappé sur notre protocole natif AMQP 1.0. Outre la compatibilité avec Apache Kafka, cette traduction de protocole permet aux autres applications basées sur AMQP 1.0 de communiquer avec les applications Kafka. Les applications basées sur JMS peuvent utiliser Apache Qpid™ pour envoyer des données aux consommateurs basés sur Kafka.

Ouvert, interopérable et complètement managé : Azure Event Hubs pour Apache Kafka.

Étapes suivantes

Soyez opérationnel en quelques clics et intégrez Event Hubs à d’autres services Azure pour déverrouiller de nouvelles analytiques.

• Vous souhaitez en savoir plus ? Consultez notre documentation Azure Event Hubs pour Apache Kafka.
• Vous recherchez plutôt un cluster Kafka hébergé ? Consultez notre documentation Azure HDInsight.

Vous avez aimé ce billet de blog ? Suivez-nous pour être informé de la mise à jour de la liste des fonctionnalités. Laissez-nous vos commentaires, questions ou commentaires ci-dessous.

Bon streaming.