Apache Kafka pour HDInsight

Service géré à faible latence et à haut débit pour les données en temps réel

Kafka pour HDInsight est un service d’ingestion de streaming open source de classe Entreprise, économique et facile à configurer, à gérer et à utiliser. Créez des solutions en temps réel comme l’Internet des objets (IoT), la détection des fraudes, l’analyse des flux de clics, les alertes financières et l’analyse des réseaux sociaux.

Kafka managé avec un contrat SLA proposant une disponibilité de 99,9 %

L’achat de matériel, l’installation et le réglage de chaque composant nécessitent beaucoup de temps et d’effort. S’assurer que ces machines sont toujours opérationnelles afin qu’aucune donnée ne soit perdue est un défi encore plus grand et implique un coût de possession très élevé. Kafka pour Azure HDInsight gère tout cela pour vous. En 4 clics et en quelques minutes, les clusters Kafka sont opérationnels, avec un contrat SLA proposant un temps d’activité de 99,9 % pour Kafka. Cela signifie que vous pouvez vous concentrer sur l’écriture d’applications en temps réel et leur logique, ainsi que sur la création de pipelines de plus haut niveau. Vous n’avez donc plus à vous soucier de l’installation de nouveaux répartiteurs Kafka ou de la réparation de ceux qui sont défaillants.

Reconnaissance des racks pour les environnements Azure

Kafka a été conçu avec une seule vue dimensionnelle d’un rack qui fonctionne correctement sur certains environnements. Toutefois, sur des environnements tels qu’Azure, un rack est réparti en deux dimensions : les domaines de mise à jour et les domaines d’erreur. HDInsight Kafka a développé des outils scalables et robustes afin de garantir la reconnaissance du rack par Kafka sur les environnements Azure. Ces outils rééquilibrent les partitions et les réplicas sur les domaines d’erreur et de mise à jour afin de fournir des niveaux très élevés de disponibilités Kafka dans les zones de disponibilité Azure.

Intégration avec Azure Managed Disks

En raison de l’important volume d’ingestion, les disques attachés aux nœuds sur le cluster entraînent souvent un goulot d’étranglement. En règle générale, pour atténuer ce goulot d’étranglement, vous devez ajouter des nœuds. Azure Managed Disks est une technologie qui fournit des disques scalables et plus économiques dont le prix correspond à une fraction du coût d’un nœud. HDInsight Kafka a intégré ces disques pour fournir jusqu’à 16 To/nœud au lieu de 1 To habituellement. Cela résulte en une échelle considérablement supérieure, en réduisant les coûts de façon inverse et exponentielle. Nos clients grandes entreprises ont pu économiser des milliers de dollars par mois grâce à cette innovation.

Maintenance prédictive, monitoring et alertes prêts à l’emploi

L’obtention d’un pipeline de streaming opérationnel n’est que la première étape. Pour garantir un fonctionnement fiable et sans problème, il est nécessaire d’investir lourdement en infrastructure de monitoring et d’alerte. Kafka pour HDInsight résout ce problème, car il est intégré à la suite de monitoring Azure prête à l’emploi. Cette technologie vous permet de réaliser le monitoring de tous les composants, du disque de machine virtuelle et des métriques de cartes réseau aux métriques JMX de Kafka, Storm et Spark. Vous pouvez non seulement créer de puissants tableaux d’alerte et de monitoring, mais aussi spécifier des scripts et runbooks par rapport à ces métriques afin d’effectuer la maintenance prédictive et automatisée de votre pipeline de streaming.

MirrorMaker prend en charge la réplication des données Kafka

Kafka est souvent déployé dans plusieurs environnements pour la récupération d’urgence, la haute disponibilité et dans les scénarios hybrides de migration d’un environnement local à cloud. Ces opérations nécessitent la réplication des données d’un environnement Kafka à un autre. HDInsight a travaillé étroitement avec des grandes entreprises clientes pour comprendre ce besoin, et fournit un support pour les scénarios de réplication des données. La mise en miroir sur HDInsight Kafka est facile à configurer et à utiliser.

Mise à l’échelle des clusters en quelques minutes

Estimez la taille des messages et le nombre de messages par seconde ainsi que l’évolution de vos besoins en streaming à mesure de l’utilisation du pipeline. En règle générale, la taille du cluster est définie en fonction du pic de trafic, ce qui a pour résultat des coûts très élevés pour la capacité inutilisée. Lorsqu’il est nécessaire d’ajouter des nœuds supplémentaires, les nouvelles machines peuvent être approvisionnées, installées et configurées avec des personnalisations réappliquées. Sur HDInsight Kafka, commencez avec de petits clusters et augmentez leur taille en fonction des besoins, ce qui permet de réduire les coûts de façon exponentielle. HDInsight se charge de l’approvisionnement des nouveaux nœuds, les personnalisations étant appliquées en quelques minutes.

Que pouvez-vous créer avec Kafka pour HDInsight ?

Découvrez les cas d’utilisation ci-dessous :

Les données proviennent des diverses sources de l’événement (applications, appareils, capteurs, web, réseaux sociaux) et sont collectées dans le cloud grâce à des API web ou à des passerelles de proximité. Le flux de données est ingéré par Kafka pour HDInsight pour le traitement et l’analyse avec des services comme Azure Machine Learning, Spark pour HDInsight,Storm pour HDInsight et les adaptateurs de stockage. Les données migrent sur le stockage à long terme avec des services comme Apache HBase dans HDinsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store et Azure Search. Vous pouvez donc exécuter en temps réel vos tableaux de bord, requêtes et analyses ou envoyer des données vers des appareils pour agir.

Clients utilisant Kafka pour HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Vous êtes un nouvel utilisateur Kafka pour HDInsight ?

Utilisez les liens ci-dessous pour créer des pipelines de streaming robustes et de classe Entreprise à l’aide de Kafka, Storm et Spark Streaming sur Azure.

Assurez le monitoring des pipelines de streaming en temps réel avec Azure

Découvrez comment utiliser l'intégration de Kafka HDInsight avec Azure Monitoring pour créer de puissants tableaux de bord d’alerte et de monitoring, ainsi que des scripts automatisés et des runbooks pour la maintenance prédictive de votre pipeline de streaming.

Essayez Kafka pour HDInsight