Heutzutage müssen Unternehmen immer höhere Mengen an Daten verarbeiten und in Echtzeit auf Ereignisse reagieren. Aus diesem Grund sind datenorientierte Strategien für Organisationen unerlässlich, um schneller verwertbare Erkenntnisse zu gewinnen und den Wettbewerbsvorteil zu erhöhen. Die Antwort auf diese Big Data-Herausforderungen sind extrem skalierbare, verteilte Streamingplattformen, die mehrere Producer und Consumer unterstützen und so Datenströmen in Ihrer gesamten Organisation verbinden. Apache Kafka und Azure Event Hubs bieten solche verteilten Plattformen.

Inwiefern unterscheidet sich Azure Event Hubs von Apache Kafka?

Sowohl Apache Kafka als auch Azure Event Hubs sind für die Datenerfassung in großem Umfang und in Echtzeit konzipiert. Beide Dienste sind verteilte, partitionierte und replizierte Commitprotokolldienste. Sie verwenden beide partitionierte Consumermodelle mit einem clientseitigen Cursorkonzept, das horizontale Skalierbarkeit für anspruchsvolle Workloads ermöglicht.

Apache Kafka ist eine Open Source-Streamingplattform, die wie Software installiert und ausgeführt wird. Event Hubs ist ein vollständig verwalteter Dienst in der Cloud. Dem Kafka-Ökosystem werden kontinuierlich neue Dienste hinzugefügt, mit denen Sie sowohl lokal als auch in der Cloud arbeiten können. Event Hubs ist eine cloudnative, serverlose Lösung, dank derer Sie sich keine Gedanken um das Verwalten von Servern und Netzwerken oder das Konfigurieren von Brokern machen müssen.

Ankündigung: Azure Event Hubs für Apache Kafka

Wir freuen uns, heute die allgemeine Verfügbarkeit von Azure Event Hubs für Apache Kafka ankündigen zu können. Mit Azure Event Hubs für Apache Kafka können Sie die Vorteile beider Dienste nutzen – das Ökosystem und die Tools von Kafka in Kombination mit der Sicherheit und der globalen Reichweite von Azure.

Durch diese praktische neue Funktion können Sie Ereignisse aus Anwendungen mit dem Kafka-Protokoll direkt in Event Hubs streamen. Dafür müssen Sie nur eine Verbindungszeichenfolge anpassen. Ihre Kafka-Anwendungen, -Frameworks und -Tools können mit Event Hubs kommunizieren und die Einfachheit dieser Platform-as-a-Service-Lösung ausschöpfen. Sie müssen Zookeeper nicht ausführen und auch keine Cluster verwalten oder konfigurieren.

Mit Event Hubs für Kafka erhalten Sie Zugriff auf die Funktionen des Kafka-Ökosystems. Verwenden Sie Kafka Connect oder MirrorMaker, um die Kommunikation mit Event Hubs zu ermöglichen, ohne eine einzige Codezeile verändern zu müssen. Auf GitHub finden Sie Beispieltutorials.

Durch diese Integration können Sie nicht nur mit Azure Event Hubs kommunizieren, ohne Ihre Kafka-Anwendungen anpassen zu müssen, sondern Sie können gleichzeitig die leistungsstarken und einzigartigen Features von Event Hubs nutzen. Senden Sie z.B. nahtlos Daten an Blob Storage oder Data Lake Storage zur Langzeitaufbewahrung oder Microbatchverarbeitung mit Event Hubs Capture. Skalieren Sie mit der automatischen Vergrößerung das Streamen von Daten bedarfsorientiert – von Megabytes auf Terabytes in kurzer Zeit. Event Hubs unterstützt auch die georedundante Notfallwiederherstellung. Event Hubs ist umfangreich in Azure-Dienste wie Azure Databricks, Azure Stream Analytics und Azure Functions integriert. Dadurch können Sie weitergehende Analyse- und Verarbeitungsfunktionen nutzen.

Event Hubs für Kafka unterstützt Apache Kafka 1.0 und höher durch das Apache Kafka-Protokoll, das dem nativen AMQP 1.0-Protokoll zugeordnet wurde. Diese Protokollübersetzung bietet nicht nur Kompatibilität mit Apache Kafka, sondern ermöglicht es auch, dass andere AMQP 1.0-basierte Anwendungen mit Kafka-Anwendungen kommunizieren können. JMS-basierte Anwendungen können mit Apache Qpid™ Daten an Kafka-basierte Consumer schicken.

Offen, dialogfähig und vollständig verwaltet: Azure Event Hubs für Apache Kafka.

Nächste Schritte

Steigen Sie mit wenigen Klicks ein, und integrieren Sie Event Hubs in andere Azure-Dienste, um weitere Analysefunktionen nutzen zu können.

• Möchten Sie mehr erfahren? Sehen Sie sich die Dokumentation zu Azure Event Hubs für Apache Kafka an.
• Möchten Sie stattdessen einen gehosteten Kafka-Cluster verwenden? Sehen Sie sich die Azure HDInsight-Dokumentation an.

Fanden Sie diesen Blogbeitrag interessant? Hier finden Sie immer die wichtigsten Informationen zu den neuesten Features. Geben Sie uns Feedback, stellen Sie Fragen oder fügen Sie unten einen Kommentar hinzu.

Viel Spaß beim Streamen!