Apache Kafka voor HDInsight

Beheerde hoge doorvoer, service met lage latentie voor gegevens in realtime

Kafka voor HDInsight is een open source-service van bedrijfskwaliteit voor het opnemen van streamgebeurtenissen. De service is voordelig geprijsd en eenvoudig te installeren, beheren en gebruiken. Bouw realtime-oplossingen, zoals Internet of Things (IoT), fraudebewaking, klikstreamanalyse, financiële meldingen en sociale analyses.

Beheerde Kafka met een 99,9% SLA

De aanschaf van hardware en installatie en afstemming van gegevens kosten veel tijd en moeite. De garantie dat deze machines altijd gebruiksklaar zijn zodat er geen gegevens verloren gaan, vergt nog meer inspanning en brengt veel kosten met zich mee. Kafka voor Azure HDInsight beheert dit allemaal voor u. Kafka-clusters met een 99,9% SLA voor de Kafka-uptime zijn binnen enkele minuten met vier klikken actief. Dit betekent dat u zich kunt concentreren op het schrijven van realtime-toepassingen, de logica voor deze toepassingen en het bouwen van de pijplijnen van een hoger niveau in plaats van dat u zich hoeft bezig te houden met de installatie van nieuwe Kafka-brokers of het corrigeren van verbroken software.

Rack-awareness voor Azure-omgevingen

Kafka is ontworpen met een eendimensionale weergave van een rack wat voor bepaalde omgevingen goed werkt. In omgevingen zoals Azure wordt een rack echter onderverdeeld in twee dimensies: updatedomeinen (UD's) en foutdomeinen (FD's). Voor HDInsight Kafka zijn schaalbare en robuuste programma's ontwikkeld om te garanderen dat Kafka rack-aware is in de Azure-omgevingen. Met deze programma's worden de partities en replica's in de UD's en FD's opnieuw verdeeld voor de hoogste Kafka-beschikbaarheidsniveaus in Azure-beschikbaarheidszones.

Integratie met Azure Managed Disks

Doordat de schijven die aan de knooppunten van het cluster zijn gekoppeld, gewoonlijk zwaar belast zijn, zijn deze schijven vaak een knelpunt. Traditioneel werd er schaalvergroting voor dit knelpunt toegepast door meer knooppunten toe te voegen. Azure Managed Disks is een technologie die goedkopere schaalbare schijven levert die aanzienlijk minder kosten dan een knooppunt. Bij HDInsight Kafka zijn deze schijven geïntegreerd om maximaal 16 TB per knooppunt in plaats van de traditionele 1 TB te leveren. Dit leidt tot een exponentieel hogere schaal, terwijl de kosten op de omgekeerde, exponentiële manier worden verlaagd. Ondernemingen kunnen dankzij deze innovatie duizenden euro's per maand besparen.

Waarschuwingen, bewaking en predictief onderhoud zonder verdere aanpassingen

Het installeren en in gebruik nemen van een streamingpijplijn is nog maar het begin. Om ervoor te zorgen dat deze probleemloos werkt moeten er grote investeringen in de bewakings- en waarschuwingsinfrastructuren worden gedaan. U kunt dit probleem oplossen door Kafka voor HDInsight te gebruiken. Deze software wordt namelijk zonder verdere aanpassingen geïntegreerd met de bewakingssuite van Azure. Met deze technologie kunt u alles bewaken van schijven op VM-niveau en metrische netwerkadaptergegevens tot metrische JMX-gegevens van Kafka, Storm en Spark. U kunt niet alleen krachtige dashboards voor waarschuwingen en bewaking maken, maar u kunt ook scripts en runbooks voor deze metrische gegevens opgeven voor geautomatiseerd en predictief onderhoud van uw streamingpijplijn.

MirrorMaker-ondersteuning voor het repliceren van Kafka-gegevens

Kafka wordt vaak geïmplementeerd in meerdere omgevingen voor Disaster Recovery (Herstel na noodgeval), hoge beschikbaarheid en on-premises-naar-cloud-scenario's. Hierbij is het nodig dat gegevens van de ene Kafka naar de andere worden gerepliceerd. Omdat er voor HDInsight goed is gekeken naar de behoeften van ondernemingen, wordt hiermee ondersteuning voor scenario's met gegevensreplicatie geboden. In HDInsight Kafka kan spiegeling eenvoudig worden ingesteld en gebruikt.

Clusterschaling binnen enkele minuten

Schattingen voor berichtgrootten, berichten per seconde en streamingbehoeften veranderen tijdens het gebruik van de pijplijn. Traditioneel wordt de grootte van het cluster afgestemd op het drukste verkeer. Dit leidt tot zeer hoge kosten voor niet-gebruikte capaciteit. Op het moment dat er meer knooppunten moeten worden toegevoegd, moeten de nieuwe machines worden ingericht, geïnstalleerd en geconfigureerd en moeten er aanpassingen worden uitgevoerd. Bij HDInsight Kafka wordt met kleine clusters begonnen die worden vergroot als dat nodig is, wat tot exponentieel lagere kosten leidt. HDInsight zorgt ervoor dat de nieuwe knooppunten worden ingericht en dat de aanpassingen binnen enkele minuten worden uitgevoerd.

Wat kunt u bouwen met Kafka voor HDInsight?

Lees hieronder meer over use cases:

Gegevens komen binnen uit allerlei gebeurtenisbronnen (toepassingen, apparaten, sensoren, internet, sociale media) en worden in de cloud verzameld via web-API's of veldgateways. De gegevensstroom is opgenomen met Kafka voor HDInsight voor verwerking en analyse met services zoals Azure Machine Learning, Spark voor HDInsight, Storm voor HDInsight en opslagadapters. De gegevens worden verplaatst naar langetermijnopslag zoals Apache HBase in HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store en Azure Search. Vervolgens kunt u in realtime uw dashboards, query’s en analyses uitvoeren of gegevens verzenden naar apparaten om actie te ondernemen.

Gebruikers die Kafka voor HDInsight gebruiken

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Is Kafka voor HDInsight nieuw voor u?

Gebruik de onderstaande koppelingen om robuuste streamingpijplijnen voor ondernemingen te maken met Kafka, Storm en Spark Streaming in Azure.

Realtime streamingpijplijnen bewaken met Azure

Lees hoe u HDInsight Kafka's integratie met Azure Monitoring gebruikt om krachtige waarschuwings- en bewakingsdashboards te maken en predictief onderhoud met scripts en runbooks voor uw streamingpijplijn automatiseert.

Probeer Kafka voor HDInsight uit