Apache Kafka til HDInsight

Administrer høj belastning, lav ventetidstjeneste til data i realtid

Kafka til HDInsight er en professionel tjeneste med åben kildekode til streamingindtagelse, der er omkostningseffektiv og let at konfigurere, administrere og bruge. Byg realtidsløsninger, f.eks. IoT (Tingenes internet), registrering af svindel, analyse af klikstrømme, vigtige finansielle beskeder og analyse af sociale medier.

Administreret Kafka med en SLA på 99,9 %

Det tager lang tid både at købe hardwaren og installere og indstille delene. Det er en endnu større udfordring og udgift at sikre, at disse maskiner altid kører, så der ikke mistes data. Kafka til Azure HDInsight administrerer alt dette for dig. Med 4 klik er Kafka-klynger i gang i løbet af få minutter med en oppetids-SLA på Kafka på 99,9 %. Dermed kan du fokusere på at skrive applikationer og deres logik i realtid og oprette pipelines på et højere niveau i stedet for at tænke på at installere nye Kafka-brokere eller reparere de ødelagte.

Rack-tilgængelighed for Azure-miljøer

Kafka er skabt med en-dimensional visning af et rack, der fungerer godt i en række miljøer. I miljøer såsom Azure bliver et rack imidlertid delt i to dimensioner – Update Domains (UD’er) og Fault Domains (FD’er). HDInsight Kafka har udviklet skalerbare og robuste værktøjer for at sikre, at Kafka er rack-tilgængelige i Azure-miljøerne. Disse værktøjer genafbalancerer partitioner og replikaer på tværs af UD’er og FD’er for at sikre den højeste Kafka-tilgængelighed i alle Azure Availability Zones.

Integration med Azure-administrerede diske

Indtagelse er ofte tung, og derfor udgør de diske, der er knyttet til noderne i klyngen, ofte flaskehalse. Der skal traditionelt tilføjes flere noder for at skalere denne flaskehals. Diske, der administreres af Azure, er en teknologi, der giver billigere og skalerbare diske, der koster en brøkdel af en node. HDInsight Kafka er integreret med disse diske for at levere op til 16 TB/node i stedet of de traditionelle 1 TB. Dette giver en eksponentielt højere skalering og samtidig omvendt eksponentielt lavere omkostninger. Med denne innovation har vores virksomhedskunder kunnet spare tusindvis af dollars om måneden.

Integreret meddelelsesfunktion, overvågning og forudsigende vedligeholdelse

Det er kun starten at få en streamingpipeline i gang – det kræver enorme investeringer i infrastruktur til overvågning og meddelelser for at sikre, at den kører driftsikkert uden problemer. Kafka til HDInsight fjerner dette problem, da den er integreret i Azures overvågningspakke. Med denne teknologi kan du overvåge alt fra VM-niveaudiske og NIC-metrik til JMX-metrik fra Kafka, Storm og Spark. Du kan ikke alene oprette stærke dashboards til meddelelser og overvågning, men også specificere scripts og runbooks i forhold til disse metrikværdier for at udføre automatisk og forudsigende vedligeholdelse af din streamingpipeline.

Support af MirrorMaker til replikering af Kafka-data

Kafka installeres ofte i flere miljøer til it-katastrofeberedskab, høj tilgængelighed og hybride scenarier fra det lokale miljø til cloudmiljøet. Dette kræver replikering af data fra en Kafka til en anden. HDInsight har arbejdet tæt sammen med virksomhedskunder for at forstå dette behov og leverer support til datareplikeringsscenarier. Det er nemt at opsætte og bruge spejling på HDInsight Kafka.

Skalering af klynger på få minutter

Estimater af meddelelsesstørrelser og meddelelser/sek. og streamingbehov ændrer sig i takt med brugen af pipelinen. Klyngen er traditionelt beregnet til den største trafikbelastning. Det er ensbetydende med meget høje omkostninger til uudnyttet kapacitet. Når det er tid til at tilføje flere noder, skal de nye maskiner klargøres, installeres og konfigureres med tilpasningerne. På HDInsight Kafka skal du starte med små klynger og opskalere dem efter behov, hvilket sikrer eksponentielt lavere omkostninger. HDInsight sørger for klargøring af de nye noder og anvender tilpasningerne i løbet af få minutter.

Hvad kan du bygge med Kafka til HDInsight?

Få mere at vide om anvendelsesområder nedenfor:

Data kommer fra forskellige hændelseskilder (programmer, enheder, sensorer, internettet og sociale medier), og de samles i cloudmiljøet vha. web-API'er eller eksterne gateways. Datastrømmen overføres af Kafka til HDInsight til behandling og analyse i forbindelse med tjenester som Azure Machine Learning, Spark til HDInsight, Storm til HDInsight samt lagringsadaptere. Dataene flyttes til langtidslagring i forbindelse med tjenester som Apache HBase på HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store og Azure Search. Derefter kan du køre dine dashboards, forespørgsler og analyser i realtid eller sende data til enhederne, så du kan handle på dem.

Kunder, som bruger Kafka til HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Kender du ikke Apache Kafka til HDInsight?

Brug linkene herunder til at oprette robuste streamingpipelines, der er klar til din virksomhed, ved hjælp af Kafka, Storm og Spark Streaming på Azure.

Overvåg streamingpipelines i realtid med Azure

Lær at bruge HDInsight Kafkas integration med Azure Monitoring til at oprette stærke dashboards til beskeder og overvågning og automatisk forudsigende vedligeholdelse af scripts og runbooks i din streamingpipeline.

Prøv Kafka til HDInsight