Apache Kafka for HDInsight

Administrert tjeneste for sanntidsdata, med høy gjennomstrømming og liten forsinkelse

Kafka for HDInsight er en strømmeinntakstjeneste med åpen kilde i foretaksklassen, som er kostnadseffektiv og enkel å klargjøre, administrere og bruke. Bygg sanntidsløsninger som tingenes Internett (IoT), svindeldeteksjon, klikk-strøm-analyse, finansvarsler og sosiale analyser.

Administrert Kafka med en SLA på 99,9 %

Kjøp av maskinvaren og installering og justering av delene krever mye tid og arbeid. Det å holde disse maskinene i drift hele tiden slik at ingen data går tapt er en enda større utfordring og kommer med enorme eierkostnader. Kafka for Azure HDInsight tar hånd om alt dette for deg. Med fire klikk er Kafka-klyngene i drift på få minutter, med en SLA på 99,9 % for Kafka-oppetid. Dette betyr at du kan fokusere på å utvikle sanntidsprogrammer, logikken deres og datasamlebånd på høyere nivåer, i stedet for å bekymre deg om å installere nye Kafka-meglere eller reparere de som er ødelagt.

Reol-oppmerksomhet for Azure-miljøer

Kafka ble utviklet med en enkel dimensjonal visjon av en reol som fungerer bra i alle miljøer. Men i miljøer slik som Azure, blir en reol separert ut i to dimensjoner – Oppdateringsdomener (UD-er) og feildomener (FD-er). HDInsight Kafka har utviklet skalerbare og robuste verktøy som påser at Kafka er reol-oppmerksom i Azure-miljøene. Disse verktøyene ombalanserer partisjonene og replikaene på tvers av UD-er og FD-er for å oppnå de høyeste nivåene av Kafka-tilgjengelighet på tvers av Azure Availability Zones.

Integrering med Azure Managed Disks

På grunn av den tunge belastingen ved filinnføring, vil diskene som er koblet til nodene i en klynge ofte være en flaskehals. Tradisjonelt, for å skalere denne flaskehalsen, måtte flere noder legges til. Azure Managed Disks er en teknologi som leverer rimeligere, skalerbare disker som koster brøkdelen av en node. HDInsight Kafka er integrert med disse diskene for å kunne levere opptil 16 TB per node, i stedet for den tradisjonelle 1 TB. Dette gir en eksponentiell høyere skala, samtidig som kostnadene reduseres tilsvarende. Våre bedriftskunder har spart tusenvis av dollar per måned takket være denne innovasjonen.

Produksjonsklar varsling, overvåkning og prediktivt vedlikehold

Å få et strømmende datasamlebånd i drift er bare begynnelsen – å påse at det leverer en pålitelig ytelse uten problemer krever en stor investering i infrastrukturer for overvåking og varsling. Kafka for HDInsight eliminerer dette problemet da det er integrert med Azures produksjonsklare ovevåkningspakke. Denne teknologien gir deg mulighet til å overvåke alt fra disker på virtuelt maskinnivå til NIC- og JMX-måledata fra Kafka, Storm og Spark. Dette gir deg ikke bare mulighet til å opprette kraftige dashbord for varsling og overvåking, du kan også spesifisere skript og arbeidsflyter mot disse måledataene for automatisert og prediktivt vedlikehold av det strømmende datasamlebåndet.

MirrorMaker-støtte for replikering av Kafka-data

Kafka blir ofte distribuert i flere miljøer for nødgjenoppretting, høy tilgjengelighet og i lokale til sky-hybride scenarier. Disse krever replikering av data fra en Kafka til den andre. HDInsight har jobbet i nært samarbeid med bedriftskunder for å forstå dette behovet og støtter datareplikeringsscenarier. Speiling av HDInsight Kafka er lett å konfigurere og bruke.

Klyngeskalering på få minutter

Beregninger for meldingsstørrelser, meldinger per sekund og strømmingsbehov ettersom datasamlebåndet brukes. Tradisjonelt er klyngen konfigurert for trafikktoppene, noe som fører til veldig høye kostnader for ubrukt kapasitet. Når det er på tide å legge til flere noder, må de nye maskinene klargjøres, installeres og konfigureres med nye tilpasninger. På HDInsight Kafka begynner du med små klynger og skalerer dem opp etter behov, noe som betyr betraktelig lavere kostnader. HDInsight tar hånd om klargjøringen av den nye nodene og tilpasningen gjøres på noen få minutter.

Hva kan du opprette med Kafka for Azure HDInsight?

Lær om brukstilfeller under:

Data kommer inn fra ulike hendelseskilder (programmer, enheter, sensorer, nettet, sosiale medier) og samles i skyen via nett-API-er eller feltgatewayer. Datastrømmen inntas av Kafka for HDInsight for behandling og analysering med tjenester som Azure Machine Learning, Spark for HDInsight, Storm for HDInsight og lagringsadaptere. Dataene flyttes til langtidslagring med tjenester som Apache HBase på HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store og Azure Search. Deretter kan du kjøre instrumentbord, spørringer og analyser i sanntid eller sende data til enheter for å utføre handlinger.

Kunder som bruker Kafka for HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Er Apache Kafka for HDInsight nytt for deg?

Bruk koblingene nedenfor for å opprette robuste, bedriftsklare strømmende datasamlebånd med Kafka, Storm og Spark Streaming på Azure.

Overvåk strømmende datasamlebånd i sanntid med Azure

Lær hvordan du bruker HDInsight Kafkas integrering med Azure Monitoring for å opprette kraftige dashbord for varsling og overvåkning, samt automatiserte skript og arbeidsflyter som gir prediktivt vedlikehold av ditt strømmende datasamlebånd.

Prøv Kafka for HDInsight