Apache Kafka pro HDInsight

Spravovaná služba s vysokou propustností a nízkou latencí pro data v reálném čase

Kafka pro HDInsight je opensourcová služba na podnikové úrovni pro ingestování datových proudů, která je cenově příznivá a snadno se instaluje, spravuje i používá. Sestavujte řešení pracující v reálném čase, jako jsou Internet věcí (IoT), zjišťování možných podvodů, analýza dat o navštívených stránkách, finanční výstrahy a sociální analýzy.

Spravovaná platforma Kafka se smlouvu SLA s 99,9% dostupností

Nákup hardwaru, instalace a ladění součástí vyžaduje hodně času a úsilí. Zajištění nepřetržitého provozu těchto počítačů, aby se neztratila žádná data, představuje ještě větší výzvu a zahrnuje obrovské náklady na vlastnictví. Kafka pro Azure HDInsight toto vše spravuje za vás. Clustery Kafka se smlouvou SLA na 99,9% dostupnost Kafka je možné zprovoznit během několika minut na 4 kliknutí. To znamená, že se můžete soustředit na psaní aplikací fungujících v reálném čase, jejich logiku a vytváření kanálů na vyšších úrovních a nemusíte se zabývat instalací nových zprostředkovatelů Kafka ani opravami poškozených.

Přehled o stojanech pro prostředí Azure

Platforma Kafka byla navržena s jednorozměrným pohledem na stojan, což v některých prostředích dobře funguje. Nicméně v prostředích jako Azure je stojan rozdělen do dvou směrů – aktualizační domény a domény selhání. HDInsight Kafka má vyvinuté škálovatelné a robustní nástroje, které zajišťují, že má Kafka v prostředích Azure přehled o stojanech. Tyto nástroje vyvažují poměr mezi oddíly a replikami napříč aktualizačními doménami a doménami selhání a zajišťují tak nejvyšší úroveň dostupnosti Kafka napříč zónami dostupnosti Azure.

Integrace se službou Azure Managed Disks

Disky připojené k uzlům v clusteru se kvůli vysokým nárokům na ingestování často stávají problematickými. Tradičně je pro vyřešení tohoto problematického místa škálováním potřeba přidat více uzlů. Azure Managed Disks je technologie, která poskytuje levnější škálovatelné disky za zlomek ceny uzlu. Platforma HDInsight Kafka tyto disky integruje a poskytuje až 16 TB na uzel místo tradičního 1 TB. Výsledkem je škálování v exponenciálně větším měřítku a na druhou stranu exponenciální snížení nákladů. Díky této inovaci můžou naši podnikoví zákazníci ušetřit tisíce dolarů za měsíc.

Předem připravené upozorňování, monitorování a prediktivní údržba

Zprovoznění streamovacího kanálu je pouze začátek – zajištění jeho spolehlivého a bezproblémového fungování vyžaduje obrovské investice do infrastruktur monitorování a upozorňování. Kafka pro HDInsight tento problém odstraňuje díky předem připravené integraci se sadou monitorovacích funkcí Azure. Tato technologie umožňuje monitorovat vše od disku na úrovni virtuálního počítače a metrik síťového rozhraní po metriky JMX z Kafka, Storm a Spark. Nejenže můžete vytvářet výkonné řídicí panely upozorňování a monitorování, pro tyto metriky můžete také určovat skripty a runbooky a zajistit tak automatizovanou a prediktivní údržbu vašeho streamovacího kanálu.

Podpora nástroje MirrorMaker pro replikaci dat Kafka

Kafka se často nasazuje v několika prostředích pro zajištění zotavení po havárii, vysoké dostupnosti a hybridních scénářů od místního prostředí po cloud. Tyto scénáře vyžadují replikaci dat z jedné platformy Kafka do jiné. Služba HDInsight v úzké spolupráci s podnikovými zákazníky umožnila porozumět této potřebě a poskytuje podporu scénářů replikace dat. Zrcadlení v HDInsight Kafka se snadno nastavuje i používá.

Škálování clusteru během několika minut

Odhadované velikosti zpráv, počty zpráv za sekundu a potřeby streamování se mění podle používání kanálu. Tradičně se cluster používá pro provoz jako ve špičce, což má za následek velmi vysoké náklady na nevyužitou kapacitu. Když nadejde čas na přidání dalších uzlů, je potřeba zřídit, nainstalovat a nakonfigurovat nové počítače s opětovným použitím vlastních nastavení. V HDInsight Kafka můžete začít s malými clustery a podle potřeby vertikálně navyšovat jejich kapacitu a zajistit tak exponenciálně nižší náklady. HDInsight se postará o zřizování nových uzlů s použitím vlastních nastavení během několika minut.

Co je možné vytvořit s využitím Kafka pro HDInsight?

Další informace o případech použití:

Data pocházejí z různých zdrojů událostí (aplikace, zařízení, senzory, web, sociální sítě) a shromažďují se v cloudu prostřednictvím webových rozhraní API nebo bran v terénu. Kafka for HDInsight ingestuje datový proud pro analýzy a zpracování s využitím služeb, jako je Azure Machine Learning, Spark for HDInsight nebo Storm for HDInsight, a adaptérů úložišť. K přesunu dat do dlouhodobé paměti se používají služby, jako je Apache HBase ve službě HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store a Azure Search. Potom můžete spouštět analýzy, dotazy a řídicí panely v reálném čase nebo odesílat data do zařízení k podniknutí akce.

Zákazníci využívající Kafka pro HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Zatím Kafka pro HDInsight neznáte?

Pomocí odkazů níže můžete vytvořit robustní stramovací kanály připravené pro podniky a využívající Kafka, Storm a Spark Streaming v Azure.

Monitorování streamovacích kanálů v reálném čase pomocí Azure

Zjistěte, jak využít integraci HDInsight Kafka s monitorováním Azure k vytvoření výkonných řídicích panelů upozorňování a monitorování a k automatizované prediktivní údržbě skriptů a runbooků vašeho streamovacího kanálu.

Vyzkoušejte Kafku pro HDInsight