Apache Kafka for HDInsight

Nagy adatátviteli kapacitású, valós idejű adatokat kis késéssel feldolgozó kezelt szolgáltatás

A Kafka for HDInsight egy nagyvállalati szintű, nyílt forráskódú streamfeldolgozási szolgáltatás. Költséghatékony, könnyen üzembe helyezhető, a kezelése és használata egyszerű. Valós idejű megoldásokat hozhat létre például az IoT, a csalások észlelése, a kattintássorozat-elemzés, a pénzügyi riasztások és a közösségi hálózatokból származó adatok elemzése céljából.

Felügyelt Kafka 99,9%-os rendelkezésre állással

A hardver megvásárlásához, telepítéséhez és hangolásához sok időre és erőfeszítésre van szükség. A gépek folyamatos működésének biztosítása úgy, hogy komolyabb kihívások kezelésekor se vesszen el adat, tovább növeli a fenntartási költségeket. A Kafka for Azure HDInsight platform segítségével hatékonyabban kezelheti ezt a kérdéskört. A Kafka-fürtök négy kattintással, percek alatt üzembe helyezhetők, és szolgáltatói szerződés garantálja a 99,9%-os rendelkezésre állást. Ez azt jelenti, hogy meghibásodott Kafka-közvetítők javítása vagy újak létrehozása helyett Ön a valós idejű alkalmazások írására, azok logikájra és a magasabb szintű folyamatok létrehozására összpontosíthat.

Lemezszekrény-konfiguráció figyelembe vétele Azure-környezetekben

A Kafka tervezésekor a lemezszekrények egydimenziós használatát tartották szem előtt, ami bizonyos környezetekben jól működik. Ugyanakkor, az olyan környezetekben, mint az Azure, a szekrények két dimenzióra különülnek el: a frissítési tartományra és a tartalék tartományra. A HDInsight Kafka robusztus, skálázható eszközöket fejlesztett ki annak biztosítására, hogy a Kafka figyelembe vegye az Azure-környezetek lemezszekrényeinek konfigurációját. Ezek az eszközök a partíciók és a replikák frissítési és tartalék tartományok közötti egyensúlyát helyreállítva támogatják a Kafka platform lehető legmagasabb szintű rendelkezésre állásának biztosítását az Azure-beli rendelkezésre állási zónák között.

Integráció az Azure Managed Disks szolgáltatással

Mivel a feldogozás tárigénye nagy, legtöbbször a fürtöt alkotó csomópontokhoz csatlakozó lemezek jelentik a szűk keresztmetszetet. Ennek a szűk keresztmetszetnek a megszüntetéséhez legtöbbször további csomópontok hozzáadására van szükség. Az Azure Managed Disks olyan technológia, amely olcsóbb, méretezhető lemezeket biztosít egy csomópont árának a töredékéért. A HDInsight Kafka platform integráltan tudja kezelni az ilyen lemezeket, így csomópontonként 16 TB áll rendelkezésre a hagyományos 1 TB-tal szemben. Ez jóval nagyobb méretezhetőséget tesz lehetővé a költségek drasztikus csökkenése mellett. Vállalati ügyfeleink havonta több ezer dollárt tudtak megtakarítani ennek az újításnak köszönhetően.

Kész riasztási, figyelési és prediktív karbantartást támogató megoldások

A streamelési folyamat felépítése és elindítása csak a kezdet. A fennakadások nélküli megbízható teljesítmény biztosítása általában szükségessé teszi a figyelési és riasztási infrastruktúra komoly beruházásokkal történő fejlesztését. A Kafka for HDInsight megoldja ezt a problémát, mivel integrálva van az Azure monitoring csomagjával. Ez a technológia lehetővé teszi a teljes környezet figyelését, a VM szintű lemezek működésétől és az NIC metrikáktól kezdve a Kafka, Storm és Spark JMX metrikákig. Azon kívül, hogy nagyszerű riasztási rendszert és figyelést támogató iránytópultokat alakíthat ki, a metrikák meghatározott értékeihez tartozó parancsprogramokat és runbookokat készítve gondoskodhat a streamelési folyamat automatizált és prediktív karbantartásáról.

A Kafka-adatok replikálásának támogatása MirrorMakerrel

A Kafkát gyakran helyezik üzembe vészhelyreállítást és magas rendelkezésre állást támogató többszörös környezetekben és helyszíni megoldásokról felhőbeliekre történő áttérés során kialakított hibrid megoldások részeként. Ilyen esetekben az adatokat egyik Kafka-példányról a másikra kell replikálni. A HDInsight az ügyfelekkel szorosan együttműködve felismerte az ilyen irányú igényeket, és támogatja az adatreplikációs megoldásokat. A HDInsight Kafka platform tükrözése könnyen beállítható és használható.

Fürtök méretezése percek alatt

Az üzenetek méretére, a percenként továbbított üzenetek számára és a streaming igényekre vonatkozó becslések a folyamat használata közben változnak. A fürtöket rendszerint a csúcsforgalomhoz méretezik, ami magas költségeket és kihasználatlan kapacitást eredményez. Új csomópontok hozzáadásakor, az új gépeket üzembe kell helyezni, telepíteni kell rájuk az alkalmazásokat és el kell végezni azok testreszabását. A HDInsight Kafka használatával elegendő kisebb fürtökkel indulni, melyek mérete növelhető, így az egész környezet jóval alacsonyabb költségekkel üzemeltethető. A HDInsight néhány perc alatt gondoskodik az új csomópontok üzembe helyezéséről és a testreszabott beállítások érvényesítéséről.

Kafka for HDInsight platformmal kiépített rendszerek

Ismerje meg az alábbi használati eseteket:

A különböző forrásokból (alkalmazások, eszközök, érzékelők, web, közösségi média) származó adatokat a felhőben gyűjtik össze webes API-k vagy helyszíni átjárók segítségével. Az adatstreamet a Kafka for HDInsight fogadja, feldolgozásra és elemzésre átadja az Azure Machine Learning, a Spark for HDInsight, a Storm for HDInsight vagy más hasonló szolgáltatás részére, vagy a tárolóadaptereknek. Az adatok a HDInsight-alapú Apache HBase, a DocumentDB, a MonoDB SQL, a Solr Azure, a Data Lake Store, az Azure Search vagy hasonló szolgáltatás révén hosszútávú tárolókba kerülnek. Ezt követően valós idejű irányítópultok, lekérdezések és analitikák készíthetők hozzájuk, vagy műveletkezdeményezés céljából elküldhetők eszközökre.

A Kafka for HDInsight platformot használó ügyfelek

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Ismerkedés a Kafka for HDInsight platformmal

Az alábbi linkeket használva robosztus, vállalati igények kiszolgálására alkalmas streamelési folyamatokat hozhat létre Azure alapú Kafka, Storm és Spark Streaming megoldásokkal.

A valós idejű streamelési folyamatok figyelése az Azure-ral

Tanulja meg, hogyan használhatja a Kafka for HDInsight és az Azure Monitoring integrációját hatékony riasztási rendszer, a környezet működésének figyelését támogató irányítópultok valamint automatizált parancsprogramok és runbookok összeállításához, és a streamelési folyamat prediktív karbantartásához.

A Kafka for HDInsight kipróbálása