Apache Storm for HDInsight

Könnyebb valós idejű streamfeldolgozás big data típusú adatok esetén

Mi az Apache Storm?

Az Apache Storm nagyméretű és gyors adatfolyamok eseményeinek feldolgozására kínál elosztott, hibatűrő, nyílt forráskódú és valós idejű megoldást. A Storm technológia, amelyet a Twitter-adatfolyamok tettek ismertté, ma már az Apache Software Foundation projektjeként érhető el. A választható fejlesztőeszközöket (Java vagy C#) és szoros Visual Studio-integrációt biztosító Apache Storm könnyen és költséghatékonyan helyezhető üzembe az Azure-ban – hardverbeszerzés és szoftverkonfigurálás nélkül.

Rövid áttekintést nyújtó videó >

A különböző forrásokból (alkalmazások, eszközök, érzékelők, web, közösségi média) származó adatokat a felhőben gyűjtik össze webes API-k vagy helyszíni átjárók segítségével. Az adatokat ezután egy üzenetsor-kezelő szolgáltatásnak – például Event Hubs, Kafka, RabbitMQ vagy ActiveMQ –, adják át az adatok a HDInsight-alapú Apache Storm használatával történő valós idejű feldolgozásához. Az adatok ezután hosszú távú tárterületre kerülnek át a HDInsight-alapú Apache HBase használatával, ahol valós idejű irányítópultokat, lekérdezéseket és elemzéseket futtathat.

Valós idejű adatfeldolgozás

Napjaink hálózatba szerveződő világát a valós időben érkező hatalmas adatmennyiségek jellemzik. A Storm ideális megoldásként használható olyan nehéz, valós idejű alkalmazási helyzetekben, mint például az adathamisítások felderítése, a kattintássorozati elemzés, a pénzügyi riasztások, a használati adatok gyűjtése IoT-érzékelőkről és -eszközökről, a közösségi hálózatokból származó adatok elemzése, a folyamatosan működő ETL-adatcsatornák és a hálózatfigyelés. E valós idejű események eszközökről, érzékelőkről, infrastruktúrából, alkalmazásokból, webhelyekről és adatokból származhatnak.

Könnyű beállítás, gyors eredmények

A Storm for HDInsight nem igényel hosszas telepítést és konfigurálást. Az Azure mindezt megteszi Ön helyett. A Stormot percek alatt, új hardver vásárlása vagy egyéb induló költség nélkül üzembe helyezheti.

Hatékonyabb munka az integrált fejlesztőkörnyezet révén

A könnyen kezelhető Storm minden programozási nyelvet támogat, beleértve a Javát és a .NET-et is. A beépített Visual Studio IDE-integráció révén a Storm-topológiák fejlesztése, üzembe helyezése és hibakeresése gyorsan és egyszerűen elvégezhető. A különböző nyelveken írt spoutokat (streamforrásokat) vegyesen is alkalmazhatja, tehát a topológia részeként felhasználhatja a meglévő spoutok és boltok (streamfeldolgozók) óriási választékát.

Rugalmasan méretezhető Big Data-feldolgozási kapacitás

Az Azure előnyeit kihasználó Storm for HDInsight segítségével az igényeinek megfelelő méretű fürtöket létrehozva tetszőleges mennyiségű adatot dolgozhat fel. Csak annak a számítási teljesítménynek és tárhelynek van díja, amelyet ténylegesen használ.

Magas rendelkezésre állás az üzletmenet folyamatosságához

A Storm hibatűrő, és hiba esetén automatikusan újraindítja a feldolgozókat a többi csomóponton. A Storm for HDInsight emellett 99,9%-os rendelkezésre állást kínál a Storm-fürtök számára. Az Azure továbbá nonstop nagyvállalati támogatást és fürtfigyelést biztosít.

Az első elemzési folyamat üzembe helyezése az Apache Stormban

Az Apache Storm-fürtöt néhány perc alatt üzembe helyezheti, és már futtathatja is az első elemzési folyamatot.

Jelentkezzen be az Azure Portalra Azure-előfizetésével, vagy hozzon létre egy próbafiókot.

Adjon nevet a Storm-fürtnek, és határozza meg a fürt méretét a csomópontok számának megadásával. Az üzembe helyezni kívánt Storm-fürt 1 csomópontból is állhat, de akár több százat is tartalmazhat. A Storm-fürtöket működés közben is skálázhatja.

Egy Storm-fürt általában 15 perc alatt üzembe helyezhető. Ezután a lap alján lévő STORM DASHBOARD (STORM-IRÁNYÍTÓPULT) elemre kattintva üzembe helyezheti első Storm-topológiáját.

Írja be a fürt létrehozásakor megadott felhasználónevet és jelszót.

A legördülő listából válasszon ki egy mintatopológiát, vagy töltsön fel egy új, JAR-fájlként összeállított topológiát.

A Submit (Küldés) gombra kattintva helyezze üzembe a WordCount topológiát. Ez a topológia megszámolja a bemenetként feldolgozott modatokban található szavakat.

Ha a beküldés sikeres volt, a Storm UI (Storm-kezelőfelület) elemre kattintva elindíthatja a működő topológia figyelését.

A Storm-topológiákat a Visual Studio-környezetben könnyen létrehozhatja, üzembe helyezheti és felügyelheti. Az Azure SDK is tartalmaz olyan első lépéseket megkönnyítő sablonokat, amelyek a HDInsight-alapú Stormhoz készültek. A hatékonyságot növelő integrált Visual Studio-környezet teljes körű, központosított projektkezelést tesz lehetővé.

A HDInsight ingyenes kipróbálása