Data Lake

Korlátok nélküli Data Lake megoldás az intelligens döntések támogatásához

Az Azure Data Lake minden olyan funkcióval rendelkezik, amely ahhoz kell, hogy megkönnyítse a fejlesztők, az adatszakértők és az elemzők számára a tetszőleges méretű, hierarchiájú és forgalmú adatok tárolását, valamint a több platformon és nyelven történő, tetszőleges típusú adatfeldolgozást és -elemzést. Leveszi a válláról az adatok feldolgozásával és tárolásával kapcsolatos bonyodalmak terhét, ezzel egy időben a köteg-, a stream- és az interaktív elemzésekkel meggyorsítja az üzembe helyezést. Az Azure Data Lake az egyszerűsített adatkezelés és -hozzáférés érdekében együttműködik a meglévő IT-megoldásokkal az identitáskezelés, a felügyelet, valamint a biztonság területén. A szolgáltatás emellett egyszerűen integrálható a működési adattárakkal és adattárházakkal, így lehetősége van a jelenlegi adatkezelési alkalmazások bővítésére is. Megoldásunk létrehozása során a vállalati ügyfelekkel való együttműködés során szerzett tapasztalatokra, valamint az olyan világszínvonalú, nagy és összetett feldolgozási és elemzési feladatokat futtató Microsoft-termékekre támaszkodtunk, mint az Office 365, az Xbox Live, az Azure, a Windows, a Bing és a Skype. Az Azure Data Lake egy, a jelenlegi és jövőbeli üzleti igényeit kielégítő szolgáltatással megoldja hatékonyságnövelésből és a méretezhetőségből adódó problémák nagy részét, amik egyébként megakadályoznák az adatvagyon értékének maximalizálását.

A szolgáltatást bemutató videó megtekintése

Data Lake Analytics – korlátok nélküli, feladatalapú elemzési szolgáltatás az intelligens döntések támogatásához

Az első felhőalapú elemzési szolgáltatás, amelyben egyszerűen fejleszthet és futtathat U-SQL, R, Python és .NET nyelveken írt, akár több petabájtnyi adat nagy teljesítményű párhuzamos átalakítására és -feldolgozására alkalmas programokat. Nem kell bajlódnia az infrastruktúrável, igény szerint dolgozhatja fel az adatokat, azonnal skálázhatja a szolgáltatást, és a díjakat feladatonként számítjuk fel. Részletek

HDInsight – Apache Spark és Hadoop® technológiára épülő felhőszolgáltatás nagyvállalatoknak

A HDInsight az egyetlen olyan teljes körűen felügyelt felhőalapú Hadoop-ajánlat, amely optimalizált, nyílt forráskódú elemzési fürtöket biztosít a Spark, a Hive, a MapReduce, a HBase, a Storm, a Kafka és az R Server számára, 99,9%-os rendelkezésre állást garantáló SLA-t biztosítva. Ezen big data-technológiák és ISV-alkalmazások mindegyike könnyűszerrel helyezhető üzembe nagyvállalati szintű biztonságot és monitorozást kínáló felügyelt fürtként. Részletek

Data Lake Store – korlátok nélküli data lake-megoldás big data jellegű adatok elemzésére

Az első olyan nagyvállalatok számára készült felhőalapú data lake-megoldás, amely biztonságos, rendkívül rugalmasan skálázható, és a nyílt HDFS szabványra épül. Mivel az adatok mérete nincs korlátozva, és a rendszer nagy teljesítményű párhuzamos elemzések futtatására képes, felszínre hozhatja a strukturálatlan, részben strukturált vagy teljesen strukturált adataiban rejlő értékeket. Részletek

Big data jellegű programok fejlesztése, hibakeresése és optimalizálása egyszerűen

A big data típusú lekérdezések kialakításához és pontosításához nehéz megtalálni a megfelelő eszközöket. Ebben segít a Data Lake a Visual Studióval, az Eclipse-szel és az IntelliJ-jel való szerves integráció révén, így ismerős eszközöket használhat a programkód futtatásához, hibakereséséhez és tökéletesítéséhez. Az U-SQL-, Apache Spark-, Apache Hive- és Apache Storm-feladatokat grafikusan megjelenítve ellenőrizheti, hogy miként fut a programkódja nagyobb méretű környezetben, így azonosíthatja a teljesítmény szempontjából szűk keresztmetszetet okozó tényezőket, és optimalizálhatja a költségeket, amivel egyszerűbbé válik a lekérdezések finomhangolása. Végrehajtási környezetünk aktívan elemzi a programokat futás közben, és javaslatokat ad a teljesítmény növelésére és a költségek csökkentésére. Az adattervezők, az adatbázis-rendszergazdák és az adatarchitektúra-szakértők már az első naptól kezdve hatékonyan dolgozhatnak meglévő SQL-, Apache Hadoop-, Apache Spark-, R-, Python-, Java- és .NET-ismereteiket hasznosítva.

Gond nélkül integrálható a létező IT-beruházásokkal

A big data egyik legnagyobb kihívását a meglévő IT-beruházásokkal való integráció jelenti. A Data Lake kulcseleme a Cortana Intelligence csomagnak is, azaz együttműködik az Azure SQL Data Warehouse, a Power BI és a Data Factory szolgáltatással. Ezzel olyan átfogó, felhőalapú big data- és speciális analitikai platformot biztosít, amely mindenben képes segítséget nyújtani – az adatok előkészítésétől kezdve a nagy méretű adatkészletek interaktív elemzéséig. A Data Lake Analytics hatékony megoldást kínál arra, hogy összes adatát a relációs erőforrások (például Azure SQL Database vagy Azure SQL Data Warehouse) optimalizált adatvirtualizálásával dolgozhassa fel. A rendszer a lekérdezéseket automatikusan optimalizálja azáltal, hogy a feldolgozást az adatok áthelyezése nélkül, a forrásadatokhoz közeli helyen végzi el, így maximalizálja a teljesítményt, és minimalizálja a hálózati késést. Emellett, mivel a Data Lake az Azure szolgáltatás része, bármilyen adathoz hozzákapcsolódhat, amelyet valamilyen alkalmazás hozott létre, vagy valamilyen eszköz dolgozott fel az eszközök internetes hálózatán (IoT).

Petabájt méretű fájlok és több billiónyi objektum tárolása/elemzése

A Data Lake szolgáltatást a kezdetektől fogva a felhőbeli méretezhetőséget és teljesítményt szem előtt tartva terveztük. Az Azure Data Lake Store használatával az összes adatot mesterséges korlátozások nélkül, egyetlen helyen elemezheti. A Data Lake Store több billiónyi fájl tárolására képes, és egyetlen fájl akár egy petabájtnál is nagyobb méretű lehet – ez 200-szor nagyobb annál, mint amire a hasonló felhőalapú tárolók képesek. Mindez azt jelenti, hogy a tárolt adatok méretének, illetve a futtatott számítások mennyiségének növelése és csökkentése közben nincs szükség a kód átírására. Így teljes figyelmével az üzleti logikára összpontosíthat, ahelyett, hogy a hatalmas adatkészletek feldolgozásával és tárolásával törődne. A Data Lake a felhőn tárolt big data típusú adattal kapcsolatos bonyodalmak terhét is leveszi a válláról, ezzel biztosítva, hogy most és a jövőben is megfeleljen üzleti igényeinek.

Megfizethető és költséghatékony

A Data Lake használatával költséghatékony módon futtathatja a big data koncepción alapuló számítási feladatokat. Az adatfeldolgozás során választhat az igény szerint elérhető fürtök, illetve a feladatonkénti díjszabás modellje között. Egyik esetben sincs szükség hardver-, licenc- vagy szolgáltatásspecifikus terméktámogatási szerződésre. A rendszer az üzleti igényeknek megfelelően méretezhető, azaz soha nem kell attól tartania, hogy többet fizet a kelleténél. A számítási kapacitás és a tárterület egymástól függetlenül is méretezhető. Ez a hagyományos big data koncepción alapuló megoldásoknál nagyobb gazdasági rugalmasságot eredményez. Végezetül pedig minimálisra csökkenthető az olyan speciális munkacsoportok alkalmazása, amik a általában nélkülözhetetlenek a big data koncepción alapuló infrastruktúrák üzemeltetésekor. A Data Lake segítségével csökkentheti a kiadásait, miközben az adatokra fordított beruházások maximálisan megtérülnek. Egy nemrég megjelent tanulmány szerint a HDInsight TCO-ja 63%-kal alacsonyabb, mint a helyileg üzembe helyezett Hadoopé.

Nagyvállalati szintű biztonság, naplózás és ügyfélszolgálat

A Data Lake felügyeletét és támogatását teljes mértékben a Microsoft végzi, nagyvállalati kategóriájú garantált szolgáltatási szint és támogatás mellett. A hét minden napján 24 órában elérhető ügyfélszolgálatunk bármilyen olyan típusú problémával kapcsolatban a szolgálatára áll, amely a big data-megoldással kapcsolatban felmerül. Az üzemelő példány figyeléséről Ön helyett az Azure csapata gondoskodik, akik garantálják a folyamatos működést. A Data Lake segítségével megvédheti adatvagyonát, a helyi biztonsági és irányítási szabályozást pedig könnyűszerrel kiterjesztheti a felhőre. Az adatok titkosítása állandó jellegű: az aktív adatok titkosítását SSL technológia garantálja, míg az inaktív adatok titkosítása szolgáltatás- vagy felhasználószintű, HSM-alapú kulcsokkal történik az Azure Key Vaultban. Az egyszeri bejelentkezésre (SSO), a többtényezős hitelesítésre és a milliónyi identitás gördülékeny kezelésére szolgáló képességeket beépítettük az Azure Active Directory segítségével. Részletesen szabályozható, POSIX-alapú hozzáférés-vezérlési szabálygyűjteményekkel hitelesítheti a tár adataihoz hozzáférő felhasználókat és csoportokat, ami szerepköralapú hozzáférés-vezérlést tesz lehetővé. Végül pedig megfelelhet a biztonsági és jogszabályi követelményeknek, mivel a megoldás minden egyes rendszerbeli hozzáférést és konfigurációs módosítást naplóz.

Data Lake-megoldások készítése az alábbi hatékony eszközökkel

Az Apache Hadoop® és a kapcsolódó nyílt forráskódú projektek nevei az Apache Software Foundation védjegyei.