Data Lake

Az első felhőalapú elemzési szolgáltatás, amelyben egyszerűen fejleszthet és futtathat U-SQL, R, Python és .NET nyelveken írt, akár több petabájtnyi adat nagy teljesítményű párhuzamos átalakítására és feldolgozására alkalmas programokat. Mivel nem kell az infrastruktúrával foglalkoznia, igény szerint dolgozhatja fel az adatokat, azonnal elvégezheti a skálázást, és csak feladatonként kell fizetnie. További információ

Az első olyan, nagyvállalatok számára készült felhőalapú adattómegoldás, amely biztonságos, rendkívül rugalmasan skálázható, és a nyílt HDFS szabványra épül. Mivel az adatok mérete nincs korlátozva, és a rendszer nagy teljesítményű párhuzamos elemzések futtatására képes, kiaknázhatja a strukturálatlan, részben strukturált vagy teljesen strukturált adataiban rejlő értékeket. További információ

A big data típusú lekérdezések kialakításához és pontosításához nehéz megtalálni a megfelelő eszközöket. Ebben segít a Data Lake a Visual Studióval, az Eclipse-szel és az IntelliJ-jel való szerves integráció révén, így ismerős eszközöket használhat a programkód futtatásához, hibakereséséhez és tökéletesítéséhez. Az U-SQL-, Apache Spark-, Apache Hive- és Apache Storm-feladatokat grafikusan megjelenítve ellenőrizheti, hogy miként fut a programkódja nagyobb méretű környezetben, így azonosíthatja a teljesítmény szempontjából szűk keresztmetszetet okozó tényezőket, és optimalizálhatja a költségeket, amivel egyszerűbbé válik a lekérdezések finomhangolása. Végrehajtási környezetünk aktívan elemzi a programokat futás közben, és javaslatokat ad a teljesítmény növelésére és a költségek csökkentésére. Az adatmérnökök, az adatbázis-rendszergazdák és az adatarchitektúra-szakértők már az első naptól kezdve hatékonyan dolgozhatnak meglévő SQL-, Apache Hadoop-, Apache Spark-, R-, Python-, Java- és .NET-ismereteiket hasznosítva.

A big data egyik legnagyobb kihívását a meglévő IT-beruházásokkal való integráció jelenti. A Data Lake kulcseleme a Cortana Intelligence csomagnak is, azaz együttműködik az Azure Synapse Analytics, a Power BI és a Data Factory szolgáltatással. Ezzel olyan átfogó, felhőalapú big data- és speciális analitikai platformot biztosít, amely mindenben képes segítséget nyújtani – az adatok előkészítésétől kezdve a nagy méretű adatkészletek interaktív elemzéséig. A Data Lake Analytics hatékony megoldást kínál arra, hogy összes adatát a relációs erőforrások (például az SQL Server on Virtual Machines, az Azure SQL Database és az Azure Synapse Analytics) optimalizált adatvirtualizálásával dolgozhassa fel. A rendszer a lekérdezéseket automatikusan optimalizálja azáltal, hogy a feldolgozást az adatok áthelyezése nélkül, a forrásadatokhoz közeli helyen végzi el, így maximalizálja a teljesítményt, és minimalizálja a hálózati késést. Emellett, mivel a Data Lake az Azure szolgáltatás része, bármilyen adathoz csatlakozhat, amelyet valamilyen alkalmazás hozott létre, vagy valamilyen eszköz dolgozott fel az eszközök internetes hálózatán (IoT).

A Data Lake szolgáltatást a kezdetektől fogva a felhőbeli méretezhetőséget és teljesítményt szem előtt tartva terveztük. Az Azure Data Lake Store használatával az összes adatot mesterséges korlátozások nélkül, egyetlen helyen elemezheti. A Data Lake Store több billiónyi fájl tárolására képes, és egyetlen fájl akár egy petabájtnál is nagyobb méretű lehet – ez 200-szor nagyobb annál, mint amire a hasonló felhőalapú tárolók képesek. Mindez azt jelenti, hogy a tárolt adatok méretének, illetve a futtatott számítások mennyiségének növelése és csökkentése közben nincs szükség a kód átírására. Így az üzleti logikára összpontosíthat ahelyett, hogy a hatalmas adatkészletek feldolgozásával és tárolásával törődne. A Data Lake a felhőn tárolt big data típusú adattal kapcsolatos bonyodalmak terhét is leveszi a válláról, ezzel biztosítva, hogy most és a jövőben is megfeleljen üzleti igényeinek.

A Data Lake használatával költséghatékony módon futtathatja a big data típusú számítási feladatokat. Az adatfeldolgozás során választhat az igény szerint elérhető fürtök, illetve a feladatonkénti díjszabás modellje között. Egyik esetben sincs szükség hardver-, licenc- vagy szolgáltatásspecifikus terméktámogatási szerződésre. A rendszer az üzleti igényeknek megfelelően méretezhető, azaz soha nem kell attól tartania, hogy többet fizet a kelleténél. A számítási kapacitás és a tárterület egymástól függetlenül is méretezhető, és ez a hagyományos big data-megoldásoknál nagyobb gazdasági rugalmasságot eredményez. Végezetül pedig minimálisra csökkenthető az olyan speciális munkacsoportok alkalmazása, amelyek általában nélkülözhetetlenek a big data-infrastruktúrák üzemeltetésekor. A Data Lake segítségével csökkentheti a kiadásait, miközben az adatokra fordított beruházások maximálisan megtérülnek. Egy nemrég megjelent tanulmány szerint a HDInsight TCO-ja öt éves időszakra 63%-kal alacsonyabb, mint a helyileg üzembe helyezett Hadoopé.

A Data Lake felügyeletét és támogatását teljes mértékben a Microsoft végzi, nagyvállalati kategóriájú garantált szolgáltatói szerződés és támogatás mellett. A hét minden napján éjjel-nappal elérhető ügyfélszolgálatunkhoz bármilyen problémával fordulhat, amely a big data-megoldással kapcsolatban felmerül. Az üzemelő példány figyeléséről Ön helyett az Azure csapata gondoskodik, akik garantálják a folyamatos működést. A Data Lake segítségével megvédheti adatvagyonát, a helyi biztonsági és irányítási szabályozást pedig könnyűszerrel kiterjesztheti a felhőre. Az adatok titkosítása állandó jellegű: az aktív adatok titkosítását SSL-technológia garantálja, míg az inaktív adatok titkosítása a szolgáltatás vagy a felhasználó által felügyelt HSM-alapú kulcsokkal történik az Azure Key Vaultban. Az egyszeri bejelentkezésre (SSO), a többtényezős hitelesítésre és a milliónyi identitás gördülékeny kezelésére szolgáló képességeket beépítettük az Azure Active Directory segítségével. Részletesen szabályozható, POSIX-alapú hozzáférés-vezérlési szabálygyűjteményekkel hitelesítheti a tár adataihoz hozzáférő felhasználókat és csoportokat, ami szerepköralapú hozzáférés-vezérlést tesz lehetővé. Végül pedig megfelelhet a biztonsági és jogszabályi követelményeknek, mivel a megoldás minden egyes rendszerbeli hozzáférést és konfigurációs módosítást naplóz.