Trace Id is missing
Ugrás a tartalomtörzsre
Azure

Data Lake

Korlátok nélküli adattó az intelligens döntések támogatásához.

  • Petabájtos méretű fájlok és több billiónyi objektum tárolása/elemzése
  • Big data-programok hibakeresése és optimalizálása egyszerűen
  • Indítás pillanatok alatt, azonnali méretezés, feladatonkénti számlázás
  • Nagymértékben párhuzamos programok fejlesztése könnyedén
  • Nagyvállalati szintű biztonság, naplózás és ügyfélszolgálat
  • YARN-alapú, felhőre tervezett megoldás

Az Azure Data Lake minden olyan funkcióval rendelkezik, amely ahhoz kell, hogy megkönnyítse a fejlesztők, az adatszakértők és az elemzők számára a tetszőleges méretű, hierarchiájú és forgalmú adatok tárolását, valamint a több platformon és nyelven történő, tetszőleges típusú adatfeldolgozást és adatelemzést. Leveszi a válláról az adatok feldolgozásával és tárolásával kapcsolatos terheket, ezzel egy időben a kötegelt, a folyamatos átvitelű és az interaktív elemzésekkel meggyorsítja az üzembe helyezést. Az Azure Data Lake az egyszerűsített adatkezelés és -hozzáférés érdekében együttműködik a meglévő IT-megoldásokkal az identitáskezelés, a felügyelet és a biztonság területén. A szolgáltatás emellett egyszerűen integrálható a műveleti adattárakkal és adattárházakkal, így lehetősége van a jelenlegi adatkezelési alkalmazások bővítésére is. Megoldásunk létrehozása során a vállalati ügyfelekkel való együttműködés során szerzett tapasztalatokra, valamint az olyan világszínvonalú, nagy és összetett feldolgozási és elemzési feladatokat futtató Microsoft-termékekre támaszkodtunk, mint az Office 365, az Xbox Live, az Azure, a Windows, a Bing és a Skype. Az Azure Data Lake a jelenlegi és jövőbeli üzleti igényeit kielégítő szolgáltatással megoldja a hatékonyságnövelésből és a méretezhetőségből adódó problémák nagy részét, amelyek egyébként megakadályoznák az adatvagyon értékének maximalizálását.

Az Azure Data Lake minden olyan funkcióval rendelkezik, amely ahhoz kell, hogy megkönnyítse a fejlesztők, az adatszakértők és az elemzők számára a tetszőleges méretű, hierarchiájú és forgalmú adatok tárolását, valamint a több platformon és nyelven történő, tetszőleges típusú adatfeldolgozást és adatelemzést. Leveszi a válláról az adatok feldolgozásával és tárolásával kapcsolatos terheket, ezzel egy időben a kötegelt, a folyamatos átvitelű és az interaktív elemzésekkel meggyorsítja az üzembe helyezést. Az Azure Data Lake az egyszerűsített adatkezelés és -hozzáférés érdekében együttműködik a meglévő IT-megoldásokkal az identitáskezelés, a felügyelet és a biztonság területén. A szolgáltatás emellett egyszerűen integrálható a műveleti adattárakkal és adattárházakkal, így lehetősége van a jelenlegi adatkezelési alkalmazások bővítésére is. Megoldásunk létrehozása során a vállalati ügyfelekkel való együttműködés során szerzett tapasztalatokra, valamint az olyan világszínvonalú, nagy és összetett feldolgozási és elemzési feladatokat futtató Microsoft-termékekre támaszkodtunk, mint az Office 365, az Xbox Live, az Azure, a Windows, a Bing és a Skype. Az Azure Data Lake a jelenlegi és jövőbeli üzleti igényeit kielégítő szolgáltatással megoldja a hatékonyságnövelésből és a méretezhetőségből adódó problémák nagy részét, amelyek egyébként megakadályoznák az adatvagyon értékének maximalizálását.

data lake-diagram

Data Lake Analytics – korlátok nélküli, feladatalapú elemzési szolgáltatás az intelligens döntések támogatásához

Az első felhőalapú elemzési szolgáltatás, amelyben egyszerűen fejleszthet és futtathat U-SQL, R, Python és .NET nyelveken írt, akár több petabájtnyi adat nagy teljesítményű párhuzamos átalakítására és feldolgozására alkalmas programokat. Mivel nem kell az infrastruktúrával foglalkoznia, igény szerint dolgozhatja fel az adatokat, azonnal elvégezheti a skálázást, és csak feladatonként kell fizetnie. További információ

A Designing Distributed Systems című könyv borítója

HDInsight – Apache Spark és Hadoop® technológiára épülő felhőszolgáltatás nagyvállalatoknak

A HDInsight az egyetlen olyan teljes körűen felügyelt felhőalapú Hadoop-ajánlat, amely optimalizált, nyílt forráskódú elemzési fürtöket biztosít a Spark, a Hive, a MapReduce, a HBase, a Storm, a Kafka és az R Server számára, 99,9%-os rendelkezésre állást garantáló SLA-t biztosítva. Ezen big data-technológiák és ISV-alkalmazások mindegyike könnyűszerrel helyezhető üzembe nagyvállalati szintű biztonságot és monitorozást kínáló felügyelt fürtként. További információ

Data Lake Store – korlátok nélküli adattómegoldás big data jellegű adatok elemzésére

Az első olyan, nagyvállalatok számára készült felhőalapú adattómegoldás, amely biztonságos, rendkívül rugalmasan skálázható, és a nyílt HDFS szabványra épül. Mivel az adatok mérete nincs korlátozva, és a rendszer nagy teljesítményű párhuzamos elemzések futtatására képes, kiaknázhatja a strukturálatlan, részben strukturált vagy teljesen strukturált adataiban rejlő értékeket. További információ

Big data jellegű programok fejlesztése, hibakeresése és optimalizálása egyszerűen

A big data típusú lekérdezések kialakításához és pontosításához nehéz megtalálni a megfelelő eszközöket. Ebben segít a Data Lake a Visual Studióval, az Eclipse-szel és az IntelliJ-jel való szerves integráció révén, így ismerős eszközöket használhat a programkód futtatásához, hibakereséséhez és tökéletesítéséhez. Az U-SQL-, Apache Spark-, Apache Hive- és Apache Storm-feladatokat grafikusan megjelenítve ellenőrizheti, hogy miként fut a programkódja nagyobb méretű környezetben, így azonosíthatja a teljesítmény szempontjából szűk keresztmetszetet okozó tényezőket, és optimalizálhatja a költségeket, amivel egyszerűbbé válik a lekérdezések finomhangolása. Végrehajtási környezetünk aktívan elemzi a programokat futás közben, és javaslatokat ad a teljesítmény növelésére és a költségek csökkentésére. Az adatmérnökök, az adatbázis-rendszergazdák és az adatarchitektúra-szakértők már az első naptól kezdve hatékonyan dolgozhatnak meglévő SQL-, Apache Hadoop-, Apache Spark-, R-, Python-, Java- és .NET-ismereteiket hasznosítva.

Zökkenőmentesen integrálható a létező IT-beruházásokkal

A big data egyik legnagyobb kihívását a meglévő IT-beruházásokkal való integráció jelenti. A Data Lake kulcseleme a Cortana Intelligence csomagnak is, azaz együttműködik az Azure Synapse Analytics, a Power BI és a Data Factory szolgáltatással. Ezzel olyan átfogó, felhőalapú big data- és speciális analitikai platformot biztosít, amely mindenben képes segítséget nyújtani – az adatok előkészítésétől kezdve a nagy méretű adatkészletek interaktív elemzéséig. A Data Lake Analytics hatékony megoldást kínál arra, hogy összes adatát a relációs erőforrások (például az SQL Server on Virtual Machines, az Azure SQL Database és az Azure Synapse Analytics) optimalizált adatvirtualizálásával dolgozhassa fel. A rendszer a lekérdezéseket automatikusan optimalizálja azáltal, hogy a feldolgozást az adatok áthelyezése nélkül, a forrásadatokhoz közeli helyen végzi el, így maximalizálja a teljesítményt, és minimalizálja a hálózati késést. Emellett, mivel a Data Lake az Azure szolgáltatás része, bármilyen adathoz csatlakozhat, amelyet valamilyen alkalmazás hozott létre, vagy valamilyen eszköz dolgozott fel az eszközök internetes hálózatán (IoT).

Petabájtos méretű fájlok és több billiónyi objektum tárolása/elemzése

A Data Lake szolgáltatást a kezdetektől fogva a felhőbeli méretezhetőséget és teljesítményt szem előtt tartva terveztük. Az Azure Data Lake Store használatával az összes adatot mesterséges korlátozások nélkül, egyetlen helyen elemezheti. A Data Lake Store több billiónyi fájl tárolására képes, és egyetlen fájl akár egy petabájtnál is nagyobb méretű lehet – ez 200-szor nagyobb annál, mint amire a hasonló felhőalapú tárolók képesek. Mindez azt jelenti, hogy a tárolt adatok méretének, illetve a futtatott számítások mennyiségének növelése és csökkentése közben nincs szükség a kód átírására. Így az üzleti logikára összpontosíthat ahelyett, hogy a hatalmas adatkészletek feldolgozásával és tárolásával törődne. A Data Lake a felhőn tárolt big data típusú adattal kapcsolatos bonyodalmak terhét is leveszi a válláról, ezzel biztosítva, hogy most és a jövőben is megfeleljen üzleti igényeinek.

Megfizethető és költséghatékony

A Data Lake használatával költséghatékony módon futtathatja a big data típusú számítási feladatokat. Az adatfeldolgozás során választhat az igény szerint elérhető fürtök, illetve a feladatonkénti díjszabás modellje között. Egyik esetben sincs szükség hardver-, licenc- vagy szolgáltatásspecifikus terméktámogatási szerződésre. A rendszer az üzleti igényeknek megfelelően méretezhető, azaz soha nem kell attól tartania, hogy többet fizet a kelleténél. A számítási kapacitás és a tárterület egymástól függetlenül is méretezhető, és ez a hagyományos big data-megoldásoknál nagyobb gazdasági rugalmasságot eredményez. Végezetül pedig minimálisra csökkenthető az olyan speciális munkacsoportok alkalmazása, amelyek általában nélkülözhetetlenek a big data-infrastruktúrák üzemeltetésekor. A Data Lake segítségével csökkentheti a kiadásait, miközben az adatokra fordított beruházások maximálisan megtérülnek. Egy nemrég megjelent tanulmány szerint a HDInsight TCO-ja öt éves időszakra 63%-kal alacsonyabb, mint a helyileg üzembe helyezett Hadoopé.

Nagyvállalati szintű biztonság, naplózás és támogatás

A Data Lake felügyeletét és támogatását teljes mértékben a Microsoft végzi, nagyvállalati kategóriájú garantált szolgáltatói szerződés és támogatás mellett. A hét minden napján éjjel-nappal elérhető ügyfélszolgálatunkhoz bármilyen problémával fordulhat, amely a big data-megoldással kapcsolatban felmerül. Az üzemelő példány figyeléséről Ön helyett az Azure csapata gondoskodik, akik garantálják a folyamatos működést. A Data Lake segítségével megvédheti adatvagyonát, a helyi biztonsági és irányítási szabályozást pedig könnyűszerrel kiterjesztheti a felhőre. Az adatok titkosítása állandó jellegű: az aktív adatok titkosítását SSL-technológia garantálja, míg az inaktív adatok titkosítása a szolgáltatás vagy a felhasználó által felügyelt HSM-alapú kulcsokkal történik az Azure Key Vaultban. Az egyszeri bejelentkezésre (SSO), a többtényezős hitelesítésre és a milliónyi identitás gördülékeny kezelésére szolgáló képességeket beépítettük az Azure Active Directory segítségével. Részletesen szabályozható, POSIX-alapú hozzáférés-vezérlési szabálygyűjteményekkel hitelesítheti a tár adataihoz hozzáférő felhasználókat és csoportokat, ami szerepköralapú hozzáférés-vezérlést tesz lehetővé. Végül pedig megfelelhet a biztonsági és jogszabályi követelményeknek, mivel a megoldás minden egyes rendszerbeli hozzáférést és konfigurációs módosítást naplóz.

Data Lake-megoldások készítése az alábbi hatékony eszközökkel

HDInsight

Felhőalapú Hadoop-, Spark-, R Server-, HBase- és Storm-fürtök kiépítése.

Data Lake Analytics

Big data-kezelés egyszerűen az elosztott elemző szolgáltatás révén.

Azure Data Lake Storage

Méretezhető, biztonságos adattó nagy teljesítményű elemzésekhez.

Az Apache Hadoop® és a kapcsolódó nyílt forráskódú projektek nevei az Apache Software Foundation védjegyei.