Előzetes verzióban elérhető az Azure Databricks Delta

Közzétéve: 2018. szeptember 24., hétfő

Az Azure Databricks prémium szintű termékváltozatánál ingyenesen elérhető előzetes verzióban a delta funkció. A delta funkcióval magasabb szintű adatmegbízhatóság és jobb teljesítmény érhető el a feladatoknál és a lekérdezéseknél, és lehetőség van az adatfolyamatok egyszerűsítésére is.

Az elemzendő adatok mennyiségének és a különféle adattípusok számának a rohamos növekedésével, valamint a valós idejű elemzés iránti igény megjelenésével az adatfolyamatok egyre összetettebbé váltak. A legtöbben többfázisú folyamatot hoznak létre, amelyek minden lépésnél rugalmasságot igényelnek, hogy olyan problémákat lehessen kezelni mint a sémák rendellenességei vagy az ütköző írások. A megoldások bonyolultsága azonban nagyobb méretek mellett teljesítménybeli problémákhoz vezethet. Az Azure Databricks delta funkciójával jelentősen leegyszerűsíthetők a folyamatok.

A delta egy tranzakciós tárolási réteg az Azure Databricksben. Az interakcióhoz adatokat írhat és olvashat egy delta táblában, amely a Spark-tábla egy optimalizált változata. Az adatokat Parquet formátumban tárolja, és olyan metaadatokat ad hozzá, amelyek további funkciókat tesznek elérhetővé a Spark-táblán. A Spark-feladatoknál és Az Azure Databricks-lekérdezéseknél magasabb szintű megbízhatóságot és jobb teljesítményt nyújt. A delta az adatfolyamatokat is egyszerűbbé teszi azzal, hogy lehetővé teszi, hogy mind a kötegelt, mind pedig a folyamatos átviteli feladatok ugyanazt a táblát használják, miközben gondoskodik az adatkonzisztenciáról is, így nagy méretek mellett is egyszerűbben hozhatók létre nagy teljesítményű elemzési megoldások.

Az Azure Databricks delta funkcióját minimális kódmódosítással veheti használatba. Használható mindazokkal a meglévő API-kkal, amelyeket az ügyfelek már használnak a Spark-táblákhoz.

Az Azure Databricks használatának első lépéseit megtalálhatja a Databricks delta gyors útmutatóban, a delta dokumentációjában pedig további információt talál az Azure Databricks deltáról és funkcióiról. 

Related feedback