Data Lake Analytics – díjszabás

Az Azure Data Lake Analytics Unit, röviden AU, egy, az U-SQL-feladatok számára elérhetővé tett számítási egység. Az egyes AU-k hozzáférést biztosítanak a feladatok számára a mögöttes erőforrások, például a CPU vagy a memória készleteihez. További információ az AU-ról

Feladat létrehozásakor AU-t kell lefoglalni a feladat futtatásához. A feladat négy fontosabb fázison megy keresztül: előkészítés, várakozás, végrehajtás és véglegesítés, és akkor kerül a végrehajtási fázisba, ha a lefoglalt AU-k rendelkezésre állnak. A lefoglalt AU-kért a feladat végrehajtási és véglegesítési fázisának idejére számolunk fel díjat. További információ az AU-ról

Javasoljuk, hogy fontolja meg alaposan, hogy hány AU-t szükséges lefoglalnia a kívánt feladatokhoz. Az AU-k számának növelésével a feladat számára elérhető számítási erőforrások is növekednek, ez azonban nem növeli meg a feladat belső párhuzamosságát. A feladat jellegétől függően (például hogy mennyire párhuzamosítható, mennyi adatot dolgoz fel, stb.) tapasztalhatja, hogy több AU-val gyorsabban futnak a feladatok, de az is előfordulhat, hogy több AU-t foglalt le, int amennyi felhasználható. Az Azure Data Lake Tools for Visual Studio számos olyan eszközt biztosít, amelyek segítségével felmérheti az U-SQL-feladatok teljesítményét, és megbecsülheti az AU-k optimális számát. További információ a takarékosságról és a költségkezelésről

A díjat az AU-k száma és a feladat hossza határozza meg. Vizsgáljunk meg két esetet:

• 1. eset: A feladat 3 óra alatt végezhető el 10 AU-val, így a díj 3*10=30 AU-óra. Ha a feladat 20 AU-val (tehát kétszer gyorsabban) futtatható, a díj 1,5*20= 30 AU-óra lesz. Az utóbbi esetben a díj ugyanaz, a feladat azonban rövidebb idő alatt végezhető el.
• 2. eset: A feladat 5 óra alatt végezhető el 10 AU-val, így a díj 5*10=50 AU-óra. Ha a feladat 20 AU használatával 4 óra alatt végezhető el, a díj 4*20=80 AU-óra lesz. Ebben az esetben a teljes költség 80%-kal emelkedett, miközben a feladat egy órával kevesebb idő alatt végezhető el.

Az Azure Data Lake Storage Gen1 esetén tranzakciós díjat számolunk fel a szolgáltatáson belüli minden adatírásért és adatolvasásért. Ha egy felhasználó, alkalmazás vagy egy másik Azure-szolgáltatás legfeljebb 4 MB méretű adatot olvas vagy ír, akkor azt egyetlen tranzakcióként számoljuk el. Ha például egy írási művelet 128 KB méretű adatot ír az Data Lake Storage Gen 1-be, akkor azt egy tranzakcióként számoljuk fel. A tranzakciókat 4MB-onként számlázzuk. Ha egy tétel nagyobb, mint 4 MB, akkor több részletben lesz kiszámlázva. Ha például egy olvasási művelet 9 MB adatot olvas a Data Lake Storage Gen1-ből, akkor azt három tranzakcióként számoljuk fel (4 MB + 4 MB + 1 MB).

Az alábbiakban bemutatjuk, hogyan jelennek meg a számlán az olvasási műveleteken alapuló tranzakciók. Azt feltételezzük, hogy az alkalmazás egy olyan Data Lake Analytics-feladatot futtat, amely naponta 4 órán keresztül fut, és a futás ideje alatt 1,000 tétel/másodperc gyakorisággal olvas adatokat, és mindegyik tétel 4 MB-nál kisebb méretű. Ebben az esetben a Data Lake Storage Gen1 díjat számol fel a Data Lake Analytics által a Data Lake Storage Gen1-ből beolvasott olvasási tranzakciókért. Ilyen esetben az alábbi díjakat számoljuk fel Önnek:

A díjat a havonta fenntartott AU-k száma határozza meg.

• Az elszámolási időszakot a naptári hónaphoz igazítjuk. Így az mindig a hónap első napjával kezdődik és az utolsó nappal ér véget.
• Amikor először fizet elő egy csomagra, a havidíjat és az AU-órákat a hónapból hátralévő napok száma szerint, arányosítva számítjuk fel. Például, ha 1000 AU-órás csomagra fizet elő, és a hónapból 10 nap van hátra, azonnal a rendelkezésére fog állni 334 AU-óra (1000 AU-óra / havi 30 nap * 10, a hónapból hátralévő nap), $- áron ($- / havi 31 nap * 10, a hónapból hátralévő nap). Arányosításkor 30 nappal számolunk a csomagban lévő AU-órákra vonatkozóan, míg 31 nappal az árra vonatkozóan, hogy az mindig Önnek kedvezzen.
• A csomag egységei a hó első napján alaphelyzetbe állnak. Például, ha 100 AU-órára fizet elő, és a hónap végén maradt még 20 AU-órája, a csomag a következő napon 100 AU-órára áll vissza. A fel nem használt AU-órák nem vihetők át.
• Bármikor áttérhet másik csomagra. A változtatás a következő naptári hónap első napjától lép érvénybe. Ez azt jelenti, hogy ha egy adott hónapban 100 AU-órás csomaggal rendelkezik, de úgy dönt, hogy 500 AU-órás csomagra vált, ez a változtatás a következő naptári hónap első napjától lép érvénybe. Az aktuális hónapban végéig a 100 AU-órás csomag áll rendelkezésére.
• A kötelezettségvállalási csomagon belüli fogyasztásnál a „másodperc” egységet használjuk.
• A csomag felhasználását követően a túlhasználatért kerettúllépési díjat számítunk fel.

A felhasználást az AU-k száma és a feladat hossza határozza meg. A feladat hosszát a feladathoz hozzárendelt AU-k száma és a feladat jellemzői (például az adatok mérete és a számítás összetettsége) befolyásolja.

• 1. eset: 100 AU-órás csomagra fizetett elő, és olyan feladatot küld el, amely 2 és fél óra alatt végezhető el 1 AU-val. A felhasználás ekkor 2,5*1=2,5 AU-óra lesz. A csomagban 97,5 AU-óra marad.
• 2. eset: 100 AU-órás csomagra fizetett elő, és már csak 1 AU-órája maradt. Olyan feladatot küld el, amely 2 óra alatt végezhető el 2 AU-val, így a felhasználás 2*2=4 AU-óra. Felhasználja a fennmaradó AU-órát, és további 3 AU-órát számítunk fel 1,5*3 = $- túlhasználati díjjal.

Az Azure Data Lake Analytics lehetővé teszi az Azure Data Lake Storage Gen 1-ből, az Azure Blob Storage-ból és az Azure SQL Database-ből származó adatok olvasását és írását. E szolgáltatások Azure Data Lake Analytics általi használata (például a tranzakciók és a kimenő adatátvitelek) után a normál szolgáltatási díjakat számítjuk fel. E szolgáltatásokkal kapcsolatban további információt a szolgáltatások díjszabási oldalán találhat.

• Feladat törlése:
  A törlés minden esetben egy szándékos ügyféltevékenység vagy egy rendszergazda által meghatározott adminisztratív szabály. Az ADLA szolgáltatás nem töröl automatikusan feladatot, kivéve ha egy csúcspont eléri az 5 órás végrehajtási időkorlátot (feladathoz nem tartozik időkorlát, de egy csúcspontnak van időkorlátja). Ha a feladatot törölték, a feladat futási idejére számolunk fel díjat.
• Feladat meghiúsulása:
  A feladat meghiúsulása vagy felhasználói hiba miatt történik, vagy ritkábban az ADLA szolgáltatás hibája miatt. A meghiúsult feladat hibakódja jelzi, hogy a feladat meghiúsulása felhasználói hiba vagy szolgáltatási hiba miatt történt-e. Ha a hibakódban megtalálható a „USER” (felhasználó), akkor a meghiúsulást felhasználói hiba okozta, és ilyen esetben a szolgáltatás kiszámlázza majd a feladat futásidejét. Ha azonban a hibakód a „SYSTEM” (rendszer) szót tartalmazza, az azt jelenti, hogy a meghiúsulást az ADLS szolgáltatás hibája okozta, és ebben az esetben a feladatért nem számolunk fel díjat.