Navigáció kihagyása

Azure Data Factory: Vizuális eszközök a nyilvános előzetes verzióban

Közzétéve: január 16, 2018

Senior Program Manager, Azure Data Factory

Az Azure Data Factory (ADF) v2 verzióját a Microsoft Ignite rendezvényen mutattuk be 2017. szeptember 25-én. Az ADF v2 verziója rugalmasabb ADF-alkalmazásmodellt és olyan folyamatvezérlő funkciókat kínál, amelyek többféle programozási felületen (például Python, .Net, Powershell, REST API-k és ARM sablonok) teszik lehetővé a hurkolást, az elágaztatást, a feltételes konstrukciókat, és a tetszőleges időpontban történő végrehajtást. Ügyfeleink visszatérő kérése volt egy olyan tartalmas interaktív vizuális szerzői és figyelési lehetőség, amellyel a felhasználók könnyedén hozhatnak létre, konfigurálhatnak, tesztelhetnek, helyezhetnek üzembe és figyelhetnek adatintegrációs folyamatokat. Megfogadtuk a javaslatot, és örömmel jelentjük be az ADF v2 verzió vizuális eszközeinekközzétételét. Az ADF vizuális eszközeinek fő célja, hogy a folyamatokat egyetlen kódsor megírása nélkül, gyorsan lehessen elkészíteni, és így még hatékonyabbá váljon az ADF használata. Az egyszerű, intuitív, kódmentes felületen húzással helyezheti át a tevékenységeket a folyamatvásznon, teszteket futtathat, iteratív hibakeresést hajthat végre, üzembe helyezheti és figyelheti a folyamatokat. Ez a kiadás útmutatókat tartalmaz a vizuális szerzői és figyelési funkciókhoz, és lehetővé teszi, hogy a felhasználók eljuttassák hozzánk értékes visszajelzéseiket.

Az ADF v2 verzió vizuális eszközei intuitív lehetőségekkel igyekeznek fokozni a hatékonyságot és az eredményességet kezdő és haladó felhasználók esetében egyaránt. A telepített v2 Data Factory-panelen az Author & Monitor (Szerzői és figyelési tevékenység) csempére kattintva teheti meg az első lépéseket.

image

 

Megismerheti az ADF v2 verzió vizuális eszközeinek néhány izgalmas funkcióját. Megtekintheti az alábbi rövid videófelvételt is.

 

Gyors használatba vétel

  1. Az első folyamat létrehozása az ADF v2 verzióban

  2. Gyors adatmásolás többféle adatforrásból a Másolás varázsló használatával

  3. SSIS IR konfigurálása az SSIS-csomagok Azure-ba történő átemeléséhez

  4. Kódtár létrehozása (VSTS GIT) verziókövetéshez, együttműködéshez verziószámozáshoz, stb.

clip_image001[3]

Vizuális szerzői műveletek

Folyamatok szerzői vezérlése

Folyamatok létrehozása, tevékenységek elhelyezése húzással, csatlakoztatás siker, sikertelenség, és elvégzett művelet esetén.

image

Azure-beli és saját üzemeltetésű integrációs modulok létrehozása

Létrehozhat saját üzemeltetésű integrációs modult hibrid adatátvitelhez, vagy Azure SSIS IR-t az SSIS-csomagok Azure-ba történő átemeléséhez. Társított szolgáltatáskapcsolatokat hozhat létre az adatforrásokhoz és a számítási szolgáltatásokhoz.

clip_image001

Támogatás az összes, Azure-beli számítási szolgáltatásokon futó vezérlésfolyam-tevékenységhez

Vezérlésfolyam-tevékenységek:

  • HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up, Execute Pipeline

Azure-beli számítási szolgáltatások támogatása:

  • HDI (igény szerint BYOC), ADLA, Azure Batch

Iteratív fejlesztés és hibakeresés

Mielőtt eseményindítót adna hozzá egy folyamathoz, és tetszés szerinti időben vagy ütemterv alapján futtatná, Tesztfuttatásokat végezhet.

image

Folyamatok és adatkészletek paraméterezése

Kifejezések és rendszerváltozók használatával paraméterezhet.

image

Sokrétű támogatás az ellenőrzéshez

Mostantól a folyamatok ellenőrzésével feltárhatja a kihagyott tulajdonság-konfigurációkat és a hibás konfigurációkat. Egyszerűen kattintson a folyamatvásznon látható Ellenőrzés elemre. Ezzel a lépéssel létrehozhatja az ellenőrzés kimenetét egy oldalmenüben. A továbbiakban az egyes elemekre kattintva egyenesen eljuthat a hiányzó érvényesítésekhez.

image

Folyamatok indítása

A folyamatokat elindíthatja tetszés szerinti időben vagy ütemezés szerint.

image

Use VSTS GIT

VSTS GIT a verziókövetéshez, az együttműködéshez, a verziószámozáshoz, stb.

kép

Adatmásolás

Adattárolók (65)

A rendszer 65 adattárolót támogat. 18 tároló rendelkezik elsőosztályú támogatással, így ezeknél a felhasználónak csak a konfigurációs értékeket kell megadnia. A többi 47 tároló a JSON segítségével használható.

18 tároló elsőosztályú támogatással:

  • Azure Blob, Azure CosmosDB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, File System, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 tároló JSON-támogatással:

  • Search Index, Cassandra, HTTP file, Mongo DB, OData, Relational table, Dynamics 365, Dynamics CRM, Web table, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for customer

image

Gyors adatmásolás többféle adatforrásból a Másolás varázsló segítségével

Az ADF V1 verzióból ismert Másolás varázsló mostantól az ADF v2 verzióban is elérhető az egyszeri gyors importáláshoz. A Másolás varázsló másolásitevékenység-folyamatokat hoz létre a szerzői vásznon. A másolási tevékenységeket mostantól olyan egyéb tevékenységek futtatásához is kiterjesztheti, mint a Spark, a USQL, a Stored Procedures, vagy a sikeresség és sikertelenség esetén futtatott folyamatok, és létrehozhatja a teljes vezérlésfolyamatot.

image

 

Útmutató

Kattintson a bal alsó sarokban látható Információ ikonra. Ezután válassza ki az Útmutató elemet, és kövesse a folyamat- és tevékenységfuttatások vizuális figyelésének lépéseit.

image_thumb55

Visszajelzés

A Visszajelzés ikonra kattintva elküldheti nekünk a visszajelzését a különböző funkciókról és esetleges problémákról.

image_thumb56

Data Factory kiválasztása

Mutasson a Data Factory ikonra a bal felső sarokban. Kattintson a Nyíl ikonra a figyelhető Azure-előfizetések és data factoryk listájának megtekintéséhez.

image_thumb57

Vizuális figyelés

Listanézet figyelése

Egy egyszerű listanézeti felületen figyelheti a futó folyamatokat, tevékenységeket és eseményindítókat. Minden futtatás a helyi böngésző időzónájában jelenik meg. Az időzóna módosításával minden dátum- és időmező át fog váltani a választott időzónára.

Folyamatfuttatások figyelése:

A listanézetben látható a Data Factory v2 verzióban futó összes folyamat.

image_thumb51

Tevékenység-végrehajtások figyelése:

A listanézetben láthatók az egyes folyamatokhoz tartozó tevékenység-végrehajtások. A Műveletek oszlopban a Tevékenység-végrehajtások ikonra kattintva megtekintheti a futó folyamatokhoz kapcsolódó tevékenységeket.

image_thumb52

Fontos megjegyzés: A folyamatfuttatások és tevékenység-végrehajtások listájának frissítéséhez kattintson a felül lévő Frissítés ikonra. Az automatikus frissítés jelenleg nem támogatott.

Eseményindító-futtatások figyelése:

image

Részletes rendezés és szűrés

A futtatás kezdete szerint emelkedő és csökkenő sorba rendezheti a folyamatfuttatásokat, illetve szűrheti őket a folyamat neve, futtatásának kezdete és futtatási állapota szerint.

image_thumb53

Oszlopok hozzáadása a listanézethez, és eltávolításuk

Jobb gombbal kattintson a listanézet fejlécére, és jelölje ki a listában megtekinteni kívánt oszlopokat.

image_thumb54

Oszlopszélesség újrarendezése a listanézetben

A listanézetben látható oszlopok tágításához vagy szűkítéséhez egyszerűen mutasson az oszlop fejlécére.

Integrációs modulok figyelése

Figyelheti a saját üzemeltetésű, Azure-beli vagy Azure-SSIS integrációs modulok állapotát.

image

Folyamatfuttatások törlése, újraindítása

Törölheti a futó folyamatokat, vagy ismét lefuttathatja azokat a már megadott paraméterekkel.

clip_image001[1]

Ez az ADF v2 verziójához tartozó vizuális eszközök első nyilvános kiadása. Folyamatosan dolgozunk azon, hogy ügyfeleink visszajelzései alapján új funkciókkal frissítsük a már megjelent részeket. További információk és részletes útmutató az ADF v2 verzió vizuális eszközeinek használatához.

Első lépések a folyamatok gyors és könnyű létrehozásához az Azure Data Factory segítségével. Ha új funkcióra vonatkozó javaslata van, vagy visszajelzést szeretne küldeni, keresse fel az Azure Data Factory fórumát.