Azure Data Factory: Vizuális eszközök a nyilvános előzetes verzióban

Az Azure Data Factory (ADF) v2 verzióját a Microsoft Ignite rendezvényen mutattuk be 2017. szeptember 25-én. Az ADF v2 verziója rugalmasabb ADF-alkalmazásmodellt és olyan folyamatvezérlő funkciókat kínál, amelyek többféle programozási felületen (például Python, .Net, Powershell, REST API-k és ARM sablonok) teszik lehetővé a hurkolást, az elágaztatást, a feltételes konstrukciókat, és a tetszőleges időpontban történő végrehajtást. Ügyfeleink visszatérő kérése volt egy olyan tartalmas interaktív vizuális szerzői és figyelési lehetőség, amellyel a felhasználók könnyedén hozhatnak létre, konfigurálhatnak, tesztelhetnek, helyezhetnek üzembe és figyelhetnek adatintegrációs folyamatokat. Megfogadtuk a javaslatot, és örömmel jelentjük be az ADF v2 verzió vizuális eszközeinekközzétételét. Az ADF vizuális eszközeinek fő célja, hogy a folyamatokat egyetlen kódsor megírása nélkül, gyorsan lehessen elkészíteni, és így még hatékonyabbá váljon az ADF használata. Az egyszerű, intuitív, kódmentes felületen húzással helyezheti át a tevékenységeket a folyamatvásznon, teszteket futtathat, iteratív hibakeresést hajthat végre, üzembe helyezheti és figyelheti a folyamatokat. Ez a kiadás útmutatókat tartalmaz a vizuális szerzői és figyelési funkciókhoz, és lehetővé teszi, hogy a felhasználók eljuttassák hozzánk értékes visszajelzéseiket.

Az ADF v2 verzió vizuális eszközei intuitív lehetőségekkel igyekeznek fokozni a hatékonyságot és az eredményességet kezdő és haladó felhasználók esetében egyaránt. A telepített v2 Data Factory-panelen az Author & Monitor (Szerzői és figyelési tevékenység) csempére kattintva teheti meg az első lépéseket.

 

Megismerheti az ADF v2 verzió vizuális eszközeinek néhány izgalmas funkcióját. Megtekintheti az alábbi rövid videófelvételt is.

 

Gyors használatba vétel

1. Az első folyamat létrehozása az ADF v2 verzióban

2. Gyors adatmásolás többféle adatforrásból a Másolás varázsló használatával

3. SSIS IR konfigurálása az SSIS-csomagok Azure-ba történő átemeléséhez

4. Kódtár létrehozása (VSTS GIT) verziókövetéshez, együttműködéshez verziószámozáshoz, stb.

Vizuális szerzői műveletek

Folyamatok szerzői vezérlése

Folyamatok létrehozása, tevékenységek elhelyezése húzással, csatlakoztatás siker, sikertelenség, és elvégzett művelet esetén.

Azure-beli és saját üzemeltetésű integrációs modulok létrehozása

Létrehozhat saját üzemeltetésű integrációs modult hibrid adatátvitelhez, vagy Azure SSIS IR-t az SSIS-csomagok Azure-ba történő átemeléséhez. Társított szolgáltatáskapcsolatokat hozhat létre az adatforrásokhoz és a számítási szolgáltatásokhoz.

Támogatás az összes, Azure-beli számítási szolgáltatásokon futó vezérlésfolyam-tevékenységhez

Vezérlésfolyam-tevékenységek:

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up, Execute Pipeline

Azure-beli számítási szolgáltatások támogatása:

• HDI (igény szerint BYOC), ADLA, Azure Batch

Iteratív fejlesztés és hibakeresés

Mielőtt eseményindítót adna hozzá egy folyamathoz, és tetszés szerinti időben vagy ütemterv alapján futtatná, Tesztfuttatásokat végezhet.

Folyamatok és adatkészletek paraméterezése

Kifejezések és rendszerváltozók használatával paraméterezhet.

Sokrétű támogatás az ellenőrzéshez

Mostantól a folyamatok ellenőrzésével feltárhatja a kihagyott tulajdonság-konfigurációkat és a hibás konfigurációkat. Egyszerűen kattintson a folyamatvásznon látható Ellenőrzés elemre. Ezzel a lépéssel létrehozhatja az ellenőrzés kimenetét egy oldalmenüben. A továbbiakban az egyes elemekre kattintva egyenesen eljuthat a hiányzó érvényesítésekhez.

Folyamatok indítása

A folyamatokat elindíthatja tetszés szerinti időben vagy ütemezés szerint.

Use VSTS GIT

VSTS GIT a verziókövetéshez, az együttműködéshez, a verziószámozáshoz, stb.

Adatmásolás

Adattárolók (65)

A rendszer 65 adattárolót támogat. 18 tároló rendelkezik elsőosztályú támogatással, így ezeknél a felhasználónak csak a konfigurációs értékeket kell megadnia. A többi 47 tároló a JSON segítségével használható.

18 tároló elsőosztályú támogatással:

• Azure Blob, Azure CosmosDB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, File System, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 tároló JSON-támogatással:

• Search Index, Cassandra, HTTP file, Mongo DB, OData, Relational table, Dynamics 365, Dynamics CRM, Web table, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for customer

Gyors adatmásolás többféle adatforrásból a Másolás varázsló segítségével

Az ADF V1 verzióból ismert Másolás varázsló mostantól az ADF v2 verzióban is elérhető az egyszeri gyors importáláshoz. A Másolás varázsló másolásitevékenység-folyamatokat hoz létre a szerzői vásznon. A másolási tevékenységeket mostantól olyan egyéb tevékenységek futtatásához is kiterjesztheti, mint a Spark, a USQL, a Stored Procedures, vagy a sikeresség és sikertelenség esetén futtatott folyamatok, és létrehozhatja a teljes vezérlésfolyamatot.

Útmutató

Kattintson a bal alsó sarokban látható Információ ikonra. Ezután válassza ki az Útmutató elemet, és kövesse a folyamat- és tevékenységfuttatások vizuális figyelésének lépéseit.

Visszajelzés

A Visszajelzés ikonra kattintva elküldheti nekünk a visszajelzését a különböző funkciókról és esetleges problémákról.

Data Factory kiválasztása

Mutasson a Data Factory ikonra a bal felső sarokban. Kattintson a Nyíl ikonra a figyelhető Azure-előfizetések és data factoryk listájának megtekintéséhez.

Vizuális figyelés

Listanézet figyelése

Egy egyszerű listanézeti felületen figyelheti a futó folyamatokat, tevékenységeket és eseményindítókat. Minden futtatás a helyi böngésző időzónájában jelenik meg. Az időzóna módosításával minden dátum- és időmező át fog váltani a választott időzónára.

Folyamatfuttatások figyelése:

A listanézetben látható a Data Factory v2 verzióban futó összes folyamat.

Tevékenység-végrehajtások figyelése:

A listanézetben láthatók az egyes folyamatokhoz tartozó tevékenység-végrehajtások. A Műveletek oszlopban a Tevékenység-végrehajtások ikonra kattintva megtekintheti a futó folyamatokhoz kapcsolódó tevékenységeket.

Fontos megjegyzés: A folyamatfuttatások és tevékenység-végrehajtások listájának frissítéséhez kattintson a felül lévő Frissítés ikonra. Az automatikus frissítés jelenleg nem támogatott.

Eseményindító-futtatások figyelése:

Részletes rendezés és szűrés

A futtatás kezdete szerint emelkedő és csökkenő sorba rendezheti a folyamatfuttatásokat, illetve szűrheti őket a folyamat neve, futtatásának kezdete és futtatási állapota szerint.

Oszlopok hozzáadása a listanézethez, és eltávolításuk

Jobb gombbal kattintson a listanézet fejlécére, és jelölje ki a listában megtekinteni kívánt oszlopokat.

Oszlopszélesség újrarendezése a listanézetben

A listanézetben látható oszlopok tágításához vagy szűkítéséhez egyszerűen mutasson az oszlop fejlécére.

Integrációs modulok figyelése

Figyelheti a saját üzemeltetésű, Azure-beli vagy Azure-SSIS integrációs modulok állapotát.

Folyamatfuttatások törlése, újraindítása

Törölheti a futó folyamatokat, vagy ismét lefuttathatja azokat a már megadott paraméterekkel.

Ez az ADF v2 verziójához tartozó vizuális eszközök első nyilvános kiadása. Folyamatosan dolgozunk azon, hogy ügyfeleink visszajelzései alapján új funkciókkal frissítsük a már megjelent részeket. További információk és részletes útmutató az ADF v2 verzió vizuális eszközeinek használatához.

Első lépések a folyamatok gyors és könnyű létrehozásához az Azure Data Factory segítségével. Ha új funkcióra vonatkozó javaslata van, vagy visszajelzést szeretne küldeni, keresse fel az Azure Data Factory fórumát.