Přeskočit navigaci

Azure Data Factory: Visual Tools ve verzi Public Preview

Publikováno dne 16 ledna, 2018

Senior Program Manager, Azure Data Factory

Na konferenci Microsoft Ignite byla dne 25. září 2017 ohlášena služba Azure Data Factory (ADF) v2 ve verzi Public Preview. Verze ADF v2 dodává aplikačnímu modelu ADF více flexibility a podporuje konstruktory toků řízení. Umožňuje využívat konstruktory cyklů, větvení a podmíněného zpracování, spouštění na vyžádání a flexibilní plánování v různých příkazových rozhraních, jako je Python, .Net, Powershell, rozhraní REST API nebo šablony ARM. V rámci zpětné vazby od zákazníků jsme opakovaně slyšeli, že chtějí bohaté interaktivní vizuální prostředí pro vytváření a monitorování, které umožní bez jakýchkoli problémů vytvářet, konfigurovat, testovat, nasazovat a monitorovat kanály pro integraci dat. Naslouchali jsme vašim názorům a s radostí oznamujeme vydání sady Visual Tools pro ADF v2. Hlavním cílem nástrojů ADF Visual Tools je zajistit produktivitu pro ADF, a to zajištěním rychlého zprovoznění kanálů, které nevyžaduje psaní žádného kódu. Můžete využít jednoduché a intuitivní rozhraní bez kódu a pomocí myši přetáhnout aktivity na plátno kanálu, provést testovací běhy, využít iterativní ladění a nasadit a monitorovat spuštění kanálů. Pro tuto verzi poskytujeme průvodce zaměřené na využití podporovaných funkcí vizuálního vytváření a monitorování a také podělit se s námi o vaše přínosné názory.

Naším cílem při vytváření Visual Tools pro ADF v2 bylo zajistit pomocí interaktivního prostředí zvýšení produktivity a efektivity pro nové i zkušené uživatele. Můžete začít kliknutím na dlaždici Vytvořit a sledovat v okně zřízené služby Data Factory v2.

image

 

Prohlédněte si některé zajímavé funkce nové sady Visual Tools ve službě ADF v2. Můžete se také podívat na krátké video níže.

 

Rychlé zahájení práce

  1. Vytvoření prvního kanálu ADF v2

  2. Pomocí průvodce kopírováním rychle zkopírujte data z celé řady různých zdrojů dat.

  3. Nakonfigurujte SSIS IR pro přenesení balíčků SSIS do Azure metodou „lift and shift“.

  4. Vytvořte úložiště kódu (VSTS GIT) pro správu zdrojového kódu, spolupráci, správu verzí atd.

clip_image001[3]

Vizuální vytváření

Vytváření kanálů toků řízení

Můžete vytvářet kanály, přetahovat aktivity pomocí myši a připojovat je v případě úspěchu, neúspěchu nebo dokončení.

image

Vytvoření modulů runtime integrace v Azure nebo místním prostředí

Vytvořte modul runtime integrace v místním prostředí pro přesun hybridních dat nebo Azure-SSIS IR pro přenesení balíčků SSIS do Azure metodou „lift and shift“. Můžete vytvořit připojení propojených služeb k úložištím dat nebo službám Compute.

clip_image001

Podpora pro všechny aktivity toků řízení spuštěné ve službách Azure Compute

Aktivity toků řízení:

  • HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up, Execute Pipeline

Podpora pro Azure Compute:

  • HDI (na vyžádání, BYOC), ADLA, Azure Batch

Iterativní vývoj a ladění

Před připojením triggeru ke kanálu a jeho spuštěním na vyžádání nebo podle rozvrhu spusťte testovací běhy.

image

Parametrizace kanálů a datových sad

K parametrizaci se využívají výrazy a systémové proměnné.

image

Podpora výkonného ověřování

Nyní můžete ověřovat vaše kanály a dozvědět se tak o chybějících konfiguracích vlastností nebo nesprávných konfiguracích. Stačí kliknout na tlačítko Ověřit na plátně kanálu. Výstup ověřování se vytvoří v postranním panelu. Kliknutím na jednotlivé položky potom můžete přejít přímo k umístění chybějícího ověření.

image

Aktivace kanálů

Můžete na vyžádání aktivovat a spouštět kanály podle rozvrhu.

image

Použití VSTS GIT

VSTS GIT pro správu zdrojového kódu, spolupráci, správu verzí atd.

image

Kopírování dat

Úložiště dat (65)

Podpora pro 65 úložišť dat. 18 úložišť se špičkovou podporou, která od uživatelů vyžaduje jenom hodnoty konfigurace. Zbývajících 47 úložišť je možné využít s JSON.

18 úložišť se špičkovou podporou:

  • Azure Blob, Azure CosmosDB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, File System, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 úložišť s podporou JSON:

  • Search Index, Cassandra, HTTP file, Mongo DB, OData, Relational table, Dynamics 365, Dynamics CRM, Web table, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for Customer

image

Použití průvodce kopírováním pro rychlé zkopírování dat z celé řady různých zdrojů

Známý průvodce kopírováním z ADF v1 je teď dostupný ve verzi ADF v2 pro zajištění rychlého jednorázového importu. Průvodce kopírováním vytvoří kanály s aktivitami kopírování na plátně pro vytváření obsahu. Aktivity kopírování se nově dají rozšířit tak, aby spouštěly ostatní aktivity, jako je Spark, USQL, Stored Proc atd., a to v případě úspěchu, neúspěchu atd., a vytvářely celý kanál toků řízení.

image

 

Průvodce

Klikněte na informační ikonu v levém dolním rohu. Potom můžete kliknutím na průvodce zobrazit podrobné pokyny pro vizuální monitorování vašeho kanálu a spuštění aktivit.

image_thumb55

Váš názor

Po kliknutí na ikonu Zpětná vazba nám můžete sdělit svůj názor na různé funkce nebo uvést případné potíže, se kterými se potýkáte.

image_thumb56

Výběr datové továrny

Najeďte myší na ikonu Data Factory v levém horním rohu. Po kliknutí na ikonu se šipkou se zobrazí seznam předplatných Azure a datových továren, které můžete monitorovat.

image_thumb57

Vizuální monitorování

Monitorování pomocí zobrazení seznamu

K monitorování spuštění kanálů, aktivit a triggerů můžete využít jednoduché rozhraní zobrazení seznamu. Všechna spuštění se zobrazují v místním časovém pásmu prohlížeče. Časové pásmo je možné změnit. Všechna pole data a času se potom přizpůsobí vybranému časovému pásmu.

Monitorování spuštění kanálů:

Zobrazení seznamu předvádí jednotlivá spuštění pro kanály Data Factory v2.

image_thumb51

Monitorování spuštění aktivit:

Zobrazení seznamu předvádí spuštění aktivit odpovídající jednotlivým spuštěním kanálu. Kliknutím na ikonu Spuštění aktivit ve sloupci Akce zobrazíte spuštění aktivit pro jednotlivá spuštění kanálu.

image_thumb52

Důležité upozornění: Pro aktualizaci seznamu kanálů a spuštění aktivit musíte kliknout na ikonu Obnovit. Automatická aktualizace se v tuto chvíli nepodporuje.

Monitorování spuštění triggerů:

image

Bohaté možnosti uspořádání a filtrování

Spuštění kanálu můžete uspořádat ve vzestupném nebo sestupném pořadí podle začátku spuštění. Filtrovat je můžete podle názvu kanálu a začátku nebo stavu spuštění.

image_thumb53

Přidání nebo odebrání sloupců v zobrazení seznamu

Klikněte pravým tlačítkem na záhlaví zobrazení seznamu a zvolte sloupce, které se mají v zobrazení seznamu objevit.

image_thumb54

Změna šířky sloupců v zobrazení seznamu

Šířky sloupců v zobrazení seznamu můžete zvětšit nebo zmenšit jednoduše tak, že najedete myší na záhlaví sloupce.

Monitorování modulů runtime integrace

Můžete monitorovat stav modulů runtime integrace v místním prostředí, Azure i Azure-SSIS.

image

Zrušení spuštění kanálu nebo jejich opakované spuštění

Spuštění kanálu můžete zrušit nebo zopakovat s už definovanými parametry.

clip_image001[1]

Toto je první veřejná vydaná verze Visual Tools služby ADF v2. Průběžně pracujeme na aktualizaci vydaných částí novými funkcemi na základě zpětné vazby od zákazníků. Získejte další informace a podrobné kroky pro využití Visual Tools služby ADF v2.

Začněte rychle a snadno vytvářet kanály s využitím Azure Data Factory. Pokud máte nějaké požadavky na služby nebo chcete poskytnout zpětnou vazbu, navštivte fórum služby Azure Data Factory.