Hoppa över navigering

Azure Data Factory: Visual Tools tillgängligt i offentlig förhandsversion

Inlägg på 16 januari, 2018

Senior Program Manager, Azure Data Factory

Den offentliga förhandsversionen av Azure Data Factory (ADF) v2 presenterades på Microsoft Ignite den 25 september 2017. I ADF v2 har vi lagt till mer flexibilitet i appmodellen så att du kan skapa kontrollflöden med funktioner för loopning, förgrening, villkorsstyrda konstruktioner, körningar på begäran och flexibel schemaläggning i olika programmeringsgränssnitt som Python, .Net, Powershell, REST API:er och ARM-mallar. En av sakerna som våra kunder verkar eniga om är önskemålet om en funktionsrik, interaktiv och visuell upplevelse kring skapande och övervakning där användarna smidigt kan skapa, konfigurera, testa, distribuera och övervaka pipelines för dataintegrering. Vi har lyssnat på er, och därför är vi glada att kunna presentera lanseringen av Visual Tools for ADF v2. Målet med ADF Visual Tools är att du ska kunna öka produktiviteten med ADF genom att få igång pipelines snabbt utan att behöva skriva en enda rad kod. Du kan använda ett enkelt och intuitivt, kodfritt gränssnitt där du drar och släpper aktiviteter på en rityta för pipelinen, utför testkörningar, felsöker stegvis samt distribuerar och övervakar dina pipelinekörningar. I den här versionen erbjuder vi även guider för hur du använder de aktiverade visuella funktionerna för skapande och övervakning. Dessutom kan du ge oss värdefulla synpunkter.

Vårt mål med Visual Tools for ADF v2 är att öka produktiviteten för både nya och avancerade användare genom att erbjuda en intuitiv upplevelse. Du kommer igång genom att klicka på ikonen Skapa och övervaka på ditt etablerade v2-datafabriksblad.

image

 

Ta en titt på några av de spännande funktionerna som är aktiverade i nya Visual Tools i ADF v2. Du kan också se den korta videon nedan.

 

Kom igång snabbt

  1. Skapa din första ADF v2-pipeline

  2. Kopiera data snabbt från en mängd datakällor med kopieringsguiden

  3. Konfigurera SSIS IR att lyfta och växla SSIS-paket till Azure

  4. Konfigurera ett koddatalager (VSTS GIT) för källkontroll, samarbete, versionskontroll och annat.

clip_image001[3]

Visuellt skapande

Skapa pipelines för kontrollflöden

Skapa pipelines, dra och släpp-aktiviteter och anslut dem om de lyckas, om de misslyckas eller när de slutförs.

image

Skapa Azure-baserade och lokala integreringskörningar

Skapa lokala integreringskörningar för flytt av hybriddata eller på en Azure-SSIS IR för lyftning och växling av SSIS-paket till Azure. Skapa anslutningar via länkade tjänster till dina datalager eller databeräkningar.

clip_image001

Stöd för alla kontrollflödesaktiviteter som körs i Azure-beräkningar

Kontrollflödesaktiviteter:

  • HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up och Execute Pipeline

Stöd för Azure-beräkningar:

  • HDI (på begäran, BYOC), ADLA och Azure Batch

Stegvis utveckling och felsökning

Gör testkörningar innan du kopplar en utlösare till pipelinen och kör på begäran eller via ett schema.

image

Parametrisera pipelines och datauppsättningar

Parametrisera med uttryck eller systemvariabler.

image

Funktionsrikt valideringsstöd

Nu kan du validera dina pipelines och hitta egenskapskonfigurationer som saknas eller är felaktiga. Klicka helt enkelt på knappen Validera på ritytan för din pipeline. Då genereras utdata för valideringen i en sidolåda. Sedan kan du klicka på de olika posterna och komma direkt till den validering som saknas.

image

Utlösarpipelines

Lös ut på begäran och kör pipelines enligt ett schema.

image

Använd VSTS GIT

VSTS GIT för källkontroll, samarbete, versionskontroll och annat.

image

Kopiera data

Datalager (65)

Stöd för 65 datalager. 18 lager med förstklassigt stöd där användarna bara behöver ange konfigurationsvärden. Övriga 47 lager kan användas med JSON.

18 lager med förstklassigt stöd:

  • Azure Blob, Azure CosmosDB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, File System, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW och SQL Server

47 lager med JSON-stöd:

  • Search Index, Cassandra, HTTP file, Mongo DB, OData, Relational table, Dynamics 365, Dynamics CRM, Web table, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB och SAP Cloud for customer

image

Med kopieringsguiden kan du snabbt kopiera data från en mängd datakällor

Den bekanta kopieringsguiden från ADF v1 är tillgänglig i ADF v2 för en snabb engångsimport. Kopieringsguiden genererar pipelines med kopieringsaktiviteter på en redigeringsyta. Nu kan du utöka kopieringsaktiviteterna så att de kör andra aktiviteter som Spark, USQL, Stored Proc när de lyckas, när de misslyckas och så vidare, och skapa hela kontrollflödespipelinen.

image

 

Guidad visning

Klicka på informationsikonen nere till vänster. Sedan kan du klicka på Guidad visning och få stegvisa instruktioner för hur du övervakar din pipeline och dina aktivitetskörningar visuellt.

image_thumb55

Feedback

Klicka på ikonen Feedback om du har synpunkter på någon funktion eller om du får problem.

image_thumb56

Välj datafabrik

Hovra över ikonen Data Factory uppe till vänster. Klicka på pilikonen så visas en lista med Azure-prenumerationer och datafabriker du kan övervaka.

image_thumb57

Visuell övervakning

Övervakning i listvy

Övervaka pipelines, aktiviteter och lös ut körningar i det lättanvända listgränssnittet. Alla körningar visas i webbläsarens lokala tidszon. Om du ändrar tidszon anpassas alla fält med datum och tider automatiskt.

Övervaka pipelinekörningar:

Listvy för varje pipelinekörning i dina Data Factory v2-pipelines.

image_thumb51

Övervaka aktivitetskörningar:

Listvy med aktivitetskörningar som motsvarar respektive pipelinekörning. Klicka på ikonen Aktivitetskörningar under kolumnen Åtgärder om du vill se aktivitetskörningar för respektive pipelinekörning.

image_thumb52

Obs! Du måste klicka på uppdateringsikonen längst upp för att listan med pipeline- och aktivitetskörningar ska uppdateras. Automatisk uppdatering stöds inte för tillfället.

Övervaka utlösarkörningar:

image

Funktionsrik sortering och filtrering

Sortera pipelinekörningar fallande/stigande med avseende på körningsstart och filtrera pipelinekörningar efter namn, körningsstart och körningsstatus.

image_thumb53

Lägg till/ta bort kolumner i listvyn

Högerklicka på rubriken i listvyn och välj vilka kolumner du vill visa.

image_thumb54

Ändra kolumnbredder i listvyn

Öka och minska kolumnbredder i listvyn genom att hovra över kolumnrubriken.

Övervaka integreringskörningar

Övervaka tillståndet hos dina lokala, Azure-baserade och Azure-SSIS-baserade integreringskörningar.

image

Avbryt och kör om dina pipelinekörningar

Avbryt en pipelinekörning eller kör om en pipelinekörning med parametrar som redan är definierade.

clip_image001[1]

Det här är den första offentliga förhandsversionen av ADF v2 Visual Tools. Vi jobbar kontinuerligt med att uppdatera de släppta delarna med nya funktioner baserat på kundernas synpunkter. Lär dig mer och få detaljerade instruktioner för hur du använder ADF v2 Visual Tools.

Kom igång med att skapa pipelines snabbt och enkelt med Azure Data Factory. Om du efterfrågar någon funktion eller vill lämna kommentarer kan du besöka forumet för Azure Data Factory.