Azure Data Factory: Visual Tools ingeschakeld in de openbare preview

De openbare preview van Azure Data Factory (ADF) v2 werd op 25 september 2017 aangekondigd tijdens Microsoft Ignite. Met ADF v2 hebben we flexibiliteit toegevoegd aan ADF-appmodel en zijn controlestroomconstructs ingeschakeld die nu lussen, vertakking, voorwaardelijke constructs, uitvoeringen op aanvraag en flexibele planning vergemakkelijkt in diverse programmatische interfaces als Python, .Net, Powershell, REST API’s en ARM-sjablonen. Uit feedback die we vaak van klanten kregen, bleek behoefte aan een volledige interactieve visuele ontwerp- en controle-ervaring, zodat gebruikers zonder frictie pijplijnen voor gegevensintegratie kunnen maken, configureren, testen, implementeren en controleren. We hebben naar uw feedback geluisterd en met trots kondigen wij de release van Visual Tools voor ADF v2 aan. Het belangrijkste doel van de Visual Tools voor ADF is om u op een productieve manier met ADF te laten werken door pijplijnen snel actief en werkend te krijgen zonder dat u ook maar één regel code hoeft te schrijven. U kunt een eenvoudige en intuïtieve codevrije interface gebruiken om activiteiten te slepen en vervolgens neer te zetten op een pijplijncanvas, testuitvoeringen uit te voeren, iteratief fouten op te sporen en uw pijplijnuitvoeringen te implementeren en controleren. Met deze release bieden we ook rondleidingen zodat u kunt zien hoe u de ingeschakelde visuele tools voor ontwerp en controle gebruikt. U hebt ook de mogelijkheid om ons waardevolle feedback te geven.

Ons doel met de visuele tools voor ADF v2 is de productiviteit en efficiency te verhogen voor zowel nieuwe als geavanceerde gebruikers aan de hand van intuïtieve ervaringen. U kunt aan de slag door te klikken op de tegel Maken en controleren in uw ingerichte v2 data factory-blade.

 

Bestudeer de opvallende functies die in de nieuwe visuele tools in ADF v2 zijn ingeschakeld. U kunt ook de onderstaande korte video bekijken.

 

Ga snel aan de slag

1. Uw eerste ADF v2-pijplijn maken

2. Snel gegevens kopiëren vanuit een aantal gegevensbronnen met behulp van de kopieerwizard

3. SSIS IR configureren om SSIS-pakketten via lift-and-shift te migreren naar Azure

4. Codeopslagplaats (VSTS GIT) instellen voor broncodebeheer, samenwerking, versiebeheer enzovoort.

Visueel ontwerpen

Controlestroompijplijnen ontwerpen

Maak pijplijnen, sleep activiteiten en zet ze neer, verbind ze on-success, on-failure, on-completion.

Azure en zelf-hostende integratieruntimes maken

Maak een zelf-hostende integratieruntime voor verplaatsing van hybride gegevens of een Azure-SSIS IR om SSIS-pakketten via lift-and-shift naar Azure te verplaatsen. Maak gekoppelde serviceverbindingen naar uw gegevensarchieven of compute.

Ondersteuning voor alle controlestroomactiviteiten die uitvoeren op Azure Computes

Controlestroomactiviteiten:

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up, Execute Pipeline

Ondersteuning voor Azure Computes:

• HDI (on-demand, BYOC), ADLA, Azure Batch

Iteratieve ontwikkeling en foutopsporing

Voer testuitvoeringen uit voordat u een trigger bijvoegt aan de pijplijn en op aanvraag of op een schema uitvoert.

Pijplijnen en gegevenssets parameteriseren

Parameteriseren met behulp van expressies, systeemvariabelen.

Uitgebreide validatie-ondersteuning

U kunt nu uw pijplijnen valideren voor informatie over gemiste eigenschapconfiguraties of incorrecte configuraties. Klik eenvoudig op de knop Valideren op het pijplijncanvas. Hierdoor wordt de validatie-uitvoer gegenereerd in de zijlade. U kunt dan op elke vermelding klikken om rechtstreeks naar de locatie van de ontbrekende validatie te gaan.

Pijplijnen activeren

Activeer op aanvraag, voer pijplijnen uit volgens schema.

VSTS GIT gebruiken

VSTS GIT voor broncodebeheer, samenwerking, versiebeheer enzovoort.

Gegevens kopiëren

Gegevensarchieven (65)

Ondersteuning voor 65 gegevensarchieven. 18 archieven met eersteklas ondersteuning waarvoor gebruikers alleen configuratiewaarden hoeven te leveren. De andere 47 archieven kunnen worden gebruikt met JSON.

18 archieven met eersteklas ondersteuning:

• Azure Blob, Azure CosmosDB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, File System, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 archieven met JSON-ondersteuning:

• Search Index, Cassandra, HTTP file, Mongo DB, OData, Relational table, Dynamics 365, Dynamics CRM, Web table, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for customer

De kopieerwizard gebruiken om snel gegevens te kopiëren vanuit een aantal gegevensbronnen

De vertrouwde ADF v1-kopieerwizard is nu beschikbaar in ADF v2 voor een eenmalige snelle importbewerking. Kopieerwizard genereert pijplijnen met kopieeractiviteiten op ontwerpcanvas. De kopieeractiviteiten kunnen nu worden uitgebreid om andere activiteiten uit te voeren, zoals Spark, USQL, Stored Proc enz., on-success, on-failure enz., en om de volledige controlestroompijplijn te maken.

Rondleiding

Klik op het informatiepictogram links onderin. U kunt vervolgens klikken op Rondleiding voor stapsgewijze instructies over hoe u uw pijplijn- en activiteituitvoeringen visueel controleert.

Feedback

Klik op het pictogram Feedback om ons feedback te geven over verschillende functies of over problemen die u mogelijk hebt.

Gegevensfactory selecteren

Plaats de muisaanwijzer op het pictogram Gegevensfactory links bovenin. Klik op het pictogram van de pijl voor een lijst met Azure-abonnementen en gegevensfactory’s die u kunt controleren.

Visuele controle

Controle via lijstweergave

Controleer pijplijn-, activiteit- en triggeruitvoeringen met een eenvoudige lijstweergave-interface. Alle uitvoeringen worden weergegeven in de lokale tijdzone van de browser. U kunt de tijdzone wijzigen en alle datum-/tijdvelden springen naar de geselecteerde tijdzone.

Pijplijnuitvoeringen controleren:

Lijstweergave geeft elke pijplijnuitvoering voor uw v2-pijplijnen van uw gegevensfactory duidelijk weer.

Activiteituitvoeringen controleren:

Lijstweergave geeft activiteituitvoeringen weer die corresponderen met elke pijplijnuitvoering. Klik op het pictogram Uitvoeringen van activiteit onder de kolom Acties om de uitvoeringen van activiteit weer te geven voor elke pijplijnuitvoering.

Belangrijke opmerking: u moet klikken op het pictogram Vernieuwen bovenaan om de lijst met uitvoeringen van pijplijn en activiteit te vernieuwen. Automatisch vernieuwen wordt momenteel niet ondersteund.

Triggeruitvoeringen controleren:

Uitgebreid op volgorde plaatsen en filteren

Zet pijplijnuitvoeringen in aflopende/oplopende volgorde op Run Start en filter pijplijnuitvoeringen op pijplijnnaam, uitvoering starten en uitvoeringsstatus.

Kolommen toevoegen aan/verwijderen uit lijstweergave

Klik met de rechtermuisknop op de lijstweergavekop en kies de kolommen die u wilt weergeven in de lijstweergave.

Volgorde van kolombreedtes wijzigen in lijstweergave

Vergroot of verklein de kolombreedtes in lijstweergave door eenvoudig de muisaanwijzer over de kolomkop te bewegen.

Integratieruntimes controleren

Controleer de status van uw zelf-hostende, Azure-, Azure-SSIS- integratieruntimes.

Uw pijplijnuitvoeringen annuleren/opnieuw uitvoeren

Annuleer een pijplijnuitvoering of voer een pijplijnuitvoering opnieuw uit met al gedefinieerde parameters.

Dit is de eerste openbare release van ADF v2 Visual Tools. We werken er continu aan om de uitgebrachte stukken aan te vullen met nieuwe functies op basis van klantenfeedback. Krijg meer informatie en gedetailleerde stappen om de ADF v2 Visual Tools te gebruiken.

Begin eenvoudig en snel met het bouwen van pijplijnen met Azure Data Factory. Als u functieverzoeken heeft of feedback wilt geven op Data Factory, kunt u het Azure Data Factory-forum bezoeken.