Azure Data Factory: visuelle Tools in öffentlicher Vorschau aktiviert

Die öffentliche Vorschau von Azure Data Factory (ADF) v2 wurde auf der Microsoft Ignite am 25. September 2017 angekündigt. Mit ADF v2 haben wir das ADF-App-Modell flexibler gestaltet und Ablaufsteuerungskonstrukte integriert, die in verschiedenen befehlsorientierten Benutzerschnittstellen wie Python, .NET, PowerShell, REST-APIs und ARM-Vorlagen Folgendes ermöglichen: Schleifen, Branches, Bedingungskonstrukte, bedarfsgesteuerte Ausführung und flexible Zeitplanung. Unsere Kunden wünschten sich in ihrem Feedback immer wieder eine umfassende interaktive visuelle Benutzeroberfläche für die Erstellung und Überwachung, mit der Benutzer Datenintegrationspipelines reibungslos erstellen, konfigurieren, testen, bereitstellen und überwachen können. Wir haben uns das Feedback zu Herzen genommen und freuen uns sehr, Ihnen die Veröffentlichung von visuellen Tools für ADF v2 ankündigen zu dürfen. Das Hauptziel der visuellen ADF-Tools ist es, Ihre Produktivität mit ADF zu steigern, indem Sie Pipelines im Handumdrehen einrichten und ausführen können, ohne eine einzige Codezeile schreiben zu müssen. Sie profitieren von einer einfachen und intuitiven Oberfläche ganz ohne Code, auf der Sie Aktivitäten per Drag&Drop auf eine Pipelinecanvas ziehen, Testläufe und ein iteratives Debugging durchführen und Ihre Pipelineausführungen bereitstellen und überwachen können. Mit diesem Release stellen wir auch Touren bereit, in denen die Verwendung der Erstellungs- und Überwachungsfeatures erläutert wird, und Sie haben die Möglichkeit, uns wertvolles Feedback zu geben.

Mit der intuitiven Nutzbarkeit der visuellen Tools für ADF v2 möchten wir die Produktivität und Effizienz sowohl für Einsteiger als auch für fortgeschrittene Benutzer verbessern. Sie können ganz einfach loslegen, indem Sie auf dem Blatt Ihrer bereitgestellten Data Factory v2-Instanz auf die Kachel Erstellen und Überwachen klicken.

 

Probieren Sie die spannenden Features aus, die Ihnen die neuen visuellen Tools in ADF v2 bieten. In dem kurzen Video unten sehen Sie die neuen Tools in Aktion.

 

Der Einstieg ist kinderleicht

1. Erstellen Sie Ihre erste ADF v2-Pipeline.

2. Kopieren Sie Daten mithilfe des Kopier-Assistenten schnell aus einer Vielzahl von Datenquellen.

3. Konfigurieren Sie die SSIS Integration Runtime, um SSIS-Pakete per Lift&Shift nach Azure zu verschieben.

4. Richten Sie ein Coderepository (VSTS GIT) zur Quellcodeverwaltung, Zusammenarbeit, Versionierung usw. ein.

Visuelles Erstellen

Erstellen von Pipelines für die Ablaufsteuerung

Erstellen Sie Pipelines, verschieben Sie Aktivitäten per Drag&Drop, und stellen Sie die entsprechenden Verbindungen für Erfolg, Fehler und Abschluss her.

Erstellen von Azure-Integration Runtimes und selbstgehosteten Integration Runtimes

Erstellen Sie eine selbstgehostete Integration Runtime zum Verschieben hybrider Daten, oder erstellen Sie eine Azure-SSIS-Integration Runtime, um SSIS-Pakete per Lift&Shift nach Azure zu verschieben. Erstellen Sie Verbindungen zwischen verknüpften Diensten und Ihren Datenspeichern oder Computeressourcen.

Unterstützung für alle Ablaufsteuerungsaktivitäten in Azure-Computeressourcen

Ablaufsteuerungsaktivitäten:

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up, Execute Pipeline

Unterstützung für Azure-Computeressourcen:

• HDI (bedarfsbasiert, BYOC), ADLA, Azure Batch

Iteratives Entwickeln und Debuggen

Führen Sie Testläufe durch, bevor Sie einen Trigger an die Pipeline anfügen und die Pipeline bedarfsbasiert oder nach einem Zeitplan ausführen.

Erstellen Sie Parameter für Pipelines und Datasets

Erstellen Sie Parameter mithilfe von Ausdrücken und Systemvariablen.

Umfassende Unterstützung für Überprüfungen

Sie können Ihre Pipelines jetzt überprüfen, um fehlende Eigenschaftskonfigurationen oder fehlerhafte Konfigurationen zu ermitteln. Klicken Sie einfach auf der Pipelinecanvas auf die Schaltfläche Überprüfen. Damit wird die Ausgabe der Überprüfung in einem Seitendrawer generiert. Dann können Sie auf die einzelnen Einträge klicken, um direkt zur Position der fehlenden Validierung zu gelangen.

Auslösen von Pipelines

Lösen Sie Pipelines nach Bedarf aus, oder führen Sie sie gemäß Zeitplan aus.

Verwenden von VSTS GIT

Nutzen Sie VSTS GIT zur Quellcodeverwaltung, Zusammenarbeit, Versionierung usw.

Kopieren von Daten

Datenspeicher (65)

Profitieren Sie von der Unterstützung für 65 Datenspeicher. Für 18 dieser Speicher mit erstklassiger Unterstützung müssen Benutzer nur noch Konfigurationswerte angeben. Die verbleibenden 47 Speicher können mit JSON verwendet werden.

18 Speicher mit erstklassiger Unterstützung:

• Azure Blob, Azure Cosmos DB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, File System, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 Speicher mit JSON-Unterstützung:

• Suchindex, Cassandra, HTTP-Datei, Mongo DB, OData, relationale Tabelle, Dynamics 365, Dynamics CRM, Webtabelle, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for Customer

Schnelles Kopieren von Daten aus einer Vielzahl von Datenquellen mithilfe des Kopier-Assistenten

Der vertraute Kopier-Assistent aus ADF v1 ist jetzt in ADF v2 für schnelle Importvorgänge verfügbar. Der Kopier-Assistent generiert Pipelines mit Kopieraktivitäten auf der Canvas. Die Kopieraktivitäten können jetzt erweitert werden und bei Erfolg, bei Fehler oder bei anderen Bedingungen weitere Aktivitäten wie Spark- oder USQL-Befehle oder gespeicherte Prozeduren ausführen, um so die gesamte Pipeline für die Ablaufsteuerung zu erstellen.

Tour

Klicken Sie in der linken unteren Ecke auf das Informationssymbol. Klicken Sie dann auf Tour, um eine Schrittanleitung dazu zu erhalten, wie Sie Ihre Pipeline- und Aktivitätsausführungen visuell überwachen.

Feedback

Klicken Sie auf das Symbol Feedback, um uns Feedback zu Features oder möglichen Problemen zu senden.

Auswählen einer Data Factory

Halten Sie den Mauszeiger über das Symbol Data Factory oben links. Klicken Sie auf das Pfeilsymbol, um eine Liste der Azure-Abonnements und Data Factorys anzuzeigen, die Sie überwachen können.

Visuelle Überwachung

Überwachung per Listenansicht

Überwachen Sie Pipeline-, Aktivitäts- und Triggerausführungen mit einer einfachen Listenansicht. Alle Ausführungen werden in der lokalen Zeitzone des Browsers angezeigt. Sie können die Zeitzone ändern. Alle Datums- und Uhrzeitfelder ändern sich gemäß der ausgewählten Zeitzone.

Überwachen von Pipelineausführungen:

Eine Listenansicht zeigt jede Pipelineausführung für Ihre Data Factory v2-Pipelines an.

Überwachen von Aktivitätsausführungen:

Eine Listenansicht zeigt die Aktivitätsausführungen für jede Pipelineausführung an. Klicken Sie unterhalb der Spalte Aktionen auf das Symbol Aktivitätsausführungen, um die Aktivitätsausführungen für jede Pipelineausführung anzuzeigen.

Wichtiger Hinweis: Um die Liste der Pipeline- und Aktivitätsausführungen zu aktualisieren, müssen Sie oben auf das Symbol Aktualisieren klicken. Die automatische Aktualisierung wird zurzeit nicht unterstützt.

Überwachen von Triggerausführungen:

Umfassende Sortier- und Filterfunktionen

Sortieren Sie Pipelineausführungen aufsteigend oder absteigend nach Ausführungsstart, und filtern Sie die Ausführungen nach Pipelinename, Ausführungsstart und Ausführungsstatus.

Hinzufügen/Entfernen von Spalten in der Listenansicht

Klicken Sie mit der rechten Maustaste auf die Kopfzeile der Listenansicht, und wählen Sie die Spalten aus, die in der Listenansicht angezeigt werden sollen.

Ändern der Spaltenbreiten in der Listenansicht

Vergrößern und verkleinern Sie die Spaltenbreiten in der Listenansicht, indem Sie einfach den Mauszeiger über die Spaltenüberschrift halten.

Überwachen von Integration Runtimes

Überwachen Sie die Integrität Ihrer Azure- oder Azure-SSIS-Integration Runtimes sowie Ihrer selbstgehosteten Integration Runtimes.

Abbrechen oder erneutes Ausführen von Pipelineausführungen

Brechen Sie eine Pipelineausführung ab, oder führen Sie sie mit bereits definierten Parametern erneut aus.

Dies ist das erste öffentliche Release der visuellen ADF v2-Tools. Wir arbeiten weiter daran, die veröffentlichten Funktionen anhand des Kundenfeedbacks zu erweitern und zu verbessern. Erhalten Sie weitere Informationen und detaillierte Schritte zur Verwendung der visuellen Tools für ADF v2.

Legen Sie los, und erstellen Sie Pipelines ganz schnell und einfach mit Azure Data Factory. Wenn Sie Features anfordern oder Feedback geben möchten, besuchen Sie das Azure Data Factory-Forum.