La préversion publique d’Azure Data Factory (ADF) v2 a été annoncée dans le cadre de Microsoft Ignite, le 25 septembre 2017. Avec ADF v2, nous avons ajouté de la flexibilité au modèle d’application ADF, et activé des constructions de flux de contrôle qui facilitent désormais le bouclage, la création de branche, les constructions conditionnelles, les exécutions à la demande et la planification flexible dans diverses interfaces de programmation telles que Python, .Net, Powershell, des API REST et des modèles ARM. L’un des commentaires récurrents que nous avons reçus des clients avait trait à la nécessité de permettre une expérience riche de création et de surveillance visuelles interactives permettant aux utilisateurs de créer, de configurer, de tester, de déployer et de surveiller des pipelines d’intégration de données sans aucune friction. Nous avons tenu compte de vos commentaires et sommes heureux d’annoncer la publication d’outils d’élément visuel pour ADF v2 . L’objectif principal des outils d’élément visuel ADF est de vous permettre d’être productif avec ADF en obtenant rapidement des pipelines opérationnels sans avoir à écrire la moindre ligne de code. Vous pouvez utiliser une interface sans code, simple et intuitive, pour glisser-déplacer des activités sur une zone de travail de pipeline, conduire des tests d’exécution, déboguer de manière itérative, ainsi que déployer et surveiller vos exécutions de pipeline. Avec cette publication, nous proposons également des visites guidées concernant l’utilisation des fonctionnalités activées de création et de contrôle visuels, ainsi que la possibilité de nous faire part de vos commentaires précieux.

L’objectif des outils d’élément visuel pour ADF v2 est d’augmenter la productivité et l’efficacité des utilisateurs, tant débutants que chevronnés, au travers d’expériences intuitives. Vous pouvez commencer en cliquant sur la vignette Créer et surveiller dans le panneau de fabrique de données v2 fourni.

 

Découvrez quelques-unes des fonctionnalités intéressantes activées avec les nouveaux outils d’élément visuel dans ADF v2. Vous pouvez également regarder la courte vidéo ci-dessous.

 

Démarrez rapidement

1. Créez votre premier pipeline ADF v2

2. Copiez rapidement des données à partir d’un groupe de sources de données à l’aide de l’Assistant Copie

3. Configurez SSIS IR pour déplacer les packages SSIS vers Azure

4. Configurez le référentiel de code (GIT VSTS) pour le contrôle de source, la collaboration, le contrôle de version, etc.

Création visuelle

Créer des pipelines de flux de contrôle

Créez des pipelines, glissez-déplacez des activités, et connectez-les en cas de succès, de panne ou d’achèvement.

Créez des runtimes d’intégration Azure et auto-hébergés

Créez un runtime d’intégration auto-hébergé pour le déplacement de données hybrides ou un SSIS IR Azure pour déplacer des packages SSIS vers Azure. Créez des connexions de service liées à vos banques de données ou systèmes de calcul.

Prise en charge de toutes les activités de flux de contrôle exécutées sur Azure

Activités de flux de contrôle :

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, Diffusion en continu HDI, Spark HDI, U-SQL, Procédure stockée, Web, For Each, Obtention de métadonnées, Recherche, Exécution de pipeline

Prise en charge des calculs Azure :

• HDI (à la demande, BYOC), ADLA, Azure Batch

Développement et débogage itératifs

Effectuez des séries de tests avant d’associer un déclencheur au pipeline et de lancer une exécution à la demande ou selon une planification.

Paramétrer les pipelines et jeux de données

Paramétrez en utilisant des expressions, des variables système.

Prise en charge de validation riche

Vous pouvez désormais valider vos pipelines pour identifier des configurations de propriété manquantes ou incorrectes. Cliquez simplement sur le bouton Valider dans la zone de travail de pipeline. Cela a pour effet de générer la sortie de validation dans le tiroir latéral. Vous pouvez ensuite cliquer sur chaque entrée pour accéder directement à l’emplacement de la validation manquante.

Déclencher des pipelines

Déclenchez à la demande, exécutez les pipelines selon une planification.

Utiliser le GIT VSTS

GIT VSTS pour le contrôle de code source, la collaboration, le contrôle de version, etc.

Copier des données

Banques de données (65)

Prise en charge de 65 banques de données. 18 banques avec une prise en charge de première classe exigeant uniquement des utilisateurs qu’ils fournissent des valeurs de configuration. Les 47 autres banques peuvent être utilisées avec JSON.

18 banques avec une prise en charge de première classe :

• Azure Blob, Azure CosmosDB, Azure Database pour MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, File System, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 banques avec une prise en charge de JSON :

• Search Index, Cassandra, HTTP file, Mongo DB, OData, Relational table, Dynamics 365, Dynamics CRM, Web table, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for customer

Utiliser l’Assistant Copie pour copier rapidement des données à partir d’un groupe de sources de données

L’Assistant Copie ADF v1 familier désormais disponible dans ADF v2 permet d’effectuer une importation rapide unique. L’Assistant Copie génère des pipelines avec des activités de copie sur la zone de travail de création. Les activités de copie peuvent désormais être étendues pour exécuter d’autres activités telles que Spark, USQL, Proc. stockée, etc., en cas de succès, d’échec, etc., et créer tout le pipeline de flux de contrôle.

Visite guidée

Cliquez sur l’icône Informations en bas à gauche. Vous pouvez ensuite cliquer sur Visite guidée pour obtenir des instructions détaillées sur la surveillance visuelle de votre pipeline et de vos exécutions d’activité.

Commentaires

Cliquez sur l’icône Commentaires pour commenter les diverses fonctionnalités ou d’éventuels problèmes rencontrés.

Sélectionner une fabrique de données

Pointez sur l’icône Data Factory en haut à gauche. Cliquez sur l’icône Flèche pour afficher la liste des abonnements et fabriques de données Azure que vous pouvez surveiller.

Surveillance visuelle

Surveillance de l’affichage de liste

Surveillez les exécutions de pipeline, d’activité et de déclencheur avec une simple interface d’affichage de liste. Toutes les exécutions sont affichées dans le fuseau horaire du navigateur local. Vous pouvez modifier le fuseau horaire. Cela a pour effet d’aligner tous les champs de date et d’heure sur le fuseau horaire sélectionné.

Surveiller les exécutions de pipeline :

Affichage de liste présentant chaque exécution de vos pipelines Data Factory v2.

Surveiller les exécutions d’activité :

Affichage de liste présentant les exécutions d’activité correspondant à chaque exécution de pipeline. Cliquez sur l’icône Exécutions d’activité dans la colonne Actions afin d’afficher les exécutions d’activité pour chaque exécution de pipeline.

Remarque importante : vous devez cliquer sur l’icône Actualiser située en haut pour actualiser la liste des exécutions de pipeline et d’activité. L’actualisation automatique n’est pas prise en charge actuellement.

Surveiller les exécutions de déclencheur :

Classement et filtrage riches

Classez les exécutions de pipeline en ordre croissant ou décroissant de début d’exécution, et filtrez les exécutions de pipeline par nom de pipeline, début d’exécution et état d’exécution.

Ajouter/supprimer des colonnes dans un affichage de liste

Cliquez avec le bouton droit sur l’en-tête de l’affichage de liste, puis choisissez les colonnes à afficher dans l’affichage de liste.

Réorganiser les largeurs de colonne dans un affichage de liste

Augmentez et réduisez les largeurs de colonnes dans un affichage de liste en pointant simplement sur l’en-tête de colonne.

Surveiller les runtimes d’intégration

Surveillez l’intégrité de vos runtimes d’intégration auto-hébergés, Azure et Azure-SSIS.

Annuler/Réexécuter vos exécutions de pipeline

Annulez une exécution de pipeline ou relancez-la avec des paramètres prédéfinis.

Ceci est la première publication publique des outils d’élément visuel d’ADF v2. Nous travaillons sans relâche à l’actualisation des bits publiés avec de nouvelles fonctionnalités basées sur les commentaires des clients. Obtenez des informations supplémentaires et des instructions détaillées sur l’utilisation des outils d’élément visuel d’ADF v2.

Commencez à créer des pipelines facilement et rapidement à l’aide d’Azure Data Factory. Pour toute demande concernant des fonctionnalités ou pour envoyer vos commentaires, visitez le forum Azure Data Factory.