Tarification Pipeline de données

Détails de la tarification

Azure Data Factory : Tarification Pipeline de données

Le prix des pipelines de données est calculé en fonction des éléments suivants :

  • Exécution et orchestration de pipeline
  • Exécution et débogage du flux de données
  • Nombre d’opérations Data Factory, telles que la création et la surveillance de pipelines

Exécution et orchestration de pipeline Data Factory

Les pipelines sont des flux de contrôle d’étapes discrètes appelées activités. Vous payez l’orchestration de pipeline de données par exécution d’activité et l’exécution d’activité par heures de runtime d’intégration. Le runtime d’intégration, qui est serverless dans Azure et autohébergé dans des scénarios hybrides, fournit les ressources de calcul utilisées pour exécuter des activités dans un pipeline. Le runtime d'intégration est facturé à la minute supérieure.

Par exemple, l’activité de copie Azure Data Factory peut déplacer les données dans divers magasins de données de manière sécurisée, fiable, performante et scalable. À mesure que le volume ou le débit de données augmente, le runtime d’intégration peut évoluer pour répondre à ces besoins.

Type Tarif Description
Orchestration

Runtime d’intégration Azure

$- toutes les 1 000 exécutions

Exécutions d’activités, de déclencheurs et de débogage

Runtime d’intégration au VNET managé Azure

$- toutes les 1 000 exécutions

Runtime d’intégration auto-hébergé

$- toutes les 1 000 exécutions

Exécution

Runtime d’intégration Azure

Activités de déplacement des données : $-/DIU-heure*

Activités du pipeline : $-/heure**

Activités de pipeline externe : $-/heure

Coût d’exécution d’une activité Azure Data Factory sur le runtime d’intégration Azure

Runtime d’intégration au VNET managé Azure

Activités de déplacement des données : $-/DIU-heure*

Activités du pipeline : $-/heure**

Activités de pipeline externe : $-/heure

Coût d’exécution d’une activité Azure Data Factory sur le runtime d’intégration au VNET managé Azure

Runtime d’intégration auto-hébergé

Activités de déplacement des données : $-/heure*

Activités du pipeline : $-/heure**

Activités de pipeline externe : $-/heure

Coût d’exécution d’une activité Azure Data Factory sur le runtime d’intégration autohébergé

* L’utilisation de l’activité de copie pour sortir des données d’un centre de données Azure entraîne des frais de bande passante réseau supplémentaires, qui apparaissent sous la forme d’une ligne distincte relative à un transfert de données sortant sur votre facture. En savoir plus sur la tarification du transfert de données sortant.

** Les activités de pipeline s’exécutent sur le runtime d’intégration. Les activités de pipeline incluent la recherche, l’obtention de métadonnées, la suppression et les opérations de schéma pendant la création (connexion test, navigation dans la liste des dossiers et la liste des tables, l’obtention de schémas et la prévisualisation des données).

*** Les activités de pipeline externes sont gérées sur le runtime d’intégration mais s’exécutent sur des services liés. Les activités externes incluent les Databricks, les procédures stockées, les activités HDInsight et bien plus encore. Pour obtenir la liste complète des activités externes, rendez-vous ici. Pour les activités de mappage de flux de données, veuillez vous reporter à la section « Exécution et débogage de flux de données Data Factory » ci-dessous.

Exécution et débogage Data Flow

Les flux Data Flow sont des composants conçus de manière graphique dans Data Factory pour permettre les transformations de données à l’échelle. Vous payez le temps d’exécution et de débogage du cluster Data Flow par heure de mémoire à tores magnétiques virtuelle. La taille minimale d’un cluster d’exécution Data Flow est de 8 mémoires à tores magnétiques virtuelle. L’exécution et le débogage sont facturés à la minute supérieure.

Type Tarif Description
Optimisé pour le calcul $- par heure de mémoire à tores magnétiques virtuelle Flux de données basé sur le calcul optimisé pour le calcul
Usage général $- par heure de mémoire à tores magnétiques virtuelle Flux de données basé sur le calcul à usage général
Mémoire optimisée $- par heure de mémoire à tores magnétiques virtuelle Flux de données basé sur le calcul à mémoire optimisée

Remarque : Des flux de données Data Factory sont également facturés pour le stockage sur disques managés et le stockage blob requis pour l’exécution et le débogage des flux de données. De même, si la fonctionnalité de flux de wrangling data est en préversion publique, l’utilisation de cette fonctionnalité bénéficie d’une remise de 50 % par rapport aux tarifs indiqués dans le tableau ci-dessus.

Opérations Data Factory

Type Tarif Exemples
Lecture/écriture* $- toutes les 50 000 entités modifiées/référencées Lecture/écriture d’entités dans Azure Data Factory*
Surveillance $- tous les 50 000 enregistrements d’exécutions récupérés Monitoring des exécutions de pipelines, d’activités, de déclencheurs et de débogage**

* Les opérations de lecture/écriture pour les entités Azure Data Factory incluent la création, la lecture, la mise à jour et la suppression. Les entités incluent les jeux de données, les services liés, les pipelines, le runtime d’intégration et les déclencheurs.

** Les opérations de monitoring incluent l’obtention et le listage des exécutions de pipelines, d’activités, de déclencheurs et de débogage.

Pipelines inactifs

Un pipeline est considéré comme inactif s’il n’a aucun déclencheur associé ni aucune exécution au cours du mois. Un pipeline inactif est facturé à hauteur de $- par mois.

Forum Aux Questions

  • Les opérations de lecture/écriture incluent la création, la lecture, la mise à jour et la suppression d’entités Azure Data Factory. Les entités incluent les jeux de données, les services liés, les pipelines, le runtime d’intégration et les déclencheurs.
  • Les opérations de monitoring incluent l’obtention et le listage des exécutions de pipelines, d’activités, de déclencheurs et de débogage.
  • Une activité est une étape au sein d’un pipeline. L’exécution de chaque activité est appelée « exécution ».
  • Un runtime d’intégration est l’infrastructure de calcul utilisée par Azure Data Factory pour fournir les fonctionnalités d’intégration de données suivantes entre différents environnements réseau :

    • Déplacement des données : transfert de données entre des magasins de données dans des réseaux publics et privés (locaux ou privés virtuels), prenant en charge les connecteurs intégrés, la conversion de format, le mappage de colonnes et le transfert de données performant et scalable.
    • Répartition des activités : répartition et analyse des activités de transformation exécutées sur un large éventail de services Compute, tels qu’Azure HDInsight, Azure Machine Learning, Azure SQL Database, SQL Server, etc.
    • Exécution du package SQL Server Integration Services : exécution native des packages SSIS SQL Server Integration Services dans un environnement Compute Azure managé.
  • Un déclencheur est une unité de traitement qui détermine le moment où une exécution de pipeline doit être initiée. Une exécution de déclencheur est l’exécution d’un déclencheur, qui peut produire une exécution d’activité si les conditions sont remplies.
  • Une exécution de débogage est une série de tests qu’un utilisateur peut effectuer au cours du développement itératif pour s’assurer que les étapes du pipeline fonctionnent comme prévu avant que les modifications ne soient publiées dans la fabrique de données.
  • Un pipeline inactif est un pipeline qui n’est pas associé à un déclencheur et qui ne comporte aucune exécution au cours du mois. Des frais sont facturés après un mois sans exécution.
  • Les activités d’exécution de pipeline (déplacement des données de runtime d’intégration Azure, activités de pipeline, déplacement des données de runtime d’intégration auto-hébergé et externe, activités de pipeline et externe) sont facturées au taux horaire indiqué ci-dessus. L’exécution du pipeline est facturée à la minute supérieure.

    Par exemple : Si vous exécutez une opération qui dure 2 minutes et 20 secondes, 3 minutes sont facturées.

  • Trouvez des exemples de tarification par scénario sur la page de documentation d’Azure Data Factory.

Détails de la tarification

La tarification de l’utilisation de Data Factory est calculée en fonction des facteurs suivants :

  • La fréquence des activités (élevée ou faible). Une activité à fréquence faible ne s’exécute pas plus d’une fois par jour (par exemple, tous les jours, toutes les semaines, tous les mois) ; une activité à fréquence élevée s’exécute plus d’une fois par jour (par exemple, toutes les heures, toutes les 15 minutes). Pour plus d’informations, consultez la section Orchestration des activités ci-dessous.
  • L’emplacement d’exécution des activités (dans le cloud ou localement). Consultez la section Déplacement des données ci-dessous.
  • Si un pipeline est actif ou non. Consultez la section Pipelines inactifs ci-dessous.
  • Si vous réexécutez une activité. Consultez la section Réexécution d’activités ci-dessous.

Orchestration des activités

Fréquence faible Fréquence élevée
Activités exécutées dans le cloud

(Exemples : activité de copie qui déplace les données d’un blob Azure vers Azure SQL Database ; activité Hive qui exécute un script Hive sur un cluster Azure HDInsight).
$- par activité par mois $- par activité par mois
Activités exécutées localement et impliquant un IR (Integration Runtime) auto-hébergé

(Exemples : activité de copie qui déplace des données d’une base de données SQL Server locale vers un blob Azure ; activité de procédure stockée qui exécute une procédure stockée dans une base de données SQL Server locale).
$- par activité par mois $- par activité par mois

Notes :

  • L’utilisation au-delà de 100 activités/mois fait l’objet d’une remise de 20 % pour les scénarios à fréquence faible et fréquence élevée.
  • Les 5 premières activités à fréquence faible au cours d’un mois sont gratuites, aussi bien localement que dans le cloud.

Déplacement des données

Azure Data Factory peut copier les données entre différents magasins de données de façon sécurisée, fiable, performante et scalable. Azure Data Factory peut se mettre à l’échelle pour répondre à vos besoins à mesure que le volume de vos données ou le débit du déplacement des données augmente. Consultez le Guide sur les performances de l’activité de copie pour savoir comment tirer parti des unités de déplacement des données pour optimiser les performances en matière de déplacement des données.

Déplacement des données entre les magasins de données du cloud $- par heure
Déplacement des données dans le cas d’un magasin local $- par heure
Remarque :
Des frais de transfert de données peuvent s’appliquer. Ils sont alors mentionnés sur une ligne distincte de votre facture concernant le transfert de données sortant. Les frais liés au transfert de données sortant s’appliquent lorsque les données sortent des centres de données Azure. Pour plus d’informations, consultez la page Informations de tarification sur les transferts de données.

Pipelines inactifs

Vous devez spécifier une période active de traitement des données à l’aide d’une plage de dates/heures (heures de début et de fin) pour chaque pipeline déployé dans Azure Data Factory. Le pipeline est considéré comme actif pendant la période spécifiée, même si les activités correspondantes ne sont pas réellement exécutées. Il est inactif le reste du temps.

Un pipeline inactif est facturé à hauteur de $- par mois.

Les pipelines qui restent inactifs pendant un mois entier sont facturés au tarif applicable aux pipelines inactifs pour le mois en question. Les pipelines qui restent inactifs pendant une partie du mois sont facturés pour les périodes inactives au prorata du nombre d’heures pendant lequel ils ont été inactifs pendant le mois en question. Par exemple, si un pipeline a comme date/heure de début le 01/01/2016 à minuit et comme date/heure de fin le 20/01/2016 à minuit, le pipeline est considéré comme actif pendant les 20 jours en question et inactif pendant 11 jours. Les frais liés à un pipeline inactif ($-) sont calculés au prorata des 11 jours.

Si aucune période active de traitement des données (heures de début et de fin) n’a été spécifiée pour un pipeline, ce dernier est considéré comme inactif.

Réexécution d’activités

Vous pouvez réexécuter les activités si besoin (par exemple si la source de données n’était pas disponible pendant l’exécution planifiée). Le coût engendré par la réexécution d'activités varie en fonction de l'emplacement dans lequel l'activité a été exécutée. Le coût de la réexécution d’activités dans le cloud est de $- toutes les 1 000 réexécutions. Le coût de la réexécution d’activités localement est de $- toutes les 1 000 réexécutions.

Lire

Prenons l’exemple suivant : vous avez un pipeline de données avec les deux activités suivantes qui s’exécutent une fois par jour (faible fréquence) :

  1. Une activité de copie qui copie les données d’une base de données SQL Server locale vers un blob Azure.
  2. Une activité Hive qui exécute un script Hive sur un cluster Azure HDInsight.

Supposons qu’il faille 2 heures par jour pour déplacer les données de la base de données SQL Server locale vers Stockage Blob Azure. Le tableau suivant montre les coûts associés à ce pipeline :

Première activité (copie des données de l’emplacement local vers Azure)
Coût du déplacement des données (par mois) 30 jours par mois
2 heures par jour
$-
$-
Coût de l’orchestration des activités (par mois) $-
Sous-total (par mois) $-
Deuxième activité (un script Hive exécuté sur Azure HDInsight)
Coût du déplacement des données (par mois) $-
Coût de l’orchestration des activités (par mois) $-
Sous-total (par mois) $-
Total des activités (par mois) $-

Vous pouvez également utiliser la Calculatrice de prix Data Factory pour calculer les frais liés à ce scénario.

Notes :

  • Les 5 premières activités locales et dans le cloud ne sont pas facturées. Les frais mentionnés ci-dessus supposent que vous avez déjà utilisé 5 activités locales et dans le cloud par mois (dans d’autres pipelines).
  • Les services Stockage Azure et HDInsight sont facturés séparément selon les tarifs applicables associés.

Support technique et contrat SLA

  • Support technique gratuit pour la gestion de la facturation et des abonnements.
  • Plans de support technique flexibles à partir de $29/mois. Rechercher un plan
  • Nous garantissons que pendant au moins 99,9 % du temps, nous serons en mesure de traiter les demandes d'exécution d'opérations sur les ressources Data Factory.
  • Nous garantissons que pendant au moins 99,9 % du temps, toutes les exécutions d’activité démarreront dans les 4 minutes suivant l’heure d’exécution planifiée.
  • Pour en savoir plus sur le contrat SLA, consultez la page correspondante.

Forum Aux Questions

  • Les activités définissent les actions à effectuer sur vos données. Chaque activité prend un nombre quelconque de jeux de données en tant qu’entrées et produit un ou plusieurs jeux de données en sortie. Une activité est une unité d’orchestration dans Azure Data Factory.

    Par exemple, vous pouvez utiliser une activité de copie pour orchestrer la copie de données d’un jeu de données à un autre. De même, vous pouvez utiliser une activité Hive pour exécuter une requête Hive sur un cluster Azure HDInsight afin de transformer ou d’analyser vos données. Azure Data Factory fournit un large éventail d’activités de transformation et de déplacement des données. Vous pouvez également créer une activité .NET personnalisée pour exécuter votre propre code.

  • Un pipeline est un regroupement logique d’activités. Les pipelines peuvent être actifs pendant une période spécifiée par l’utilisateur (avec des heures de début et de fin). Les pipelines sont inactifs le reste du temps.
  • Oui. Si l’activité utilise des services Azure tels que HDInsight, ces services font l’objet d’une facturation séparée selon les tarifs individuels associés.

  • Deux types de coût sont facturés lors d'une copie de données. Tout d'abord, les ressources de calcul utilisées pour l'exécution de la copie sont représentées par le compteur des déplacements de données. Il existe une version locale et une version dans le cloud du compteur des déplacements de données. Le déplacement des données en local est moins onéreux, car une portion du calcul associé à la copie est effectuée par vos propres ressources locales. Le déplacement des données est facturé à la minute supérieure (par exemple, une copie de données d’une durée de 41 minutes et 23 secondes est facturée à hauteur de 42 minutes).

    En outre, des frais de transfert de données peuvent s’appliquer. Ils sont alors mentionnés sur une ligne distincte de votre facture concernant le transfert de données sortantes. Les frais liés au transfert de données sortant s’appliquent lorsque les données sortent des centres de données Azure. Pour plus d’informations, consultez la page Informations de tarification sur les transferts de données.