Two-Activity chained Data Factory Pipeline

par kskvarci
Dernière mise à jour : 21/10/2017

This template deploys a new Data Factory and requisite objects (linked services, datasets, pipelines, gateways, etc.) to fascilitate a two-activity chained Data Factory pipeline. The first leg of the pipeline leverages data management gateway to pull data from an on-premises SQL server source into Azure Data Lake Store in Apache orc columnar storage format. The second leg of the pipeline pulls data from orc files in Azure Data Lake Store and inserts into Azure SQL as a final destination. This pipeline can be easily customized to accomodated a wide variety of additional sources and targets.

Ce modèle ARM (Azure Resource Manager) a été créé par un membre de la communauté et non par Microsoft. Chaque modèle ARM vous est concédé sous licence sous un contrat de licence par son propriétaire, et non par Microsoft. Microsoft ne peut pas être tenu responsable des modèles ARM fournis et concédés sous licence par les membres de la communauté, ni ne vérifie leur sécurité, leur compatibilité ou leurs performances. Les modèles ARM de la communauté ne sont pris en charge par aucun programme ou service de support Microsoft. Ils sont rendus disponibles EN L'ÉTAT sans garantie d'aucune sorte.

Paramètres

Nom du paramètre Description
dataLakeStoreUri URI of Azure Data Lake store
dataLakeStoreServicePrincipalID ID of Azure Service Principal used for accessing Data Lake
dataLakeStoreServicePrincipalKey Key for Azure Service Principal used for accessing Data Lake
azureSQLConnectionString Connection string for Azure SQL Database
location Location for all resources.

Utiliser le modèle

PowerShell

New-AzResourceGroup -Name <resource-group-name> -Location <resource-group-location> #use this command when you need to create a new resource group for your deployment
New-AzResourceGroupDeployment -ResourceGroupName <resource-group-name> -TemplateUri https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Installer et configurer Azure PowerShell

Ligne de commande

az group create --name <resource-group-name> --location <resource-group-location> #use this command when you need to create a new resource group for your deployment
az group deployment create --resource-group <my-resource-group> --template-uri https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Installer et configurer l'interface de ligne de commande multiplateforme Azure