Two-Activity chained Data Factory Pipeline

von kskvarci
Zuletzt aktualisiert: 21.10.2017

This template deploys a new Data Factory and requisite objects (linked services, datasets, pipelines, gateways, etc.) to fascilitate a two-activity chained Data Factory pipeline. The first leg of the pipeline leverages data management gateway to pull data from an on-premises SQL server source into Azure Data Lake Store in Apache orc columnar storage format. The second leg of the pipeline pulls data from orc files in Azure Data Lake Store and inserts into Azure SQL as a final destination. This pipeline can be easily customized to accomodated a wide variety of additional sources and targets.

Diese ARM-Vorlage (Azure-Ressourcen-Manager) wurde von einem Mitglied der Community und nicht von Microsoft erstellt. Jede ARM-Vorlage wird für Sie von dessen Besitzer, nicht von Microsoft, unter einem Lizenzvertrag lizenziert. Microsoft übernimmt keine Zuständigkeiten für ARM-Vorlagen, die von Mitgliedern der Community bereitgestellt und lizenziert werden, und auch nicht für deren Sicherheit, Kompatibilität oder Leistung. ARM-Vorlagen aus der Community werden von keinem Microsoft-Supportprogramm oder -Dienst unterstützt und wie vorhanden ohne jegliche Gewährleistung zur Verfügung gestellt.

Parameter

Parametername Beschreibung
dataLakeStoreUri URI of Azure Data Lake store
dataLakeStoreServicePrincipalID ID of Azure Service Principal used for accessing Data Lake
dataLakeStoreServicePrincipalKey Key for Azure Service Principal used for accessing Data Lake
azureSQLConnectionString Connection string for Azure SQL Database

Verwenden der Vorlage

PowerShell

New-AzureRmResourceGroupDeployment -Name <deployment-name> -ResourceGroupName <resource-group-name> -TemplateUri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Azure PowerShell installieren und konfigurieren

Befehlszeile

azure config mode arm
azure group deployment create <my-resource-group> <my-deployment-name> --template-uri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Installieren und Konfigurieren der plattformübergreifenden Azure-Befehlszeilenschnittstelle