Two-Activity chained Data Factory Pipeline

autor: kskvarci
Ostatnia aktualizacja: 2017-10-21

This template deploys a new Data Factory and requisite objects (linked services, datasets, pipelines, gateways, etc.) to fascilitate a two-activity chained Data Factory pipeline. The first leg of the pipeline leverages data management gateway to pull data from an on-premises SQL server source into Azure Data Lake Store in Apache orc columnar storage format. The second leg of the pipeline pulls data from orc files in Azure Data Lake Store and inserts into Azure SQL as a final destination. This pipeline can be easily customized to accomodated a wide variety of additional sources and targets.

Ten szablon usługi Azure Resource Manager (ARM) został utworzony przez członka społeczności, a nie przez firmę Microsoft. Każdy szablon ARM jest licencjonowany przez swojego właściciela, a nie firmę Microsoft. Firma Microsoft nie odpowiada za szablony ARM dostarczane i licencjonowane przez członków społeczności i nie sprawdza ich pod kątem bezpieczeństwa, zgodności ani wydajności. Szablony ARM społeczności nie są wspierane w ramach żadnego programu lub usługi pomocy technicznej firmy Microsoft i są udostępniane W STANIE, W JAKIM SIĘ ZNAJDUJĄ bez żadnego rodzaju gwarancji.

Parametry

Nazwa parametru Opis
dataLakeStoreUri URI of Azure Data Lake store
dataLakeStoreServicePrincipalID ID of Azure Service Principal used for accessing Data Lake
dataLakeStoreServicePrincipalKey Key for Azure Service Principal used for accessing Data Lake
azureSQLConnectionString Connection string for Azure SQL Database

Korzystanie z szablonu

PowerShell

New-AzureRmResourceGroupDeployment -Name <deployment-name> -ResourceGroupName <resource-group-name> -TemplateUri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Instalowanie i konfigurowanie programu PowerShell systemu Azure

Wiersz polecenia

azure config mode arm
azure group deployment create <my-resource-group> <my-deployment-name> --template-uri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Instalowanie i konfigurowanie międzyplatformowego interfejsu wiersza polecenia platformy Azure