Two-Activity chained Data Factory Pipeline

Автор: kskvarci
Последнее обновление: 21.10.2017

This template deploys a new Data Factory and requisite objects (linked services, datasets, pipelines, gateways, etc.) to fascilitate a two-activity chained Data Factory pipeline. The first leg of the pipeline leverages data management gateway to pull data from an on-premises SQL server source into Azure Data Lake Store in Apache orc columnar storage format. The second leg of the pipeline pulls data from orc files in Azure Data Lake Store and inserts into Azure SQL as a final destination. This pipeline can be easily customized to accomodated a wide variety of additional sources and targets.

Этот шаблон Azure Resource Manager (ARM) был создан участником сообщества, а не Майкрософт. Каждый шаблон ARM лицензирован для вас в соответствии с условиями лицензионного соглашения с владельцем, а не с Майкрософт. Майкрософт не несет ответственности за шаблоны ARM, предоставленные и лицензированные членами сообщества, и не отслеживает их безопасности, совместимости или производительности. Шаблоны ARM, созданные сообществом, не поддерживаются ни в соответствии с какой-либо программой поддержки Майкрософт, ни какими-либо службами поддержки Майкрософт и предоставляются КАК ЕСТЬ без каких-либо гарантий.

Параметры

Имя параметра Описание
dataLakeStoreUri URI of Azure Data Lake store
dataLakeStoreServicePrincipalID ID of Azure Service Principal used for accessing Data Lake
dataLakeStoreServicePrincipalKey Key for Azure Service Principal used for accessing Data Lake
azureSQLConnectionString Connection string for Azure SQL Database

Использование шаблона

PowerShell

New-AzureRmResourceGroupDeployment -Name <deployment-name> -ResourceGroupName <resource-group-name> -TemplateUri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Установка и настройка служб Azure PowerShell

Командная строка

azure config mode arm
azure group deployment create <my-resource-group> <my-deployment-name> --template-uri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Установка и настройка кросс-платформенного интерфейса командной стройки Azure