Two-Activity chained Data Factory Pipeline

por kskvarci
Última actualización: 21/10/2017

This template deploys a new Data Factory and requisite objects (linked services, datasets, pipelines, gateways, etc.) to fascilitate a two-activity chained Data Factory pipeline. The first leg of the pipeline leverages data management gateway to pull data from an on-premises SQL server source into Azure Data Lake Store in Apache orc columnar storage format. The second leg of the pipeline pulls data from orc files in Azure Data Lake Store and inserts into Azure SQL as a final destination. This pipeline can be easily customized to accomodated a wide variety of additional sources and targets.

Esta plantilla de Azure Resource Manager (ARM) la creó un miembro de la comunidad, no Microsoft. Su propietario (no Microsoft) le permite usar las plantillas de ARM con arreglo a un contrato de licencia. Microsoft no se responsabiliza de ninguna plantilla de ARM que le proporcionen los miembros de la comunidad (o cuya licencia le otorguen) en cuanto a su seguridad, compatibilidad ni rendimiento. Las plantillas de ARM de la comunidad no reciben ningún tipo de soporte en ningún servicio ni programa de soporte de Microsoft. Dichas plantillas se proporcionan TAL CUAL, sin garantía de ningún tipo.

Parámetros

Nombre del parámetro Descripción
dataLakeStoreUri URI of Azure Data Lake store
dataLakeStoreServicePrincipalID ID of Azure Service Principal used for accessing Data Lake
dataLakeStoreServicePrincipalKey Key for Azure Service Principal used for accessing Data Lake
azureSQLConnectionString Connection string for Azure SQL Database

Uso de la plantilla

PowerShell

New-AzureRmResourceGroupDeployment -Name <deployment-name> -ResourceGroupName <resource-group-name> -TemplateUri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Instalar y configurar PowerShell de Azure

Línea de comandos

azure config mode arm
azure group deployment create <my-resource-group> <my-deployment-name> --template-uri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Instalación y configuración de la interfaz de línea de comandos multiplataforma de Azure