Two-Activity chained Data Factory Pipeline

por kskvarci
Última atualização: 21/10/2017

This template deploys a new Data Factory and requisite objects (linked services, datasets, pipelines, gateways, etc.) to fascilitate a two-activity chained Data Factory pipeline. The first leg of the pipeline leverages data management gateway to pull data from an on-premises SQL server source into Azure Data Lake Store in Apache orc columnar storage format. The second leg of the pipeline pulls data from orc files in Azure Data Lake Store and inserts into Azure SQL as a final destination. This pipeline can be easily customized to accomodated a wide variety of additional sources and targets.

Este modelo de Gestor de Recursos do Azure (Azure Resource Manager, ARM) foi criado por um membro da comunidade e não pela Microsoft. Cada modelo de ARM está licenciado para si ao abrigo de um contrato de licença pelo respetivo proprietário e não pela Microsoft. A Microsoft não é responsável por modelos de ARM fornecidos e licenciados por membros da comunidade e não os analisa quanto a a segurança, compatibilidade ou desempenho. Os modelos de ARM da comunidade não são suportados ao abrigo de nenhum programa de suporte ou serviço da Microsoft e são disponibilizados TAL COMO ESTÃO sem qualquer tipo de garantia.

Parâmetros

Nome do Parâmetro Descrição
dataLakeStoreUri URI of Azure Data Lake store
dataLakeStoreServicePrincipalID ID of Azure Service Principal used for accessing Data Lake
dataLakeStoreServicePrincipalKey Key for Azure Service Principal used for accessing Data Lake
azureSQLConnectionString Connection string for Azure SQL Database

Utilizar o modelo

PowerShell

New-AzureRmResourceGroupDeployment -Name <deployment-name> -ResourceGroupName <resource-group-name> -TemplateUri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Instalar e configurar o PowerShell para Azure

Linha de comandos

azure config mode arm
azure group deployment create <my-resource-group> <my-deployment-name> --template-uri https://raw.githubusercontent.com/azure/azure-quickstart-templates/master/101-data-factory-chained-copy-activities/azuredeploy.json
Instalar e Configurar a Interface de Linha de Comandos para Várias Plataformas do Azure