Two-Activity chained Data Factory Pipeline

게시자: kskvarci
마지막 업데이트: 2017-10-21

This template deploys a new Data Factory and requisite objects (linked services, datasets, pipelines, gateways, etc.) to fascilitate a two-activity chained Data Factory pipeline. The first leg of the pipeline leverages data management gateway to pull data from an on-premises SQL server source into Azure Data Lake Store in Apache orc columnar storage format. The second leg of the pipeline pulls data from orc files in Azure Data Lake Store and inserts into Azure SQL as a final destination. This pipeline can be easily customized to accomodated a wide variety of additional sources and targets.

이 ARM(Azure Resource Manager) 템플릿은 Microsoft가 아니라 커뮤니티 구성원에 의해 만들어졌습니다. 각 ARM 템플릿은 Microsoft가 아닌 해당 소유자에 의해 사용이 허가됩니다. Microsoft는 커뮤니티 구성원에 의해 제공 및 라이선스가 부여된 ARM에 대해 책임이 없으며, 보안, 호환성 또는 성능을 검사하지 않습니다. 커뮤니티 ARM 템플릿은 Microsoft 지원 프로그램 또는 서비스에서 지원되지 않고, 어떠한 보증도 없이 있는 그래도 제공됩니다.

매개 변수

매개 변수 이름 설명
dataLakeStoreUri URI of Azure Data Lake store
dataLakeStoreServicePrincipalID ID of Azure Service Principal used for accessing Data Lake
dataLakeStoreServicePrincipalKey Key for Azure Service Principal used for accessing Data Lake
azureSQLConnectionString Connection string for Azure SQL Database

템플릿 사용


New-AzureRmResourceGroupDeployment -Name <deployment-name> -ResourceGroupName <resource-group-name> -TemplateUri
Azure PowerShell 설치 및 구성


azure config mode arm
azure group deployment create <my-resource-group> <my-deployment-name> --template-uri
Azure 크로스 플랫폼 명령줄 인터페이스 설치 및 구성