탐색 건너뛰기

Azure Data Factory: 공개 미리 보기로 사용 가능한 시각적 도구

1월 16, 2018에 게시됨

Senior Program Manager, Azure Data Factory

ADF(Azure Data Factory) v2 공개 미리 보기는 2017년 9월 25일에 Microsoft Ignite에서 발표되었습니다. ADF v2를 통해 ADF 앱 모델에 유연성이 추가되었고 이제 Python, .Net, Powershell, REST API, ARM 템플릿 같은 다양한 프로그래밍 인터페이스에서 루프, 분기, 조건부 구문, 주문형 실행 및 유연한 예약을 쉽게 수행할 수 있는 제어 흐름 구문이 구현되었습니다. Microsoft가 받은 일관된 고객 피드백 중 하나는 사용자가 충돌 없이 데이터 통합 파이프라인을 작성, 구성, 테스트, 배포, 모니터링할 수 있는 풍부한 대화형 시각적 작성 및 모니터링 환경을 구현하는 것입니다. Microsoft는 여러분의 피드백에 귀 기울였고 ADF v2용 시각적 도구를 발표하게 되어 기쁘게 생각합니다. ADF 시각적 도구의 기본 목표는 단일 코드 줄을 작성할 필요 없이 빠르게 파이프라인을 시작하고 실행하여 ADF를 통해 생산성을 높일 수 있도록 하는 것입니다. 코드 없는 간단하고 직관적인 인터페이스를 사용하여 파이프라인 캔버스에서 활동을 끌어서 놓고, 테스트 실행을 수행하고, 대화형으로 디버그하고, 파이프라인 실행을 배포 및 모니터링할 수 있습니다. 이 릴리스에서는 구현된 시각적 작성 및 모니터링 기능과 소중한 피드백을 제공하는 기능을 사용하는 방법에 대한 둘러보기도 제공하고 있습니다.

ADF v2용 시각적 도구의 목표는 직관적인 환경을 통해 신규 및 고급 사용자의 생산성과 효율성을 높이는 것입니다. 프로비전된 v2 데이터 팩터리 블레이드에서 작성 및 모니터링 타일을 클릭하여 시작할 수 있습니다.

이미지

 

ADF v2의 새로운 시각적 도구를 통해 구현되는 몇 가지 흥미로운 기능을 확인하세요. 아래 짧은 동영상을 시청할 수도 있습니다.

 

빨리 시작하기

  1. 첫 번째 ADF v2 파이프라인 만들기

  2. 복사 마법사를 사용하여 많은 데이터 원본의 데이터를 빠르게 복사

  3. SSIS 패키지를 Azure로 전환하도록 SSIS IR 구성

  4. 원본 제어, 공동 작업, 버전 관리 등에 대한 코드 리포지토리(VSTS GIT) 설정

clip_image001[3]

시각적 작성

제어 흐름 파이프라인 작성

파이프라인을 만들고, 활동을 끌어서 놓고, 성공 시, 실패 시, 완료 시 활동을 연결합니다.

이미지

Azure 및 자체 호스트 통합 런타임 만들기

하이브리드 데이터 이동을 위한 자체 호스트 통합 런타임 및 SSIS 패키지를 Azure로 전환하기 위한 Azure-SSIS IR을 만듭니다. 데이터 저장소 또는 계산에 대한 연결된 서비스 연결을 만듭니다.

clip_image001

Azure 계산에서 실행되는 모든 제어 흐름 활동에 대한 지원

제어 흐름 활동:

  • HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI 스트리밍, HDI Spark, U-SQL, 저장 프로시저, 웹, For Each, 메타데이터 가져오기, 찾기, 파이프라인 실행

Azure 계산 지원:

  • HDI(주문형, BYOC), ADLA, Azure Batch

반복 개발 및 디버깅

파이프라인에서 트리거를 연결하고 주문형 또는 일정에 따라 실행하기 전에 테스트 실행을 수행하세요.

이미지

파이프라인 및 데이터 집합 매개 변수화

식, 시스템 변수를 사용하여 매개 변수화합니다.

이미지

풍부한 유효성 검사 지원

이제 파이프라인의 유효성을 검사하여 누락된 속성 구성이나 잘못된 구성을 파악할 수 있습니다. 파이프라인 캔버스에서 유효성 검사 단추를 클릭하면 됩니다. 이렇게 하면 옆쪽 서랍에 유효성 검사 출력이 생성됩니다. 그런 다음 각 항목을 클릭하면 바로 누락된 유효성 검사 위치로 이동할 수 있습니다.

이미지

파이프라인 트리거

주문형으로 트리거하고 일정에 따라 파이프라인을 실행합니다.

이미지

VSTS GIT 사용

원본 제어, 공동 작업, 버전 관리 등에 대한 VSTS GIT

이미지

데이터 복사

데이터 저장소(65)

65개의 데이터 저장소를 지원합니다. 첫 번째 클래스 지원 중 18개의 저장소는 사용자가 구성 값을 제공해야 합니다. 나머지 47개의 저장소는 JSON을 통해 사용할 수 있습니다.

첫 번째 클래스 지원 중 18개 저장소:

  • Azure Blob, Azure CosmosDB, Azure Database for MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, Azure SQL, Azure Table, 파일 시스템, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

JSON이 지원되는 47개 저장소:

  • Search Index, Cassandra, HTTP 파일, Mongo DB, OData, 관계형 테이블, Dynamics 365, Dynamics CRM, 웹 테이블, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, 고객용 SAP 클라우드

이미지

복사 마법사를 사용하여 많은 데이터 원본의 데이터를 빠르게 복사

이제 ADF v2에서 친숙한 ADF v1 복사 마법사를 사용하여 일회성 빠른 가져오기를 수행할 수 있습니다. 복사 마법사는 캔버스 작성 시 복사 활동을 사용하여 파이프라인을 생성합니다. 이제 성공 시, 실패 시 등의 상태에서 Spark, USQL, 저장 프로시저 등의 다른 활동을 실행하고 전체 제어 흐름 파이프라인을 만들도록 복사 활동을 확장할 수 있습니다.

이미지

 

둘러보기

왼쪽 아래에서 정보 아이콘을 클릭합니다. 그런 다음 둘러보기를 클릭하여 파이프라인 및 활동 실행을 시각적으로 모니터링하는 방법에 대한 단계별 지침을 확인할 수 있습니다.

image_thumb55

피드백

피드백 아이콘을 클릭하여 경험할 수 있는 다양한 기능과 모든 문제에 대한 피드백을 보내 주세요.

image_thumb56

데이터 팩터리 선택

왼쪽 위의 Data Factory 아이콘을 마우스로 가리킵니다. 화살표 아이콘을 클릭하여 모니터링할 수 있는 Azure 구독 및 데이터 팩터리 목록을 표시합니다.

image_thumb57

시각적 모니터링

목록 뷰 모니터링

간단한 목록 뷰 인터페이스를 사용하여 파이프라인, 활동 및 트리거 실행을 모니터링합니다. 모든 실행은 로컬 브라우저 표준 시간대로 표시됩니다. 표준 시간대를 변경할 수 있고 모든 날짜/시간 필드는 선택된 표준 시간대에 맞춰집니다.

파이프라인 실행 모니터링:

Data Factory v2 파이프라인에 대한 각 파이프라인 실행을 보여 주는 목록 뷰입니다.

image_thumb51

활동 실행 모니터링:

각 파이프라인 실행에 해당하는 활동 실행을 보여 주는 목록 뷰입니다. 작업 열 아래에서 활동 실행 아이콘을 클릭하여 각 파이프라인 실행에 대한 활동 실행을 표시합니다.

image_thumb52

중요: 파이프라임 및 활동 실행 목록을 새로 고치려면 위쪽에서 새로 고침 아이콘을 클릭해야 합니다. 현재 자동 새로 고침은 지원되지 않습니다.

트리거 실행 모니터링:

이미지

풍부한 순서 지정 및 필터링

실행 시작을 통해 파이프라인 실행을 내림차순/오름차순으로 정렬하고 파이프라인 이름, 실행 시작 및 실행 상태별로 파이프라인 실행을 필터링합니다.

image_thumb53

목록 뷰에 열 추가/제거

목록 뷰 헤더를 마우스 오른쪽 단추로 클릭하고 목록 뷰에 표시할 열을 선택합니다.

image_thumb54

목록 뷰에서 열 너비 다시 정렬

열 머리글을 마우스로 가리키면 목록 뷰에서 열 너비를 늘리거나 줄일 수 있습니다.

통합 런타임 모니터링

자체 호스트, Azure, Azure-SSIS 통합 런타임의 상태를 모니터링합니다.

이미지

파이프라인 실행 취소/다시 실행

파이프라인 실행을 취소하거나 미리 정의된 매개 변수를 사용하여 파이프라인 실행을 다시 실행합니다.

clip_image001[1]

이것은 ADF v2 시각적 도구의 첫 번째 공개 릴리스입니다. Microsoft는 고객 피드백을 기반으로 새로운 기능으로 릴리스된 항목을 새롭게 하는 작업을 지속적으로 진행하고 있습니다. ADF v2 시각적 도구 사용에 대한 자세한 내용과 자세한 단계를 확인하세요.

Azure Data Factory를 사용하여 쉽고 빠르게 파이프라인 빌드를 시작하세요. 기능 요청이 있거나 피드백을 제공하려는 경우 Azure Data Factory 포럼을 방문하세요.