略過導覽

Azure Data Factory:視覺效果工具已在公開預覽中啟用

在 一月 16, 2018 上貼文

Senior Program Manager, Azure Data Factory

Azure Data Factory (ADF) v2 公開預覽已於 2017 年 9 月 25 日在 Microsoft Ignite 上宣告。在 ADF v2 中,我們新增了 ADF 應用程式模型的彈性並啟用了控制流程建構,該建構現在可於 Python、.Net、Powershell、REST API、ARM 範本等程式設計介面中協助進行迴圈、分支、條件式建構、隨選執行及彈性排程。在我們收到的客戶意見反應中,其中一項高一致性的意見反應是提供豐富的視覺效果撰寫及監視體驗,讓使用者能夠順利建立、設定、測試、部署及監視資料整合管線而不產生任何衝突。我們聽到了您的意見反應,而且也很高興宣告發行適用於 ADF v2 的視覺效果工具。ADF 視覺效果工具的主要目標是讓您不必撰寫程式碼就能快速運行管線,進而提高生產力。您可以使用簡單、無程式碼的直覺式介面,將活動拖放到管線畫布上、執行測試回合、反覆偵錯、部署及監視您的管線執行。在此版本中,我們也提供了導覽來介紹如何使用啟用的視覺效果撰寫與監視功能,以及收集您寶貴意見反應的功能。

我們對 ADF v2 視覺效果工具的目標是為新手與進階使用者提供直覺式體驗,藉此提高生產力與效率。您可以從佈建的 v2 資料處理站刀鋒視窗按一下 [Author & Monitor] (撰寫與監視) 開始著手。

image

 

檢視由 ADF v2 中新視覺效果工具帶來的部分驚人功能。您也可以觀賞下方的短片。

 

即刻開始使用

  1. 建立您的第一個 ADF v2 管線

  2. 使用複製精靈,快速地從大量資料來源複製資料

  3. 設定 SSIS IR 以將 SSIS 套件隨即轉移到 Azure

  4. 為原始檔控制、共同作業、版本設定等項目設定程式碼存放庫 (VSTS GIT)。

clip_image001[3]

視覺效果撰寫

撰寫控制流程管線

建立管線、拖放活動,在成功、失敗及完成時建立其之間的連線。

image

建立 Azure 與自我裝載整合執行階段

建立自我裝載整合執行階段以進行混合式資料移動,或讓 Azure-SSIS IR 將 SSIS 套件隨即轉移到 Azure。建立連結的服務連線到您的資料存放區或計算。

clip_image001

支援在 Azure 計算上執行所有控制流程活動

控制流程活動:

  • HDInsight Hive、HDInsight Pig、HDInsight Map Reduce、HDI 串流、HDI Spark、U-SQL、預存程序、Web、For Each、取得中繼資料、查詢、執行管線

支援 Azure 計算:

  • HDI (隨選、BYOC)、ADLA、Azure Batch

反覆式開發與偵錯

將觸發程序附加到管線上並依需求或排程加以執行前,請先進行測試回合

image

將管線與資料集參數化

使用運算式、系統變數進行參數化。

image

豐富的驗證支援

您現在可以驗證管線,以了解缺少的屬性設定或錯誤的設定。只要按一下管線畫布中的 [驗證] 按鈕即可。這會在側選單中產生驗證輸出。您隨後可於每個項目上按一下,直接前往缺少驗證的位置。

image

觸發管線

按排程觸發隨選、執行管線。

image

使用 VSTS GIT

適用於原始檔控制、共同作業及版本設定等項目的 VSTS GIT。

image

複製資料

資料存放區 (65)

支援 65 個資料存放區。其中有 18 個存放區具有頂級支援,使用者只要提供設定值即可。其他 47 個存放區則可配合 JSON 使用。

具備頂級支援的 18 個存放區:

  • Azure Blob、Azure CosmosDB、適用於 MySQL 的 Azure 資料庫、Azure Data Lake Store、Amazon Redshift、Amazon S3、Azure SQL DW、Azure SQL、Azure 資料表、檔案系統、HDFS、MySQL、ODBC、Oracle、Salesforce、SAP HANA、SAP BW、SQL Server

具備 JSON 支援的 47 個存放區:

  • 搜尋索引、Cassandra、HTTP 檔案、Mongo DB、OData、關聯式資料表、Dynamics 365、Dynamics CRM、Web 資料表、AWS Marketplace、PostgreSQL、Concur、Couchbase、Drill、Oracle Eloqua、Google Big Query、Greenplum、HBase、Hive、HubSpot、Apache Impala、Jira、Magento、MariaDB、Marketo、PayPal、Phoenix、Presto、QuickBooks、ServiceNow、Shopify、Spark、Square、Xero、Zoho、DB2、FTP、GE Historian、Informix、Microsoft Access、MongoDB、SAP Cloud for customer

image

使用複製精靈,快速地從大量資料來源複製資料

熟悉的 ADF v1 複製精靈現已於 ADF v2 提供,可進行單次快速匯入。複製精靈會在撰寫畫布上產生具有複製活動的管線。複製活動現可延伸以執行其他活動,例如在成功及失敗等狀況下執行 Spark、USQL、預存程序等項目,以及建立整個控制流程管線。

image

 

導覽

按一下左下方的資訊圖示。您隨後可按一下 [導覽] 取得逐步指示,了解如何以視覺化的方式監視管線與活動執行。

image_thumb55

意見反應

若您對各種功能有疑問或是遇到問題,請按一下意見反應圖示提供意見給我們。

image_thumb56

選取資料處理站

將滑鼠暫留在左上方的資料處理站圖示上。按一下箭號圖示即可查看您所能監視的 Azure 訂用帳戶與資料處理站清單。

image_thumb57

視覺效果監視

清單檢視監視

透過簡單的清單檢視介面監視管線、活動及觸發程序執行。所有執行都會以本機瀏覽器時區顯示。您可以變更時區,如此一來所有日期時間欄位皆會向選取的時區校時。

監視管線執行:

清單檢視呈現出您資料處理站 v2 管線的每個管線執行。

image_thumb51

監視活動執行:

清單檢視呈現出對應至每個管線執行的活動執行。按一下 [動作] 欄下方的活動執行圖示即可檢視每個管線執行的活動執行。

image_thumb52

重要注意事項:您必須按一下頂端的重新整理圖示才能重新整理管線及活動執行的清單。目前不支援自動重新整理。

監視觸發程序執行

image

豐富的排序與篩選

按 [執行開始時間] 排序管線執行,並篩選管線執行管線名稱、執行開始時間及執行狀態。

image_thumb53

將欄位新增到清單檢視或從中將其移除

以滑鼠右鍵按一下清單檢視標題,並選擇想要在清單檢視中顯示的欄位。

image_thumb54

重新排序清單檢視中的欄寬

只要將滑鼠移至欄位標題上即可輕鬆增減欄寬。

監視整合執行階段

監視自我裝載、Azure、Azure-SSIS 的整合執行階段。

image

取消/重新執行管線執行

使用已經定義的參數來取消或重新執行管線執行。

clip_image001[1]

這是 ADF v2 視覺效果工具的第一個公開版本。我們會根據客戶提供的意見持續為已釋出部分更新功能。取得有關使用 ADF v2 視覺效果工具的詳細資訊與步驟。

使用 Azure Data Factory 輕鬆且快速地開始建置管線。若您有任何功能要求或想要提供意見反應,請前往 Azure Data Factory 論壇