Azure 数据工厂：公共预览版中启用的可视化工具

Azure 数据工厂 (ADF) v2 公共预览版于 2017 年 9 月 25 日在 Microsoft Ignite 上公布。借助 ADF v2，我们提高了 ADF 应用模型的灵活性并启用了控制流构造，有助于在 Python、.Net、Powershell、REST API 和 ARM 模板等各种程序设计界面中实现循环、分支、条件构造、按需执行和弹性计划。我们收到了客户的反馈意见，客户一致要求实现丰富的交互式可视化创作和监控体验，使用户能够顺畅地创建、配置、测试、部署和监控数据集成管道。我们听取了反馈意见，现在很高兴地宣布适用于 ADF v2 的可视化工具发布了。ADF 可视化工具的主要目的是让你无需编写代码行即可快速启动管道并运行，从而更高效地使用 ADF。你可以使用简单直观的无代码界面在管道画布上拖放活动、执行测试运行、迭代调试、部署和监视管道运行。在此发布中，我们还提供了指导教程来介绍如何使用已启用的可视化创作和监视功能，以及如何向我们提供有价值的反馈。

适用于 ADF v2 的可视化工具旨在通过直观的体验提高新用户和高级用户的工作效率。通过在预配的 v2 数据工厂边栏选项卡中单击“创作和监视”磁贴可帮助你入门。

 

查看 ADF v2 中新增可视化工具中启用的一些令人兴奋的功能。还可以观看下面的短片。

 

快速入门

1. 创建第一个 ADF v2 管道

2. 使用复制向导快速复制多个数据源中的数据

3. 配置 SSIS IR，将 SSIS 包提升并移动到 Azure

4. 设置代码存储库 (VSTS GIT) 用于源代码管理、协作、版本控制等操作。

可视化创作

创建者控制流管道

创建管道，拖放活动，按成功、按失败、按完成连接它们。

创建 Azure 和自承载集成运行时

创建自承载集成运行时用于混合数据移动，或创建 Azure-SSIS IR 用于将 SSIS 包提升并转移到 Azure。创建数据存储或计算的链接服务连接。

支持在 Azure 计算上运行的所有控制流活动

控制流活动：

• HDInsight Hive、HDInsight Pig、HDInsight Map Reduce、HDI Streaming、HDI Spark、U-SQL、Stored Procedure、Web、For Each、Get Metadata、Look up、Execute Pipeline

支持 Azure 计算：

• HDI（按需，自带电脑）、ADLA、Azure Batch

迭代开发和调试

执行测试运行，然后在管道上附加触发器并按需或按计划运行。

参数化管道和数据集

使用表达式、系统变量进行参数化。

丰富的验证支持

现在可验证管道，了解缺少的属性配置或不正确的配置。仅单击管道画布中的“验证”按钮即可。这会在侧面抽屉中生成验证输出。然后可单击每个条目直接转到缺失验证的位置。

触发管道

按需触发，按计划运行管道。

使用 VSTS GIT

代码存储库 (VSTS GIT) 用于源代码管理、协作、版本控制等操作。

复制数据

数据存储 (65)

支持 65 个数据存储。18 个存储具有一级支持，仅需用户提供配置值。其余 47 个存储可与 JSON 配合使用。

18 个具有一级支持的存储：

• Azure Blob、Azure CosmosDB、Azure Database for MySQL、Azure Data Lake Store、Amazon Redshift、Amazon S3、Azure SQL DW、Azure SQL、Azure Table、File System,、HDFS、MySQL、ODBC、Oracle、Salesforce、SAP HANA、SAP BW、SQL Server

47 个具有 JSON 的存储：

• Search Index、Cassandra、HTTP 文件、Mongo DB、OData、Relational 表、Dynamics 365、Dynamics CRM、Web 表、AWS Marketplace、PostgreSQL、Concur、Couchbase、Drill、Oracle Eloqua、Google Big Query、Greenplum、HBase、Hive、HubSpot、Apache Impala、Jira、Magento、MariaDB、Marketo、PayPal、Phoenix、Presto、QuickBooks、ServiceNow、Shopify、Spark、Square、Xero、Zoho、DB2、FTP、GE Historian、Informix、Microsoft Access、MongoDB、SAP Cloud for customer

使用复制向导快速复制多个数据源中的数据

ADF v2 中现提供了熟悉的 ADF v1 复制向导，可执行一次性快速导入。复制向导通过复制活动在创作画布上生成管道。复制活动现在可以扩展为按成功、按失败等运行 Spark、USQL、Stored Proc 等其他活动，并创建整个控制流程管道。

指导教程

单击左下方的“信息”图标。然后可点击“指导教程”，获取有关如何直观地监视管道和活动的运行的分步说明。

反馈

单击“反馈”图标，向我们提供有关各种功能或所遇到任何问题的反馈。

选择数据工厂

将鼠标悬停在左上角的“数据工厂”图标上。单击“箭头”图标查看可监视的 Azure 订阅和数据工厂列表。

可视化监视

列表视图监视

使用简单的列表视图界面监视管道、活动和触发器的运行。所有运行都显示在本地浏览器时区中。可以更改时区，所有日期时间字段都将与所选时区对齐。

监视管道运行：

展示数据工厂 v2 管道的每个管道运行的列表视图。

监视活动运行：

展示与每个管道运行相对应的活动运行的列表视图。单击“操作”列下的“活动运行”图标，查看每个管道运行的活动运行。

重要说明：需单击顶部的“刷新”图标来刷新管道和活动运行的列表。目前不支持自动刷新。

监视触发器运行：

丰富的排序和筛选功能

按“运行启动”的降序/升序顺序排列管道运行，并按管道名称、运行启动和运行状态筛选管道。

添加/删除列表视图的列

右键单击列表视图标头，然后选择希望在列表视图中显示的列。

重新设置列表视图中列宽

只需将鼠标悬停在列标头上，即可增加和减少列表视图中的列宽。

监视集成运行时

监视自承载、Azure、Azure-SSIS 集成运行时的运行状况。

取消/重新运行管道运行

使用已定义的参数取消管道运行或重新运行管道运行。

这是 ADF v2 可视化工具的首次公开发布。我们正在根据客户的反馈意见不断努力，用新功能刷新发布的部分。获取有关使用 ADF v2 可视化工具的更多信息和详细步骤。

使用 Azure 数据工厂轻松快速入门构建管道。如果想请求任何功能或要提供反馈，请访问 Azure 数据工厂论坛。