Azure Data Factory: パブリック プレビューでビジュアル ツールをリリース

2017 年 9 月 25 日の Microsoft Ignite で、Azure Data Factory (ADF) v2 のパブリック プレビューが発表されました。ADF v2 では、ADF アプリ モデルに柔軟性を追加し、制御フローの作成が可能になりました。これにより、Python、.Net、Powershell、REST API、ARM テンプレートなどのさまざまなプログラマティック インターフェイスで、ループ、分岐、条件構造、オンデマンド実行、柔軟なスケジューリングが簡単に行えるようになりました。お客様からいただいたフィードバックで共通していた内容の 1 つに、ビジュアルの作成と監視ができる対話形式の優れたエクスペリエンスを追加して、データ統合パイプラインの作成、構成、テスト、デプロイ、監視がスムーズにできるようにしてほしい、というご要望がありました。お客様からのフィードバックにお応えして、ADF v2 のビジュアル ツールのリリースを発表いたします。ADF のビジュアル ツールの主な目的は、コードを一行も記述せずにパイプラインをすばやく稼働させることにより、ADF で高い生産性を実現することです。シンプルでコードの記述が不要な直感的なインターフェイスを使用して、パイプライン キャンバスにアクティビティをドラッグ アンド ドロップし、テストの実行や反復的デバッグを行い、パイプラインの実行をデプロイし、監視できます。このリリースでは、新たに実装されたビジュアルの作成機能と監視機能の使用方法についてのガイド ツアーと、皆様からの貴重なフィードバックを提供していただく機能も追加されました。

ADF v2 のビジュアル ツールの目標は、直感的なエクスペリエンスで、新規ユーザーと上級ユーザー両方の生産性と効率を高めることです。v2 Data Factory ブレードで、[作成と監視] タイルをクリックすると開始できます。

 

ADF v2 の新しいビジュアル ツールで使用できるすばらしい機能をいくつか見ていきましょう。以下のショート ビデオもご覧いただけます。

 

すぐに使い始められる

1. 最初の ADF v2 パイプラインを作成します

2. コピー ウィザードを使用して、多数のデータソースからデータをすばやくコピーします

3. SSIS パッケージを Azure にリフトアンドシフトするように SSIS IR を構成します

4. ソース管理、コラボレーション、バージョン管理などのコード リポジトリ (VSTS GIT) を設定します

ビジュアルの作成

制御フロー パイプラインの作成

パイプラインを作成して、アクティビティをドラッグ アンド ドロップし、成功時、失敗時、完了時でそれぞれをつなげます。

Azure 統合ランタイムとセルフホステッド統合ランタイムの作成

ハイブリッド データ移動用のセルフホステッド統合ランタイムを作成するか、SSIS パッケージを Azure にリフトアンドシフトする Azure-SSIS IR を作成します。データ ストアやコンピューティングにリンクされたサービス接続を作成します。

Azure コンピューティングで稼働するすべての制御フロー アクティビティをサポート

制御フロー アクティビティ:

• HDInsight Hive、HDInsight Pig、HDInsight Map Reduce、HDI ストリーミング、HDI Spark、U-SQL、ストアド プロシージャ、Web、For Each、Get Metadata、Look up、パイプラインの実行

Azure コンピューティングのサポート:

• HDI (オンデマンド、BYOC)、ADLA、Azure Batch

反復開発とデバッグ

テストの実行を行ってから、パイプラインにトリガーを追加し、オンデマンドでまたはスケジュールに従って実行します。

パイプラインとデータセットのパラメーター化

式 (システム変数) を使用してパラメーター化します。

豊富な検証サポート

これで、パイプラインを検証して、欠落したプロパティ構成や不適切な構成の有無を確認できるようになりました。パイプライン キャンバスの [検証] ボタンをクリックします。サイド ドロアーに検証の出力が作成されます。その後、各エントリをクリックすれば、検証エラーの箇所に直接移動できます。

パイプラインのトリガー

オンデマンドでトリガーするか、スケジュールに従ってパイプラインを実行します。

VSTS GIT の使用

ソース管理、コラボレーション、バージョン管理などの VSTS GIT

データのコピー

データ ストア (65)

65 のデータ ストアをサポートしています。18 のストアではファースト クラスのサポートを提供しており、ユーザーは、構成値を指定するだけで構いません。残りの 47 ストアは JSON で使用できます。

ファースト クラス サポートの 18 のストア:

• Azure Blob、Azure CosmosDB、Azure Database for MySQL、Azure Data Lake Store、Amazon Redshift、Amazon S3、Azure SQL DW、Azure SQL、Azure Table、File System、HDFS、MySQL、ODBC、Oracle、Salesforce、SAP HANA、SAP BW、SQL Server

JSON サポートの 47 のストア:

• Search インデックス、Cassandra、HTTP ファイル、Mongo DB、OData、リレーショナル テーブル、Dynamics 365、Dynamics CRM、Web テーブル、AWS Marketplace、PostgreSQL、Concur、Couchbase、Drill、Oracle Eloqua、Google Big Query、Greenplum、HBase、Hive、HubSpot、Apache Impala、Jira、Magento、MariaDB、Marketo、PayPal、Phoenix、Presto、QuickBooks、ServiceNow、Shopify、Spark、Square、Xero、Zoho、DB2、FTP、GE Historian、Informix、Microsoft Access、MongoDB、SAP Cloud for Customer

コピー ウィザードを使用して多数のデータ ソースからデータをすばやくコピー

お馴染みの ADF v1 コピー ウィザードが ADF v2 でも利用できるようになり、ワンタイム クイック インポートが可能になりました。コピー ウィザードでは、コピー アクティビティが含まれるパイプラインが、作成キャンバスに生成されます。このコピー アクティビティでは、他のアクティビティ (Spark、USQL、ストアド プロシージャ、成功時、失敗時など) の実行や、制御フロー パイプライン全体の作成もできるようになりました。

ガイド ツアー

左下の情報アイコンをクリックします。その後、ガイド ツアーをクリックすると、パイプラインの実行やアクティビティの実行を視覚的に監視するための詳細な手順を確認できます。

フィードバック

さまざまな機能や直面している問題についてフィードバックを送信するには、フィードバック アイコンをクリックします。

データ ファクトリの選択

左上のデータ ファクトリ アイコンにマウス ポインターを合わせます。矢印アイコンをクリックすると、監視できる Azure サブスクリプションとデータ ファクトリが表示されます。

ビジュアル監視

リスト ビューによる監視

シンプルなリスト ビュー インターフェイスで、パイプライン実行、アクティビティ実行、トリガー実行を監視します。すべての実行がローカルのブラウザー タイム ゾーンで表示されます。タイム ゾーンは変更可能で、日付と時刻のフィールドはすべて、指定したタイム ゾーンに合わせて設定されます。

パイプラインの実行の監視:

リスト ビューに、Data Factory v2 パイプラインの各パイプラインの実行が表示されます。

アクティビティの実行の監視:

リスト ビューに、各パイプラインの実行に対応するアクティビティの実行が表示されます。アクション列のアクティビティの実行アイコンをクリックすると、各パイプライン実行に対応するアクティビティ実行が表示されます。

重要: パイプラインの実行とアクティビティの実行の一覧を最新の情報に更新するには、トップにある最新の情報に更新アイコンをクリックする必要があります。自動更新は現在サポートされていません。

トリガーの実行の監視:

優れた順序付けとフィルタリング

パイプラインの実行を実行開始で降順/昇順で順序付けし、パイプライン名、実行開始、実行状態でフィルタリングできます。

リスト ビューへの列の追加/削除

リスト ビュー ヘッダーを右クリックして、リスト ビューに表示する列を選択できます。

リスト ビューの列幅の再配列

リスト ビューの列幅を増減するには、列ヘッダーにマウス ポインターを合わせます。

統合ランタイムの監視

セルフホステッド、Azure、Azure-SSIS の統合ランタイムの正常性を監視します。

パイプラインの実行のキャンセル/再実行

パラメーターが既に定義されたパイプラインの実行をキャンセルまたは再実行できます。

今回のリリースは、ADF v2 ビジュアル ツールの最初のパブリック リリースです。お客様からいただいたフィードバックを基に、リリース済みのバージョンに新しい機能を追加できるよう、継続的に取り組んでいます。ADF v2 ビジュアル ツールの使用に関する詳細な情報と手順をご覧ください。

Azure Data Factory を使用して、簡単にすばやくパイプラインの作成を始めましょう。機能のご要望やフィードバックは、Azure Data Factory フォーラムにお寄せください。