Azure Data Factory または Synapse パイプラインを使用して Azure Synapse Analytics にデータを読み込む

適用対象: Azure Data Factory Azure Synapse Analytics

Azure Synapse Analytics は、クラウドベースのスケールアウト データベースであり、リレーショナルか非リレーショナルかを問わず、大量のデータを処理できます。 Azure Synapse Analytics は、企業のデータ ウェアハウスのワークロード向けに最適化された超並列処理 (MPP) アーキテクチャを基盤としています。 ストレージとコンピューティングを別々にスケールできる柔軟性によって、クラウドの弾力性を提供します。

Azure Synapse Analytics の使用開始は、これまでになく簡単になっています。 Azure Data Factory と、Azure Synapse 自体の同等のパイプライン機能によって、フル マネージド クラウドベースのデータ統合サービスが提供されます。 このサービスを使用して、既存のシステムのデータで Azure Synapse Analytics を設定し、分析ソリューションを構築する際の時間を節約できます。

Azure Data Factory と Synapse パイプラインには、Azure Synapse Analytics へのデータの読み込みにとって次の利点があります。

• 簡単なセットアップ: 直感的なウィザードが示す 5 つの手順に従うだけです。スクリプトは必要ありません。
• 豊富なデータ ストアのサポート:オンプレミスとクラウドベースのデータ ストアの豊富なセットに対するサポートが組み込まれています。 詳しい一覧については、サポートされるデータ ストアの表をご覧ください。
• セキュリティとコンプライアンスへの準拠:データは HTTPS または ExpressRoute 経由で転送されます。 グローバル サービスの存在により、データが地理的な境界を越えることはありません。
• PolyBase の使用による比類のないパフォーマンス:PolyBase は、Azure Synapse Analytics にデータを移動するための最も効率的な方法です。 ステージング BLOB の機能を使用して、Azure Blob Storage と Data Lake Store を含むすべての種類のデータ ストアからデータを高速で読み込むことができます。 (PolyBase では Azure Blob Storage と Azure Data Lake Store が既定でサポートされます。)詳しくは、コピー アクティビティのパフォーマンスに関する記事をご覧ください。

この記事では、データのコピー ツールを使用して "Azure SQL Database から Azure Synapse Analytics にデータを読み込む" 方法を示します。 その他の種類のデータ ストアからデータをコピーする場合も、同様の手順で実行できます。

前提条件

• Azure サブスクリプション:Azure サブスクリプションをお持ちでない場合は、開始する前に 無料アカウント を作成してください。
• Azure Synapse Analytics:SQL データベースからコピーされたデータは、データ ウェアハウスに格納されます。 Azure Synapse Analytics がない場合は、Azure Synapse Analytics インスタンスの作成の手順を参照してください。
• Azure SQL Database:このチュートリアルでは、Azure SQL Database 内に Adventure Works LT サンプル データセットからのデータをコピーします。 SQL Database 内にこのサンプル データベースを作成するには、Azure SQL Database でのサンプル データベースの作成に関する記事の手順に従います。
• Azure ストレージ アカウント:Azure Storage は、一括コピー操作のステージング BLOB として使用されます。 Azure ストレージ アカウントがない場合は、「ストレージ アカウントの作成」の手順をご覧ください。

Data Factory の作成

1. データ ファクトリをまだ作成していない場合は、「クイック スタート: Azure portal と Azure Data Factory Studio を使用してデータ ファクトリを作成する」の手順に従って作成してください。 作成した後、Azure portal 内のデータ ファクトリに移動します。

   

2. [Open Azure Data Factory Studio](Azure Data Factory Studio を開く) タイルで [開く] を選択して、別のタブでデータ統合アプリケーションを起動します。

Azure Synapse Analytics にデータを読み込む

1. Azure Data Factory または Azure Synapse ワークスペースのホーム ページで、 [取り込み] タイルを選択してデータのコピー ツールを起動します。 次に、 [組み込みコピー タスク] を選択します。

2. [プロパティ] ページで、[タスクの種類] に [組み込みコピー タスク] を選び、[次へ] を選びます。

   

3. [ソース データ ストア] ページで、次の手順を実行します。

   ヒント

   ソース データ ストアの認証の種類として、このチュートリアルでは "SQL 認証" を使用しますが、サポートされている他の認証方法 ("サービス プリンシパル"、"マネージド ID") を必要に応じて選ぶこともできます。 詳細については、この記事の対応するセクションを参照してください。 さらに、データ ストアのシークレットを安全に格納するために、Azure Key Vault の使用をお勧めします。 詳細については、この記事を参照してください。

   1. [+ 新しい接続] を選択します。

   2. ギャラリーから [Azure SQL Database] を選択し、 [続行] を選択します。 検索ボックスに「SQL」と入力して、コネクタをフィルター処理できます。

      

   3. [新しい接続 (Azure SQL Database)] ページで、ドロップダウン リストからご利用のサーバー名と DB 名を選択し、ユーザー名とパスワードを指定します。 [テスト接続] を選択して設定を検証し、 [作成] を選択します。

      

   4. [ソース データ ストア] ページの [接続] セクションで、新しく作成した接続をソースとして選択します。

   5. [ソース テーブル] セクションで、テーブルをフィルター処理するために「SalesLT」と入力します。 [(すべて選択)] ボックスを選択してコピーにすべてのテーブルを使用し、 [次へ] を選択します。

   

4. [フィルターの適用] ページで、設定を指定するか、 [次へ] を選択します。 このページの [データのプレビュー] ボタンを選択することで、データをプレビューし、入力データのスキーマを表示できます。

   

5. [配布先データ ストア] ページで、次の手順を実行します。

   ヒント

   配布先データ ストアの認証の種類として、このチュートリアルでは "SQL 認証" を使用しますが、サポートされている他の認証方法 ("サービス プリンシパル"、"マネージド ID") を必要に応じて選ぶこともできます。 詳細については、この記事の対応するセクションを参照してください。 さらに、データ ストアのシークレットを安全に格納するために、Azure Key Vault の使用をお勧めします。 詳細については、この記事を参照してください。

   1. [+ 新しい接続] を選択して、接続を追加します。

   2. ギャラリーから [Azure Synapse Analytics] を選択し、 [続行] を選択します。

      

   3. [新しい接続 (Azure Synapse Analytics)] ページで、ドロップダウン リストからご利用のサーバー名と DB 名を選択し、ユーザー名とパスワードを指定します。 [テスト接続] を選択して設定を検証し、 [作成] を選択します。

      

   4. [Destination data store](コピー先データ ストア) ページの [接続] セクションで、新しく作成した接続をシンクとして選択します。

6. [テーブル マッピング] セクションで、内容を確認し、 [次へ] を選択します。 インテリジェント テーブル マッピングが表示されます。 ソース テーブルは、テーブル名に基づくコピー先テーブルにマップされます。 コピー先にソース テーブルが存在しない場合、既定ではサービスによって同名のコピー先テーブルが作成されます。 既存のコピー先テーブルにソース テーブルをマップすることもできます。

   

7. [列マッピング] ページで、内容を確認し、 [次へ] を選択します。 インテリジェント テーブル マッピングは、列名に基づきます。 サービスによってテーブルが自動的に作成されるときに、コピー元とコピー先のストア間に互換性がない場合は、データ型の変換が行われます。 コピー元とコピー先の列の間でサポートされていないデータ型変換がある場合、対応するテーブルの横にエラー メッセージが表示されます。

   

8. [設定] ページで、次の手順を完了します。

   1. [タスク名] フィールドに [CopyFromSQLToSQLDW] を指定します。

   2. [Staging settings](ステージングの設定) セクションで、 [+ 新規] を選択してステージング ストレージを新規作成します。 このストレージは、PolyBase を使用して Azure Synapse Analytics に読み込む前に、データをステージングするために使用されます。 コピーの完了後、Azure Blob Storage 内の暫定データは自動的にクリーンアップされます。

   3. [New Linked Service](新しいリンクされたサービス) ページで、ストレージ アカウントを選択し、 [作成] を選択してリンクされたサービスをデプロイします。

   4. [使用型の既定] オプションを選択解除し、 [次へ] を選択します。

   

9. [サマリー] ページで設定を確認し、 [次へ] を選択します。

10. [Deployment](デプロイ) ページで [監視] を選択してパイプライン (タスク) を監視します。

    

11. 左側の [監視] タブが自動的に選択されたことがわかります。 パイプラインの実行が正常に完了したら、 [パイプライン名] 列の下の [CopyFromSQLToSQLDW] リンクを選択してアクティビティの実行の詳細を表示するか、パイプラインを再実行します。

    • Azure Data Factory
    • Azure Synapse

    

12. パイプラインの実行ビューに戻るには、上部の [すべてのパイプラインの実行] リンクを選択します。 [最新の情報に更新] を選択して、一覧を更新します。

    

13. 各コピー アクティビティの実行の詳細を監視するには、アクティビティの実行ビューの [アクティビティ名] の下の [詳細] リンク (眼鏡のアイコン) を選択します。 ソースからシンクにコピーされるデータの量、データのスループット、実行ステップと対応する期間、使用される構成などの詳細を監視できます。

    

    

関連するコンテンツ

次の資料に進んで、Azure Synapse Analytics のサポートを確認します。