今日のデータドリブンの世界では、ビッグ データの処理は、すべての組織で重要な課題です。トランスフォーメーションを促す分析情報を活用し、データドリブンのカルチャを根付かせるには、企業は専門的なスキルを必要とすることなく、簡単にデータを統合して変換できるツールが必要です。

本日は、Azure Data Factory (ADF) のマッピング データ フロー機能が一般提供開始されたことをお知らせします。これは、生産性と信頼性の高い Microsoft のハイブリッド統合サービスです。Data Factory を使用すると、ユーザーはコーディング不要でサーバーレスの環境を利用でき、それによりクラウドの ETL が簡素化され、あらゆるデータ サイズにスケーリングすることができます。インフラストラクチャの管理は必要ありません。

マッピング データ フローはすべての複雑な処理を管理し、ビッグ データ統合の課題を調整できるように作成されており、ユーザーはすばやく大規模にデータを変換できます。ブラウザーベースのデザイナーを使用して回復性のあるデータ パイプラインをアクセシビリティの高いビジュアル環境に作成し、ADF が複雑な Spark の実行を処理できるようにします。

マッピング データ フローの組み込み機能によりデータ処理が簡素化され、予測不可能なデータ スキーマを管理し、入力データの変更に対する回復性を保つことができます。マッピング データ フローを使用すると、Nielsen のようなお客様は、データの複雑度やチームのコーディング スキルに関係なく、データを分析情報に変換することで、従業員を強化することができます。

「マッピング データ フローにより、Nielsen の分析チームはデータのクリーニングを実行したり、ユーザーフレンドリでコーディング不要の環境を準備したりできるようになりました。また、分析情報を当社のクライアントにすばやく自動化された方法で届けることもできます。」 David Hudzinski 氏 (Director、Product、Nielsen)

 

ビジネス ロジックの構築に集中することで、分析情報を得るまでの時間を短縮できます。サーバー クラスターの管理や維持を心配したり、パイプラインを作成するためのコードを書いたりする必要はありません。ファクト テーブルの読み込み、徐々に変化するディメンションの管理、準構造化されたビッグ データの集計、ファジー マッチを使用したデータ マッチング、モデリング用データの準備などの ETL タスクを簡単に実行できます。直感的に使用できるビジュアル インターフェイスにより、データ変換ロジックを読みやすいグラフとして設計したり、変換ルーチンのライブラリを作成して生データをビジネスの分析情報に簡単に変換したりすることができます。

コードファーストでも、完全にコーディング不要でも、マッピング データ フローがあればお好きなやり方で作業できます。組み込みの変換機能を使用して、一般的な操作 (結合、集計、ピボット、並べ替えなど) を実行できます。このような変換機能は、式ビルダー (オートコンプリートや全般的なオンライン ヘルプが含まれます) を使用してカスタマイズできます。

論理グラフを作成するときは、ADF のライブ データ プレビュー機能を使用してリアルタイムで検証できます。Null 値のカウント、値の分布、標準偏差などの機能では、データに即座に分析情報が表示されます。
  
最後に、対話型デバッグ ツールのドラッグアンドドロップ パイプライン ビルダーを使用して、パイプラインを作成し、新しい ETL プロセスをエンドツーエンドでデバッグできます。
   
ADF 監視ポータルから、パイプラインのスケジュールを作成して、データ フロー実行を監視できます。ADF の機能豊富な可用性監視機能とアラートにより、データ可用性に関する SLA を簡単に管理でき、組み込みの CI/CD 機能を活用してフローを管理された DataOps 環境内に保存し、管理することができます。また、アラートとビューの実行プランを策定して、データ フローの調整中にロジックが計画どおりに実行されているかを検証することができます。

マッピング データ フローにより、データ統合と変換をすばやく簡単に、誰でもアクセスできるようにしたいと考えている組織には、大変革がもたらされます。

詳細についてはこちらをご覧になり、マッピング データ フローでの ADF の使用を今すぐ始めましょう。