Analytics, Announcements, Azure Data Factory, Azure Data Lake Storage, Storage
Azure でクラウド分析をシンプルに
Posted on
4 min read
現代のビジネス環境はデータに支配されており、変革を推進するには分析と AI が必要不可欠になっています。Azure のお客様には、高性能で柔軟性の高い分析と AI のワークロードを低コストで利用できるという大きなメリットがあります。本日は、分析と AI の強力なソリューションの提供、構築、管理を容易にする Azure の新機能をご紹介いたします。
まず 1 つ目に発表するのは、Azure Data Lake Storage Gen2 のプレビューです。これは、ミッション クリティカルな分析と AI のワークロード専用に設計された、唯一のクラウド スケールのデータ レイクです。Azure Data Lake Storage Gen2 は、オブジェクト ストレージのスケーラビリティとコスト面のメリットを、Hadoop ファイル システムの機能によって提供される信頼性とパフォーマンスに結びつけるものです。
2 つ目の発表は、Azure Data Factory の新機能の一般提供についてです。これにより、複数のソースからデータを統合して、分析情報を得るためにデータを検証、強化、変換する作業が劇的にシンプルになります。
このような Microsoft の分析ポートフォリオの進化により、お客様はこれまで以上に簡単に、異なるデータ ソースを統合し、大量のデータを低コストで格納および処理して、デジタル変革を加速させることができるのです。
Azure Data Lake Storage を 1 つ上のレベルへ
Hadoop などの分析ソリューションは、スケールアウトされたファイル システム上で実行されることを前提としてきました。その他のクラウド プロバイダーは、クライアント サイドのファイル システムのエミュレーションに機能不足のオブジェクト ストアを組み合わせてこれらのソリューションを 1 つに押し込んでいます。これはパフォーマンスや信頼性の低下につながり、最終的には妥協を強いられることになります。
Azure Data Lake Storage Gen2 が提供するのは、そのような妥協のないデータ レイクです。Azure Blob Storage に直接統合された Hadoop 互換ファイル システム エンドポイントに、Azure Data Lake の第 1 世代からのコア機能を統合します。この機能強化は、通常はオンプレミスのファイル システムにのみ関連付けされている信頼性とパフォーマンスに、オブジェクト ストレージのスケールとコスト上のメリットを結びつけるものです。この新しいファイル システムは、ファイルとフォルダーを第一級オブジェクトとする完全な階層型名前空間を持つため、分析ジョブの実行の高速化と信頼性向上につながります。
また、Azure Data Lake Storage Gen2 には無制限のストレージも含まれており、最も大きく最も複雑なワークロードであってもそのニーズを満たせるようになっています。さらに、Azure Data Lake Storage Gen2 は Azure Active Directory とネイティブに統合されて、POSIX に準拠した ACL をサポートするので、ファイルとフォルダーに対するきめ細かなアクセス許可の割り当てが可能になります。
Azure Data Lake Storage Gen2 は Blob Storage と完全に統合されているので、お客様は、新しいファイル システム指向の API またはオブジェクト ストアの API を通じて Blob Storage のデータにアクセスすることができます。また、お客様は ZRS や GRS などの HA/DR 機能に加え、保存データの暗号化、オブジェクト レベルの階層化、ライフサイクル ポリシーといった Azure Blob Storage のメリットをすべて利用できます。こうしたすべての機能が低コストで提供されるため、お客様の分析プロジェクトの全体的な TCO が削減されます。Azure Data Lake Storage Gen2 は、利用できる中で最も包括的なデータ レイクです。一般提供にあたり、Azure Data Lake Storage Gen2 がすべての Azure リージョンで使用できるようになります。
主要なオープン ソース プロバイダーである Hadoop や Spark の分析エンジンとのシームレスなエクスペリエンスを実現するため、Microsoft はパートナーと密に連携し、Azure Data Lake Storage Gen2 がお客様にとって最も最適化されたデータ レイク ソリューションとなるよう努めています。
"Cloudera は Microsoft の主要なパートナーとして、CDH を Azure Data Lake の第 1 世代と統合して以来、同社と密に連携してきました。Azure Data Lake Storage Gen2 により、特にパフォーマンスと安定性の面において、優れたエクスペリエンスが CDH のお客様に提供されるものと確信しています。当社はこれからも、Azure Data Lake Storage Gen2 向けの包括的なプラットフォーム サポートを提供していくつもりです。"
- Cloudera、クラウド担当ジェネラル マネージャー、Vikram Makhija 氏
Azure Data Factory でデータ統合をシンプルに
ビッグ データの急増に伴い、組織はビジネスに必要な分析情報を得るための複雑なデータ統合作業から開放されることを望んでいます。今回、Azure Data Factory の新機能が一般提供になり、Azure のクラウドベースのデータ インジェストと統合サービスを利用して生データから実用的な分析情報を導き出すことが、かつてないほど容易になります。
データ エンジニアや開発者は、グラフィカル ユーザー インターフェイスでドラッグ アンド ドロップするだけで、大規模なデータ統合をすばやく簡単に作成し、スケジュール設定して管理することができます。Azure Data Factory は現在 70 を超えるデータ ソース コネクタからのコード不要のデータ インジェストをサポートし、オンプレミス、クラウド、およびアプリケーションをまたがるデータ移動を加速させています。また、Azure Data Lake Storage Gen2 のプレビューで、ネイティブの Azure Data Factory コネクタのプレビューを利用できるようになっており、お客様は Azure Data Lake Storage Gen2 を活用して他のデータ ソース (Azure Data Lake の第 1 世代も含む) から簡単にデータを移行することができます。
さらに、データ エンジニアや開発者は、SQL Server Integration Services (SSIS) パッケージを Azure に簡単にリフトして Azure Data Factory にリソースを管理させることで、運用コストを下げながら高いスケーラビリティと可用性を実現できます。ロンドンを拠点とするデータ分析コンサルティング会社の Concentra Analytics は、SSIS パッケージを Azure に移行することで、自動化データ ウェアハウスの開発時間を 80% 削減しています。
"データをオンプレミスとクラウドのソースに分散させているお客様はもちろんのこと、大規模なデータセットをお持ちのお客様であっても問題なく対応できます。Azure Data Factory のおかげで、当社のお客様は、Azure に発行された DataPlus 自動生成 SSIS パッケージを使ってスケーラビリティを実現しています。"
- Concentra Analytics、ビジネス インテリジェンス担当ディレクター、Weelin Lim 氏
Azure は分析に最適
Azure は、組織がデータから分析情報を抽出し、革新を加速させるための最適なサービスであり続けます。他の Azure サービスとの密接な統合により、お客様は、最新のデータ ウェアハウス、高度な分析、およびリアルタイムの分析を簡単に低コストで実現する、エンド ツー エンドの強力なクラウド スケールの分析ソリューションを構築することができます。
Azure Data Lake Storage について詳しくは、以下をご覧ください。
- Azure Data Lake Storage の評価を開始し、プレビューにサインアップする。
- Azure Data Lake Storage Gen2 のビデオで使い方を見る。
- Azure Data Lake Storage の主要な機能の詳細を確認する。
Azure Data Factory について詳しくは、以下をご覧ください。