世界中の SQL Server と BI のプロが集う SQL PASS Summit 2015 の開催に先駆けて、マイクロソフトは Azure Data Lake Analytics と Azure Data Lake Store のパブリック プレビューの提供を開始することを発表しました。

以前開催された Strata カンファレンスで、新しい分析サービスの導入と既存の Azure HDInsight ソリューションを Azure Data Lake に追加するという展望をお伝えしたとおり、マイクロソフトは、ビッグデータテクノロジをよりシンプルなものにして、可能な限り多くの人々が利用できるようにすることを目指しています。

今回、皆様が Azure Data Lake を活用してさらなる生産性向上を実現できるように、Azure Data Lake をさまざまな視点から解説する全 6 回のブログ シリーズの連載を開始することにしました。1 回目となるこの記事では、上記で触れた 2 つのサービスについてご紹介します。Azure でのビッグ データ処理の詳細については Channel 9 で説明していますので、そちらも併せてご覧ください。

Azure Data Lake Analytics とは?

Azure Data Lake Analytics はコードを動的にスケーリングする分散型のビッグ データ分析サービスで、これを活用することでお客様は分散型インフラストラクチャを気にすることなく、ビジネス ロジックに集中することができます。このサービスは Apache YARN を基盤とするクラウドに最適化された設計となっていて、必要な処理速度に応じてダイヤルを設定するだけでどのようなスケールのジョブにもすぐに対応できます。また、従量課金のサービスであるためコスト効率が高いほか、Azure Active Directory がサポートされていることから簡単にアクセス許可やロールを管理したりオンプレミスの ID システムと統合したりすることができます。

現在、多くの開発者やデータ科学者が既存のテクノロジやツールを使用してビッグデータの活用に取り組んでいます。Azure Data Lake Analytics では U-SQL 言語を使用できるため、ご自身の強力なコードと SQL のメリットを統合することができます。U-SQL 言語は、マイクロソフト内部で使用しているビッグデータ システムで利用されているものと同一の分散型ランタイムで構築されています。SQL および .NET の開発者の方々は、あらゆるデータの処理や分析に現在のスキルを活用できます。

Azure Data Lake Tools for Visual Studio では、U-SQL の最新のオーサリング機能、デバッグ機能、高度なパフォーマンス分析機能がサポートされているため、膨大な数のノードでジョブを実行する場合に最適化して生産性を向上させることができます。U-SQL コードを視覚化すると、そのスケールでコードがどのように実行されているかを確認し、パフォーマンス上のボトルネックやコストの最適化について把握したうえで、クエリの調整を簡単に行うことができます。

Azure Data Lake Store とは?

は、サイズや種類を問わずさまざまなデータを簡単に取得し、あらゆるスケールのデータをアプリケーションを変更することなく高速で処理することが可能な単一のリポジトリです。データを安全に共有して共同作業を行ったり、HDFS アプリケーションやその他のツールを利用して処理や分析を実行することができます。

詳細情報

• 詳細については、お知らせのブログを参照してください。
• 新しいビッグ データ言語の詳細については、Visual Studio の U-SQL のブログ記事を参照してください。
• Azure.com のマーケティング Data Lake ソリューションのページをご覧ください。
• Azure でのビッグ データの簡単な活用方法については、こちらの動画をご覧ください。

ドキュメントと使用方法

• Azure Data Lake Analytics
  • Azure Data Lake Analytics の概要
  • ポータルから Azure Data Lake Analytics の使用を開始する
  • PowerShell から Azure Data Lake Analytics の使用を開始する
  • Azure Data Lake Analytics とそのツールの使用を開始する
  • SDK を使用して Azure Data Lake Analytics の使用を開始する
  • Azure Data Lake Analytics をポータルから管理する
  • Azure Data Lake Analytics を PowerShell から管理する
  • Azure Data Lake Analytics の対話形式のチュートリアル
  • Azure Data Lake Analytics を使用して Web ログを分析する
• U-SQL
  • U-SQL の使用を開始する
  • U-SQL のカタログ
  • U-SQL のユーザー定義演算子
  • ウィンドウ関数を使用する
• Azure Data Lake Store
  • Azure Data Lake Store の概要
  • ポータルから Azure Data Lake Store の使用を開始する
  • PowerShell から Azure Data Lake Store の使用を開始する
  • .NET SDK を使用して Azure Data Lake の使用を開始する
  • Azure Data Lake Store でデータを保護する
  • Azure HDInsight と Azure Data Lake Store を接続する
  • その他の OSS アプリケーションと Azure Data Lake Store を接続する
  • WebHDFS API と Azure Data Lake Store