ナビゲーションをスキップする

Azure Data Lake Storage

Azure Blob Storage 上に構築された、非常にスケーラブルで安全な Data Lake 機能

クラウド規模の強力なデータ レイク機能を利用する

Azure Data Lake Storage Gen2 は、スケーラビリティが高く費用対効果に優れた、ビッグ データ分析用のデータ レイク ソリューションです。ハイパフォーマンス ファイル システムの能力に加えて、非常に高いスケーラビリティと経済性を兼ね備えており、お客様が分析情報を得るまでの時間を短縮するのに役立ちます。Data Lake Storage Gen2 は Azure Blob Storage の機能を拡張するもので、分析ワークロードに最適化されています。Data Lake Storage Gen2 は、利用できる中で最も包括的なデータ レイクです。

ブログを読む

他のビデオを見る

高速

ファイルとフォルダーのアトミック操作がサポートされ、超高速でジョブを実行できるよう最適化された Hadoop 互換のファイル システムによって、モデルのテストを高速化できます。

拡張性

Azure Blob Storage のグローバルなスケーリング、耐久性、パフォーマンスを拡充し、大量のストレージ アカウントをサポートできます。

セキュア

POSIX 準拠のきめ細かい ACL のサポート、保存データの暗号化によるオブジェクト ストア セキュリティ、Azure Active Directory 統合、ストレージ アカウントのファイアウォールなどのツールやリソースにより、最も厳格なエンタープライズ データ セキュリティ要件を満たしています。

コスト効率

クラウド オブジェクト ストアの価格レベルでデータ レイク機能をご利用いただけます。Data Lake Storage Gen2 は、Blob Storage に組み込まれているのと同じライフサイクル ポリシー管理やオブジェクトレベルの階層化を提供します。

サービスの機能

高度な拡張性

分析データ用のほぼ無限のストレージ

クラウド オブジェクト保存価格

Azure Blob Storage と同様の低コスト データ ストレージ モデル

より少ないファイル/フォルダー トランザクション

より少ないコンピューティング サイクルと、より高速なジョブ実行を実現するアトミック トランザクション

きめ細やかなファイル/フォルダー セキュリティ

POSIX に準拠した、きめ細やかなアクセス制御リスト (ACL)

単一ストア内の単純化されたインジェスト

Data Lake Storage Gen2 または Blob Storage REST API を使用する、統合済みデータ ストレージ

完全な Azure Blob Storage 機能セット

データ ライフサイクル ポリシー管理; ホット層, クール層, アーカイブ層; 高可用性/ディザスター リカバリー サポート

ロールベースのアクセスおよびストレージ アカウントのファイアウォール

データ アクセスを制御し、承認済み IP からのユーザーだけが分析を実行できるようにする、他層セキュリティ

Common Data Model (CDM) サポート

Microsoft Dynamics 365 (CRM 用) および Power BI など、強力なアプリケーションとのデータ交換機能

信頼されたパートナー

  • Informatica Cloud
  • Attunity
  • WANDisco
  • Striim
  • Qubole
  • Cloudera

Data Lake Storage でできること

最新のデータ ウェアハウス

Modern data warehouseA modern data warehouse lets you bring together all your data at any scale easily, and to get insights through analytical dashboards, operational reports, or advanced analytics for all your users.12354
  1. 概要
  2. フロー

概要

最新のデータ ウェアハウスによって、規模を問わずあらゆるデータを簡単に集約し、分析ダッシュボード、運用レポート、全ユーザーを対象とした高度な分析を通じて分析情報を入手できます。

フロー

  1. 1 Azure Data Factory を使用して、すべての構造化、非構造化、半構造化データ (ログ、ファイル、メディア) を Azure Blob Storage に結合します。
  2. 2 Azure Databricks で Azure Blob Storage 内のデータを利用してスケーラブルな分析を実行し、データのクレンジングと変換を行います。
  3. 3 クレンジングと変換の行われたデータは、Azure SQL Data Warehouse に移動して、既存の構造化データと結合できるため、すべてのデータの 1 つのハブができあがります。Azure Databricks と Azure SQL Data Warehouse の間のネイティブ コネクタを利用して、大規模なデータへのアクセスと移動を行います。
  4. 4 Azure Data Warehouse をベースに運用レポートと分析ダッシュボードを作成してデータから分析情報を引き出し、Azure Analysis Services を利用して何千ものエンド ユーザーに提供します。
  5. 5 Azure Databricks 内のデータに対して直接アドホック クエリを実行します。

ビッグ データの高度な分析

Advanced analytics on big dataTransform your data into actionable insights using the best in class machine learning tools. This architecture allows you to combine any data at any scale, and to build and deploy custom machine learning models at scale.1234576
  1. 概要
  2. フロー

概要

クラス最高の機械学習ツールを使用して、お持ちのデータをアクションにつながる分析情報に変えましょう。このアーキテクチャを利用すれば、規模を問わずあらゆるデータを結合し、大規模なカスタムの機械学習モデルを構築、デプロイできます。

フロー

  1. 1 Azure Data Factory を使用して、すべての構造化、非構造化、半構造化データ (ログ、ファイル、メディア) を Azure Blob Storage に集約します。
  2. 2 Azure Databricks を利用して非構造化データセットをクレンジング、変換し、オペレーション データベースやデータ ウェアハウスの構造化データと結合します。
  3. 3 Python、R、Scala を使って、スケーラブルな機械学習/ディープ ラーニングの手法でそのデータから詳しい分析情報を引き出します。その際、Azure Databricks の組み込みのノートブック機能を利用できます。
  4. 4 Azure Databricks と Azure SQL Data Warehouse の間のネイティブ コネクタを利用して、大規模なデータへのアクセスと移動を行います。
  5. 5 ユーザーが Azure Databricks の組み込みの機能を利用して根本原因の特定と生データ分析を行えるようにします。
  6. 6 Azure Databricks 内のデータに対して直接アドホック クエリを実行します。
  7. 7 分析情報を Azure Databricks から Cosmos DB に移し、Web およびモバイル アプリからアクセスできるようにします。

リアルタイム分析

Real-time analyticsGet insights from live, streaming data with ease. Capture data continuously from any IoT device or logs from website clickstreams and process it in near-real time.12348765
  1. 概要
  2. フロー

概要

ライブのストリーミング データから簡単に分析情報を得られます。あらゆる IoT デバイスや、Web サイトのクリックストリーム ログから継続的にデータを取得して、ほぼリアルタイムで処理することが可能です。

フロー

  1. 1 Azure HDInsight の Apache Kafka クラスターを使用してアプリケーションのライブ ストリーミング データを簡単に取り込みます。
  2. 2 Azure Data Factory を使用して、すべての構造化データを Azure Blob Storage に集約します。
  3. 3 Azure Databricks を利用してストリーミング データをクレンジング、変換、分析して、オペレーション データベースやデータ ウェアハウスの構造化データと結合します。
  4. 4 Python、R、Scala を使って、スケーラブルな機械学習/ディープ ラーニングの手法でそのデータから詳しい分析情報を引き出します。その際、Azure Databricks の組み込みのノートブック機能を利用できます。
  5. 5 Azure Databricks と Azure SQL Data Warehouse の間のネイティブ コネクタを利用して、大規模なデータへのアクセスと移動を行います。
  6. 6 Azure Data Warehouse をベースに分析ダッシュボードと埋め込みのレポートを作成して組織内で分析情報を共有し、Azure Analysis Services を使ってそのデータを何千ものユーザーに提供します。
  7. 7 ユーザーが Azure Databricks と Azure HDInsight の組み込みの機能を利用して根本原因の特定と生データ分析を行えるようにします。
  8. 8 分析情報を Azure Databricks から Cosmos DB に移し、リアルタイム アプリからアクセスできるようにします。

関連製品およびサービス

Azure Databricks

迅速、簡単で協調型の Apache Spark ベースの分析プラットフォーム

Data Factory

エンタープライズでの利用に耐えうる大規模なハイブリッド データ統合を簡単に実現

SQL Data Warehouse

エンタープライズ クラスの機能を伴うエラスティックなサービスとしてのデータ ウェアハウス (data warehouse-as-a-service)

Azure Data Lake Storage の概要