Data Lake

インテリジェントなアクションを実現する無制限のデータ レイク

Azure Data Lake には、開発者、データ サイエンティスト、アナリスト向けに、さまざまなサイズ、形状、スピードのデータを容易に格納し、複数のプラットフォームと言語であらゆる種類の処理と分析を簡単に実行するために必要な機能がすべて組み込まれています。すべてのデータを取り込んで格納する操作は複雑ではなく、バッチ処理、ストリーミング、対話型の分析を迅速に立ち上げて実行することができます。Azure Data Lake なら、ID、管理、セキュリティのためにこれまで行ってきた IT 投資を活かすことができ、データの管理とガバナンスをシンプルに行えるようになります。また、オペレーショナル ストアやデータ ウェアハウスとシームレスに統合できるので、既存のデータ アプリケーションを拡張できます。エンタープライズのお客様と協力し、Office 365、Xbox Live、Azure、Windows、Bing、Skype などの Microsoft ビジネスで最大規模の処理と分析を実行してきた Microsoft の経験がこのサービスには活かされています。Azure Data Lake は、ビジネスの現在のニーズと将来のニーズをすぐに満たせるサービスによって、データ資産の価値を最大限に引き出すのを妨げている生産性とスケーラビリティの問題の多くを解決します。

概要については、こちらのビデオをご覧ください

Data Lake Analytics—インテリジェントなアクションを実現する無制限の分析ジョブ サービス

ペタバイト規模のデータを扱う超並列データ変換処理プログラムを U-SQL、R、Python、.Net で容易に開発および実行することができる、初めてのクラウド分析サービスです。管理しなければならないインフラストラクチャはありません。オンデマンドでデータを処理し、瞬時に拡大縮小することができ、お支払いはジョブ単位の従量課金のみです。詳細情報

HDInsight—企業向けのクラウド Apache Spark および Hadoop® サービス

HDInsight は、Spark、Hive、MapReduce、HBase、Storm、Kafka、R Server 向けに最適化されたオープン ソース分析クラスターを備え、99.9% の SLA が保証された唯一の完全マネージド クラウド Hadoop サービスです。これらのビッグ データ テクノロジと ISV アプリケーションはそれぞれ、エンタープライズグレードのセキュリティ機能と監視機能を備えたマネージド クラスターとして簡単にデプロイ可能です。詳細情報

Data Lake Store—ビッグ データ分析を実現する無制限のデータ レイク

安全かつ拡張性が極めて高く、HDFS オープン スタンダードに合わせて構築された初のエンタープライズ向けクラウド データ レイクです。データのサイズに制限はなく、大規模な並列分析を実行できるため、非構造化、半構造化、構造化を問わずあらゆるデータからすぐに価値を引き出すことができます。詳細情報

ビッグ データ プログラムの開発、デバッグ、最適化を簡単に

ビッグ データ クエリを設計し調整するための適切なツールを見つけることは、難しい場合があります。Data Lake ではその心配はありません。Visual Studio、Eclipse、IntelliJ と密に統合されているため、使い慣れているツールを使ってコードを実行、デバッグ、調整できます。U-SQL、Apache Spark、Apache Hive、Apache Storm のジョブがビジュアル化されているので、コードがどのように大規模に実行されるのかを見て、パフォーマンスのボトルネックを特定し、コストを最適化することができ、クエリの調整が楽になります。Microsoft の実行環境では、プログラムが実行中にアクティブに分析され、パフォーマンス向上やコスト削減のための推奨事項が提案されます。データ エンジニア、DBA、データ アーキテクトは、SQL、Apache Hadoop、Apache Spark、R、Python、.NET など、いま身につけているスキルを活用できるので、使用を開始したその日から生産性を発揮できます。

既存の IT 投資とシームレスに統合

ビッグ データに関する最大の課題の 1 つは、これまでの IT 投資とどのように融合させるかという点です。Data Lake は Cortana Intelligence Suite の重要な一部であり、Azure SQL Data Warehouse、Power BI、Data Factory と連携することで、クラウド ビッグ データと高度な分析に対応した包括的なプラットフォームを実現します。このプラットフォームにより、データの準備から大規模データセットの対話型分析に至るまで、すべてのことを行えるようになります。Data Lake Analytics では、仮想マシン上の Azure SQL Server、Azure SQL Database、Azure SQL Data Warehouse などのリレーショナル ソースのデータ仮想化が最適化され、すべてのデータに対応可能です。データを移動することなく処理をソース データに近づけるので、パフォーマンスが最大限に向上し待ち時間が最短になります。そうすることで、クエリが自動的に最適化されます。さらに、Data Lake は Azure の一部なので、アプリケーションにより生成されたデータにも、モノのインターネット (IoT) のシナリオにおいてデバイスにより取り込まれたデータにも接続できます。

ペタバイト規模のファイルと数十億個のオブジェクトを保存して分析

Data Lake のアーキテクチャは、クラウドのスケールとパフォーマンスのために一から構築されたものです。Azure Data Lake Store では、人工的な制限を受けずに組織のデータすべてを単一の場所で分析できます。Data Lake Store では数十億個のファイルを保存でき、サイズ上限は他のクラウド ストアの 200 倍以上であり 1 ペタバイトを超えるファイルも保存可能です。つまり、保存するデータのサイズや使用するコンピューティングの量を増やしたり減らしたりする際に、コードを書き直す必要はありません。そのため、大規模なデータセットの処理や保存の仕方に悩むことなく、ビジネス ロジックに集中できます。Data Lake なら、クラウドのビッグ データにありがちな複雑さもありません。現在のビジネス ニーズだけでなく、将来のビジネス ニーズにも確実に応えます。

リーズナブルでコスト効率が高い

Data Lake は、ビッグ データのワークロードを実行するコスト効率の良いソリューションです。オンデマンド クラスターかデータ処理時のジョブ単位課金モデルを選択できます。どちらの場合も、ハードウェア、ライセンス、サービス固有のサポート契約は必要ありません。ビジネス ニーズに合わせてシステムがスケールアップしたりスケールダウンしたりするので、余分に課金されることはありません。また、ストレージとコンピューティングを別個にスケールすることもできるので、これまでのビッグ データ ソリューションよりも経済的な柔軟性が得られます。さらに、ビッグ データ インフラストラクチャの運用には通常、専門の運用チームを雇うことが必要になりますが、その必要性を最小限に抑えることができます。Data Lake により、コストを最小限に抑えながら、データ投資から生まれる利益を最大限に伸ばすことができます。最近の調査では、オンプレミスに Hadoop を 5 年間デプロイするよりも HDInsight の方が TCO を 63% 低減できることが示されました。

エンタープライズグレードのセキュリティ、監査、サポート

Data Lake は Microsoft により完全に管理およびサポートされており、エンタープライズグレードの SLA とサポートが付属しています。24 時間 365 日対応のカスタマー サポートがあり、ビッグ データ ソリューションにおいてどのような問題に直面した場合でもお問い合わせいただくことができます。デプロイされたシステムは、お客様に代わって Microsoft のチームが監視し、システムの連続的な稼働状態を保証します。Data Lake では、データ アセットが保護され、お客様のオンプレミスのセキュリティとガバナンス管理を簡単にクラウドへ拡張することができます。データは、転送中は SSL を使用して、保存時には Azure Key Vault で HSM に保管されたサービス管理型キーまたはユーザー管理型キーにより、常に暗号化されます。Azure Active Directory を通じて、シングル サインオン (SSO)、多要素認証、数百万の ID のシームレス管理などの機能が組み込まれています。ストア内のすべてのデータについて、POSIX ベースの ACL によりユーザーとグループをきめ細かく認証し、ロールベースのアクセス制御を実現できます。最後に、システムへのアクセスと構成変更をすべて監査することにより、セキュリティおよび規制上のコンプライアンス要件に対応できます。

この強力なソリューションを使用して Data Lake ソリューションを構築しましょう

Apache Hadoop® および関連するオープンソース プロジェクトの名前は、Apache Software Foundation の商標です。