VLDB 2018 にご参加の皆様、こんにちは。

リオデジャネイロへようこそ!今回、私たち Microsoft Azure Data チームが日々取り組んでいる数々のデータ研究の成果を披露できる機会をいただき、とても嬉しく思っています。

マイクロソフトは長年、SQL Server によってデータベース管理分野をけん引しており、Gartner が発表するデータベース管理サーバー市場のリーダーに 3 年連続で選出されています。コンピューティングとデータ管理にクラウドやエッジといった画期的なソリューションが登場したことで、企業、オンプレミス、クラウド、エッジ デバイスだけでなく、あらゆる場所にデータが分散されるようになりました。こうしたデータの管理には、データが作成されてから削除されるまでのライフサイクル (収集、更新、利用、準備、分析、提供、アーカイブ) 全体で、インテリジェントな分析、トランザクション、確実なガバナンスを実行する必要があります。

そのためには、データ管理手法を根本的に変革する必要があります。トランザクション レプリケーションは、地球全体で実行されることもあり、リレーショナル データに限ったものではありません。今日では、エンタープライズ レベルの SLA を保証する対話型のリアルタイム ストリーミング アプリケーションが一般的になりつつあります。あらゆるデータ ガバナンス ポリシーを適用して、FPGA や GPU によるディープ ラーニングやハードウェア アクセラレーションをフルに活用するだけでなく、分析タスクの基礎である機械学習をサポートする必要があります。マイクロソフトはデータを積極的に活用するデータ駆動型の企業です。Azure Data チームは、Bing、Office、Skype、Windows、Xbox などの製品チームをサポートするための世界最大のデータ サービスを運営しています。世界トップクラスの優秀なアプリケーション デベロッパーと密接に協力しながら、データ管理の変革の基盤を築いています。マイクロソフト社内のデータ所有者やユーザーのほとんどはドメインのエキスパートであり、すべてのユーザーがデータベースに詳しいわけではありません。このため、急速に複雑化するデータ管理処理をもっと単純化する必要があります。実際に、大規模なクラウド データベース サービスでは数百万の顧客データベースを扱うようになり、これまでデータベース管理者が処理していたタスクの多くを一般ユーザーが行わなければなりません。

Azure Data チームは、データ管理の変革を大きなチャンスと考えます。マイクロソフトは、SQL Server とオープン ソース テクノロジを活用した Azure データ サービスと、クラウド向けの新しいテクノロジの開発に力を入れています。データ管理については、オンプレミス、クラウド、エッジ デバイス上で Data Lake と NoSQL を活用するという大きな目標を掲げています。今こそデータベース システムにイノベーションを起こす絶好のタイミングです。皆様もぜひマイクロソフトと共にこのチャンスを活かしてみませんか?

業界の人材と顧客の獲得競争はますます過熱しています。新たなデータ管理法を検討している皆様のために、マイクロソフトの優位性についてご説明します。1 つ目は、世界トップ レベルの SQL Server のデータ管理エコシステムと先進的な Azure のパブリック クラウドを組み合わせたサービスを提供していることです。2 つ目は、マイクロソフトの「カスタマー ファースト」の企業文化です。私たちは最高のオープン ソース テクノロジと最高の製品をお客様に提供しています。3 つ目は、イノベーションへの積極的な取り組みです。より迅速に開発を進め、研究コミュニティとの連携を強化するために、製品チームは、Cloud Information Services Lab、Gray Systems Lab、Microsoft Research などの高度な研究開発グループと緊密に協力しています。

この記事では、Azure Data チームが提供している各サービスと現在の取り組みについてご紹介します。各サービスのさらに詳細を知りたいという方は、ご用意したリンク先からご確認ください。皆様のお役に立てますと幸いです。

では、VLDB カンファレンスをお楽しみください!

Rohan Kumar

Azure Data 担当コーポレート バイス プレジデント
________________________________________

Azure Data チームが提供するブログ記事

クラウド規模のイノベーションと移行が進む Microsoft のデータ プラットフォーム (英語)

Rohan Kumar の Azure Data ブログ (英語)

SQL Server

SQL Server は、オンプレミスまたはクラウドの Linux/Docker および Windows で利用可能な最先端のデータベース管理システムです。

SQL Server ブログ (英語)

SQL Server 2017 の詳細はこちら

Azure Cosmos DB:業界初のグローバル分散型マルチモデル データベース サービス

Azure Cosmos DB は、あらゆる地理的リージョンでスループットとストレージを弾力的に拡張できる業界初のグローバル分散データ サービスです。包括的な SLA により、低レイテンシ、高可用性、一貫性を保証します。Azure Cosmos DB は、今日の IoT とモバイル アプリの強化と、AI が活躍する未来のサポートを目指して設計されたものです。

複数のデータ モデルと一般的なクエリ API をネイティブにサポートした初のクラウド データベースであり、大量のデータの収集や高速クエリの実行を可能にする最新データベース エンジンを採用しています。しかも、スキーマやインデックスの管理は一切必要ありません。また、明確に定義された 5 つのモデルの中からアプリに適したものを選択できる初のクラウド データベースです。

Azure Cosmos DB: 業界初のグローバル分散型マルチモデル データベース サービス

Azure Data Lake Analytics - インテリジェントなアクションを実現するオンデマンド 分析ジョブ サービス

Azure Data Lake Analytics によって、ペタバイト規模の超並列データ変換処理プログラムを、U-SQL、R、Python、.NET で容易に開発および実行できます。インフラストラクチャの管理はなく、データ処理はオンデマンドで瞬時にスケーリングすることができ、料金はジョブ単位の従量課金制です。待機、管理、調整が必要なサーバー、仮想マシン、クラスターがないため、インフラストラクチャを考慮する必要がありません。また、ジョブごとに簡単に処理能力をスケーリングすることができます。

Azure Data Lake Analytics の詳細はこちら

Azure Data Catalog - データの検索、把握、管理

企業は数千億のストリーム、ファイル、テーブル、レポート、スプレッドシート、VM などからエクサバイト級のデータを収集しています。しかし、これらのデータがどこにあって、どのような価値があり、どのように使用されているのか、データが十分に保護されているかなどはほとんど把握できていません。マイクロソフトはこうした問題を解決するために、オンプレミスからクラウドまであらゆる場所のあらゆる形態のデータを検索、分類し、データの内容から管理や保護の方法を自動で判断できるインフラストラクチャを構築しています。マイクロソフトのグローバル スケール インフラストラクチャは、あらゆるデータを追跡し、データの検索と再利用を実現する検索エンジンを提供します。AI から分散システムまで、最先端のテクノロジを活用することでデータの有用性を高めます。

Azure Data Factory – 大規模なマネージド ハイブリッド データ統合サービス

Azure Data Factory では、大規模なデータ統合を計画、スケジューリング、管理することができます。クラウドやオンプレミスといったデータの場所を問わず、エンタープライズ レベルのセキュリティを確保できます。また、70 を超えるデータ ソース コネクタを活用して、データ統合プロジェクトをスピードアップします。データ パイプラインの構築や管理には、グラフィカル ユーザー インターフェイスを使用することができます。BI ツールやカスタム アプリケーションで利用するために生データを正規化することも可能です。SQL Server Integration Services (SSIS) パッケージを Azure に簡単に移行して Azure Data Factory でリソースを管理することで、生産性を高めると共に、総保有コスト (TCO) を削減します。

Azure Data Factory の詳細はこちら

Azure HDInsight – Hadoop や Spark に完全対応したマネージド クラスター サービス

Azure HDInsight は、膨大な量のデータを簡単かつ迅速に、コスト効率よく処理できるフルマネージド クラウド サービスです。Hadoop、Spark、Hive、LLAP、Kafka、Storm、ML Services などの人気のオープンソース フレームワークを使用でき、ETL、データ ウェアハウス、機械学習、IoT などの幅広いシナリオに対応しています。強力で信頼性の高い、コスト効率に優れたサービスで、料金は従量課金制です。必要に応じてクラスターを作成し、簡単にスケーリングできます。コンピューティングとストレージが分離されているため、パフォーマンスと柔軟性に優れています。

Azure HDInsight の詳細はこちら

Azure SQL Database - インテリジェントなリレーショナル クラウド データベース サービス

Azure SQL Database は、さまざまなアプリに適用して学習する世界初のインテリジェント データベース サービスで、手間を最小限に抑えてパフォーマンスを最大限に引き出すことができます。脅威の検出機能では、常時データベースの異常なアクティビティを学習、プロファイリング、検出することで、潜在的な脅威を特定します。飛行機のフライト データ レコーダーのように、Query Store ですべてのクエリの詳細な履歴情報を収集します。これにより、問題の診断や解決までの時間が短縮され、パフォーマンス調査を大幅に簡素化することができます。

Azure SQL Database の詳細はこちら

Azure SQL Database での適応型クエリ処理 (英語)

Azure SQL Database の自動チューニング機能によりパフォーマンスが向上 (英語)

クエリ ストア: データベースのためのフライト データ レコーダー

Azure SQL Data Warehouse - 高速かつ柔軟で安全な分析プラットフォーム

Azure SQL Data Warehouse (SQL DW) は、高速で柔軟なペタバイト級のフル マネージド クラウド データ ウェアハウスです。クラウドを想定した分散処理アーキテクチャにより、データ ウェアハウスの停止と再開を数分単位で切り替えながら、コンピューティングとストレージを別々にスケーリングすることができます。また、既存の SQL や BI スキルを活かして、データの統合サービスや視覚化サービスとネイティブに接続できる分析用ハブをシームレスに作成できます。ファイルや非構造化データの豊富なクエリ機能をサポートしており、PolyBase を通じて厳選したデータをデータ ウェアハウスに取り込むことが可能です。

Azure SQL Data Warehouse の詳細はこちら

Azure SQL Data Warehouse による超高速データ ウェアハウス (英語)

セキュリティ エキスパートのスキルが組み込まれた Azure SQL Database の脅威検出 (英語)

Azure SQL Data Warehouse を全 Azure リージョンで提供 (英語)

Azure Stream Analytics - インテリジェントなアクションを実現するサーバーレスのリアルタイム分析サービス

Azure Stream Analytics では、SQL に似たシンプルな言語を使用して、複数の IoT または非 IoT データ ストリームに対する超並列のリアルタイム分析処理を簡単に開発して実行できます。高度なシナリオには、カスタム コードを使用できます。管理しなければならないインフラストラクチャはありません。オンデマンドでデータを処理し、瞬時に拡大縮小することができ、お支払いはジョブ単位の従量課金のみです。Azure Stream Analytics は、Azure IoT Hub および Azure IoT Suite とシームレスに統合できます。Azure IoT Edge にも対応しており、開発者は IoT デバイスのリアルタイムの分析インテリジェンスを展開して、デバイスで生成されるデータ価値を最大限に活用できるようになります。

Azure Stream Analytics の詳細はこちら

Gray Systems Lab (GSL) と Cloud and Information Services Lab (CISL)

Azure Data の CTO オフィスは、Gray Systems Lab (GSL) と Cloud and Information Services Lab (CISL) の本拠地となっています。GSL と CISL は、データ サイエンティストやデータ エンジニアで構成される応用研究グループであり、クラウド SQL Server、ビッグデータ向けの超分散型システム、ハードウェア アクセラレーションによる自動修正および修復ソリューションなど、さまざまなテーマを扱っています。GSL (2008 年設立) および CISL (2012 年設立) は、既に世界トップクラスのデータベースおよびシステム カンファレンスで 70 以上の論文を発表しています。また、多くの特許を取得しており、各種研究プロジェクトのインターンシップとスポンサーシップを通じて、多くの研究者が共同で行う高度な研究活動を続けています。オープンソース化にも積極的に取り組んでおり、各製品チームと緊密に連携しています。Apache のオープンソース化プロジェクトでは、研究者と共同で 50 万以上の LOC を提供した実績があります。

強力な製品パートナーシップは、社会に大きな影響を与えるイノベーションの実現につながります。GSL、CISL のイノベーションは、数百、数千のサーバーを管理するマイクロソフトのビッグ データ インフラストラクチャに活用され、さまざまなクラウド製品やオンプレミス製品と共に提供されています。マイクロソフトのクラウド ファースト戦略には、ペタバイト級のテレメトリ データやファーストパーティのワークロードを活用することで、イノベーション プロセスのすべてを一貫してデータ駆動型にできるという研究者独自のメリットがあります。GSL、CISL の研究所は、マイクロソフトのレドモンド キャンパス、シリコン バレー キャンパス、UW マディソン キャンパスにあります。詳細については、Carlo Curino (carlo.curino@microsoft.com) または Alan Halverson (alanhal@microsoft.com) までお問い合わせください。