Azure Databricks は、速く、簡単で、コラボレーションに対応した Apache^® Spark™ ベースの分析プラットフォームを提供し、ビジネスを推進するビッグ データと AI のソリューションの構築プロセスを速く簡単にします。すべては業界最高の SLA によって裏付けられています。

3 月に一般公開をお知らせしてから、継続的にお客様の声を聞き、Azure Databricks サービスへの機能の追加を行ってきました。今日は、Azure Databricks へのいくつかの新しい更新についてお知らせします。

一般提供

Azure Databricks が、日本、カナダ、インド、オーストラリア中部で利用できるようになります

Azure Databricks が一般提供されるリージョンとして、日本、カナダ、インド、オーストラリア中部、オーストラリア中部 2 が追加されることをご案内します。これらの場所が追加されることにより、製品は 99.95 パーセントの SLA でサポートされた世界の 24 のリージョンで利用できるようになります。

Microsoft はクラウド インフラストラクチャを構築し、革新を推進して世界中でアクセスできるようにすることで、お客様のニーズに応えることを約束します。Azure Databricks を利用できるリージョンの最新情報を確認してください。

Azure Blob Storage、Azure Data Factory、Azure SQL Data Warehouse、Azure Cosmos DB などの他のサービスとの Azure Databricks のネイティブな統合によるメリットもあります。これにより、最新のデータ ウェアハウジング、高度な分析、リアルタイムの分析シナリオをサポートする新しい分析ソリューションが実現されます。

Azure Databricks での Azure Active Directory の条件付きアクセス

Azure Databricks は Azure Active Directory (AD) の条件付きアクセスをサポートするようになり、管理者はユーザーに Azure Databricks へのサインインを許可する場所と時を制御できます。

セキュリティは、クラウドを使用する組織の最大の懸念事項です。クラウド セキュリティの重要な側面は、クラウド リソースを管理する際の ID とアクセスです。モバイルを重視したクラウド中心の世界では、ユーザーはさまざまなデバイスやアプリを使用してどこからでも組織のリソースにアクセスできます。このため、だれがリソースにアクセスできるかに重点を置くだけでは十分ではなくなっています。セキュリティと生産性のバランスをうまく取るためには、リソースへのアクセス方法も考慮してアクセスの制御を決定する必要があります。Azure Active Directory の条件付きアクセスで、この要件に対処することができます。条件付きアクセスは、Azure Active Directory の機能です。条件付きアクセスを使用すると、クラウド アプリへのアクセスを許可するかどうかの判断を各種の条件に基づいて自動的に行うアクセスの制御を実装できます。

お客様は、ポータルを使用して Azure AD で新しい条件付きアクセス ポリシーを作成することにより、Azure Databricks で Azure Active Directory の条件付きアクセスをすぐに利用することができます。Azure AD の条件付きアクセスについて詳しくは、Azure Databricks のドキュメントをご覧ください。

プレビュー

Azure Databricks のデモ

現在プレビューで利用できる Azure Databricks Delta は、Apache Spark 上に構築された強力なトランザクション ストレージ レイヤーであり、データの高い一貫性と高速の読み取りアクセスを提供します。

バッチ データとストリーミング データの両方に対する複雑なパイプラインの作成を続けているお客様は、ETL パイプラインを簡略化する必要があります。一貫したビューを作成するには、変化するスキーマに対応し、バッチ処理とストリーム処理に対して異なるステージでラムダ パターンをサポートするため、パイプラインに複数のステージを作成することがよくあります。

Azure Databricks Delta を Spark テーブルで使用すると、複数のユーザーまたはジョブがデータセットを同時に変更し、一貫したビューを見ることができます。これを実現するために、テーブルから同じデータセットを読み取る他のジョブが妨げられることはありません。Azure Databricks Delta は Parquet ファイルを利用しますが、トランザクション ログを維持しており、はるかに効率よく準備できる大きいファイルにデータを整理することによって、ファイルを管理しやすくします。また、統計機能が組み込まれており、データ スキップを利用して関係のない情報を読み取らないようにすることで、パフォーマンスが向上します。

現在、Azure Databricks Delta はプレビューで利用できます。詳しくはドキュメントをご覧ください。また、クイック スタート ノートブックをインポートすることができます。

Azure Databricks はストリーミング シンクとして Azure SQL Data Warehouse をサポートする

Azure Databricks のユーザーは、構造化ストリームを使用して、Azure SQL Data Warehouse にデータを直接ストリーミングできます。これにより、構造化ストリームで構築されたリアルタイムのストリーミング パイプラインによってサポートされた SQL DW のほぼリアルタイムのデータを使用して、視覚化やレポートを行うことができ、エンタープライズ全体での意思決定が速くなります。

分析対象のデータ量の爆発的な増加、異なるデータ型の増殖、リアルタイム分析の必要性により、すべてのデータを視覚化するための単一のハブが必要になっています。Azure SQL Data Warehouse (SQL DW) は、超並列処理 (MPP) を利用して、ペタバイト単位のデータに対して複雑なクエリを短時間で実行するクラウドベースのエンタープライズ データ ウェアハウスです。データ ウェアハウスは、企業が視覚化と分析情報のために依存できる唯一の真実として機能できます。

Azure Databricks による Azure Key Vault でのシークレット スコープのサポート

Azure Databricks には、Azure Data Lake Storage、Cosmos DB、SQL DW、イベント ハブ、IoT Hubs、その他の複数のサービスに接続する機能が組み込まれています。そして今回、お客様は Azure Key Vault に接続文字列つまりシークレットを格納できるようになりました。

Azure Key Vault を使用すると、アプリケーションのシークレットを安全に保管して管理することができ、シークレットのストレージが一元化されることで、セキュリティ情報が誤って失われる可能性が減ります。

Azure Databricks で Key Vault を使用してシークレット スコープを作成すると、データ サイエンティストや開発者は、SAS トークンや接続文字列などのセキュリティ情報を自分のノートブックに格納する必要がなくなります。キー コンテナーにアクセスする場合、ユーザーがアクセスする前に適切な認証と認可が必要になります。認証ではユーザーの ID を確認し、認可ではユーザーが実行できる操作を決定します。

これにより、Azure Databricks では現在、Azure Key Vault によるものと Databricks によるものの 2 種類のシークレット スコープがサポートされています。Azure Key Vault によるシークレット スコープの詳細をご覧ください。

Spark + AI Summit Europe

Microsoft は、Apache Spark コミュニティのプレミア イベントである Spark + AI Summit Europe 2018 の主要な参加者です。Azure Data 担当の副社長である Rohan Kumar による基調講演では、Azure Databricks と Apache® Spark™ 分析プラットフォームおよび Microsoft Azure Data サービスとの組み合わせが、お客様によるデータのパワーの解放をどのように支援し、AI を可能にして世界をよくする可能性についてお話しします。Spark + AI Summit では、多くのセッションを行い、お客様とパートナーによって行われている大きな作業や、Azure Databricks による大きな生産性向上の実現について紹介します。

今すぐお試しください

Azure Databricks を試してみください。今すぐ使ってみて、フィードバックをお寄せください。

• 無料の Databricks Units で 14 日間 Azure Databricks Premium を試してください。
• ウェビナーにサインアップして、Lennox が Azure Databricks でスケーラブルな IoT ソリューションをどのように構築したのかを学習してください。
• Azure Databricks で Apache Spark を始める方法についてのビデオをご覧ください。
• Azure Databricks eBook で 3 つの実用的なユース ケースをダウンロードしてください。