最適化された Apache Spark でのビッグ データ分析および AI
Azure Databricks であらゆるデータから分析情報を引き出して AI ソリューションを構築し、Apache Spark™ 環境を数分のうちにセットアップして自動スケーリングし、対話型ワークスペースで共有プロジェクトの共同作業を行います。Azure Databricks は、TensorFlow、PyTorch、Scikit-learn を含むデータ サイエンス向けのフレームワークとライブラリに加え、Python、Scala、R、Java、SQL をサポートします。
Apache Spark™ は、Apache Software Foundation の商標です。
信頼性の高いデータ エンジニアリング
バッチおよびストリーミング ワークロードのための大規模データ処理。
すべてのデータを分析
完全で最新のデータ分析を可能にします。
共同データ サイエンス
大規模なデータセットのデータ サイエンスを簡素化し加速します。
オープンソースに根ざした
高速で最適化された Apache Spark 環境。
最適化された Apache Spark 環境によりすばやく開始する
Azure Databricks では最新バージョンの Apache Spark が提供されており、オープンソース ライブラリとのシームレスな統合が可能です。グローバルな規模と Azure の使用可能性を備えたフル マネージドの Apache Spark 環境で、クラスターを起動して迅速な構築が行えます。クラスターは、高い信頼性とパフォーマンスを確保するよう設定、構成、微調整され、監視の必要はありません。自動スケーリングと自動終了を活用して、総保有コスト (TCO) を抑えます。
共有ワークスペースと一般的なプログラミング言語により、生産性を向上させる
オープンで統一されたプラットフォーム上で効果的にコラボレーションを行うことができ、データ サイエンティスト、データ エンジニア、ビジネス アナリストを問わず、あらゆる種類の分析ワークロードを実行することができます。Python、Scala、R、SQL などお好みのプログラミング言語で構築できます。GitHub と Azure DevOps により、ノートブックのバージョン コントロールを容易に実現できます。
ビッグ データによる機械学習を加速させる
統合された Azure Machine Learning を使用して、高度な自動機械学習機能にアクセスし、適切なアルゴリズムとハイパーパラメーターをすばやく特定できます。クラウドからエッジに至るまで、デプロイされた機械学習モデルの管理、監視、更新を簡略化します。Azure Machine Learning は、実験、機械学習パイプライン、モデルのための中央レジストリも提供します。
ハイパフォーマンスのモダンなデータ ウェアハウスを入手する
あらゆる規模のデータを結合し、分析用ダッシュボードや運用レポートから分析情報を入手します。Azure Data Factory を使用してデータ移動を自動化してから Azure Data Lake Storage にデータを読み込み、Azure Databricks を使用してそれを変換およびクリーンアップし、Azure Synapse Analytics を使用して分析できるようにします。クラウドのデータ ウェアハウスを最新化し、比類のないレベルのパフォーマンスとスケーラビリティを実現します。
主なサービスの機能
-
最適化された Spark エンジン
高度に最適化された Apache Spark™ を搭載した自動スケーリング インフラストラクチャでのシンプルなデータ処理により、最大 50 倍のパフォーマンス向上を実現します。
-
機械学習実行時
PyTorch、TensorFlow、Scikit-learn などの最先端で人気のフレームワークを使用して、機械学習を強化するための事前設定済みの機械学習環境にワンクリックでアクセスできます。
-
MLflow
実験の追跡と共有、実行の再現、モデルの共同管理を中央リポジトリから行います。
-
言語の選択
サーバーレスでも、プロビジョニング済みコンピューティング リソースでも、Python、Scala、R、Spark SQL、.NET などのお好みの言語を使用できます。
-
共同ノートブック
好みの言語とツールを使用してデータにすばやくアクセスして確認し、新しい分析情報を見つけて共有し、モデルを構築できます。
-
Delta Lake
完全なデータライフサイクル向けに設計されたオープンソースのトランザクションストレージ層を使用して、既存のデータ レイクにデータの信頼性とスケーラビリティをもたらします。
-
Azure サービスとのネイティブ統合
Azure Data Factory、Azure Data Lake Storage、Azure Machine Learning、Power BI などの Azure サービスとの深い統合により、エンドツーエンドの分析および機械学習ソリューションを完成させます。
-
対話型ワークスペース
データ サイエンティスト、データ エンジニア、ビジネス アナリスト間のシームレスなコラボレーションを実現します。
-
企業向け仕様のセキュリティ
効率的なネイティブ セキュリティにより、データが存在する場所でデータを保護し、数千ものユーザーとデータセットに対応する準拠した、プライベートで、分離された分析ワークスペースを作成できます。
-
運用環境に対応
CI/CD と監視用のエコシステム統合により、信頼性の高いデータ プラットフォームで、ミッションクリティカルなデータ ワークロードを実行、スケーリングします。
ソリューション アーキテクチャの例
Azure Databricks を使用したデータ サイエンスと機械学習
ライブのストリーミング データから簡単に分析情報を得られます。あらゆる IoT デバイスや、Web サイトのクリックストリーム ログから継続的にデータを取得して、ほぼリアルタイムで処理することが可能です。
Azure Databricks を使用した最新の分析アーキテクチャ
クラス最高の機械学習ツールを使用して、お持ちのデータをアクションにつながる分析情報に変えましょう。このアーキテクチャを利用すれば、規模を問わずあらゆるデータを結合し、大規模なカスタムの機械学習モデルを構築、デプロイできます。
Azure Databricks を使用したインジェスト、ETL、およびストリーム処理パイプライン
Azure Databricks、MLflow、Azure Machine Learning を使用してエンドツーエンドの機械学習ライフサイクルを加速および管理し、機械学習アプリケーションを構築、共有、デプロイ、管理します。
包括的なセキュリティとコンプライアンスの組み込み
-
Microsoft では、サイバーセキュリティの研究と開発に年間 USD10 億を超える投資を行っています。
-
Microsoft には、データ セキュリティとプライバシーを専門とする 3,500 人を超えるセキュリティ エキスパートがいます。
-
Azure は、他のあらゆるクラウド プロバイダーを上回る数の認定を受けています。包括的なリストをご確認ください。
Azure Databricks の製品とサービスについての詳細情報
Azure Data Factory
大規模な ETL を簡素化するハイブリッド データ統合サービスです。
Azure Data Lake Storage Gen 2
Azure Blob Storage 上に構築された、非常にスケーラブルで安全なデータ レイク機能。
Azure Machine Learning
企業向け仕様の機械学習サービスでモデルをよりすばやく構築してデプロイできます。
Power BI
分析と対話型のレポートをお使いのアプリケーションに追加しましょう。
-
Azure Databricks の価格
クラスターをすばやく起動し、使用ニーズに合わせて自動スケーリングしましょう。Azure Databricks のすべての価格オプションをご確認ください。
Azure 無料アカウントで作業を開始する
1
2
クレジットがなくなった後に、同じ無料サービスでビルドを続けるには、従量課金制に移行してください。月々の無料使用分を超えた場合にのみ、お支払いいただきます。
3
コミュニティと Azure のサポート
MSDN フォーラムや Stack Overflow で Microsoft のエンジニアや Azure コミュニティのエキスパートに質問してサポートを受けるか、 Azure サポートに問い合わせてください。
人気のあるラボとテンプレート
自分のペースで進められるラボ や、Microsoft やコミュニティによって作成されたよく利用されている 一般的な構成用のクイックスタート テンプレート を探してください。
Azure Databricks についてよく寄せられる質問
-
Azure Databricks の SLA は、99.95% の可用性を保証します。
-
Databricks ユニット (DBU) は、1 時間あたりのプロセス能力の単位で、1 秒あたりの使用量で課金されます。
-
Data Engineering ワークロードは、クラスターを自動的に開始および終了させ、そこで稼働するジョブのことです。たとえば、Azure Databricks ジョブ スケジューラがワークロードをトリガーすると、Apache Spark クラスターがそのジョブのためだけに起動します。ジョブが完了すると、クラスターは自動で終了します。
Data Analytics ワークロードは自動化されません。たとえば、Azure Databricks ノートブック内のコマンドは、手動で終了されるまで Apache Spark クラスター上で実行されます。複数のユーザーがクラスターを共有し、共同で分析することができます。