Azure Databricks Delta のプレビュー開始

デルタ機能をプレビューで利用できるようになりました。Azure Databricks の Premium SKU をご利用のお客様は、追加料金なしでお使いいただけます。デルタを使用すると、データの信頼性を高めることができるほか、ジョブとクエリのパフォーマンスを向上させたり、データ パイプラインを単純化したりできます。

今日、分析対象となるデータの量が爆発的に増え、種類が多様化し、リアルタイム分析へのニーズが増えている中、データ パイプラインがきわめて複雑化しています。このため、ほとんどのお客様が複数ステージのパイプラインを構築し、各ステップで求められるスキーマ関連のエラーや書き込みの競合などの問題に対処するための回復性に対応しています。ソリューションがこれほど複雑になると、広い範囲でパフォーマンスの問題が発生します。Azure Databricks のデルタを使用すれば、非常にシンプルなパイプラインを実現できます。

Delta は Azure Databricks のトランザクション ストレージ レイヤーの 1 つです。デルタを操作するには、Spark テーブルの最適化バージョンであるデルタ テーブルに対してデータの読み取りと書き込みを行います。デルタでは parquet 形式でデータを保存し、メタデータを追加することで、Spark テーブルにない機能を追加しています。Azure Databricks での Spark のジョブとクエリの信頼性とパフォーマンスが向上しています。また、デルタでは、バッチ処理とストリーミングの両方のジョブで同じテーブルを使用可能にすることで、データの一貫性を保持しながらデータ パイプラインが簡素化されるので、大規模なハイ パフォーマンス分析ソリューションを簡単に構築できるようになります。

わずかなコード変更だけで、Azure Databricks でのデルタの利用を開始できます。デルタは、お客様が Spark テーブルに使用している既存のすべての Spark API と共に使用できます。

Azure Databricks でデルタの使用を開始するには、Databricks デルタのクイックスタート ノートブックをご確認ください。また、Azure Databricks デルタとその機能については、デルタのドキュメントをご覧ください。