Теперь уровень Delta в Azure Databricks доступен в предварительной версии

Уровень Delta теперь доступен в предварительной версии в SKU ценовой категории "Премиум" для Azure Databricks без каких-либо дополнительных затрат. С уровнем Delta клиенты получают повышенную надежность данных, улучшенную производительность заданий и запросов, а также упрощенные конвейеры данных.

Конвейеры данных стали чрезвычайно сложными из-за взрывного роста объема анализируемых данных, распространения различных типов данных и потребности в аналитике в режиме реального времени. Большинство пользователей создают многоэтапные конвейеры, которые требуют отказоустойчивости на каждом шаге для решения таких проблем, как нарушения схемы и конфликтующие записи. Такая сложность решения приводит к проблемам производительности при большом масштабе. Благодаря уровню Delta в Azure Databricks пользователи могут значительно упростить свои конвейеры.

Delta — это транзакционный уровень хранилища в Azure Databricks. С ним можно взаимодействовать, считывая и записывая данные в таблицу Delta, которая является оптимизированной версией таблицы Spark. Данные на этом уровне хранятся в формате Parquet. Кроме того, добавляются метаданные, которые обеспечивают дополнительную функциональность по сравнению с таблицей Spark. Этот уровень обеспечивает лучшую надежность и более высокую производительность для заданий и запросов Spark в Azure Databricks. Уровень Delta также упрощает конвейеры данных, позволяя как пакетным, так и потоковым заданиям использовать одну и ту же таблицу, одновременно обеспечивая согласованность данных. Таким образом, этот уровень позволяет упростить создание высокопроизводительного масштабируемого решения аналитики.

Начните использовать уровень Delta в Azure Databricks с минимальными изменениями кода. Он работает со всеми существующими API в Spark, которые используются для таблиц Spark.

Чтобы начать работу с Delta в Azure Databricks, перейдите к краткому руководству по Delta в Databricks. Узнайте больше об уровне Delta для Azure Databricks и его возможностях в документации по Delta.