Funcionalidade Delta do Azure Databricks agora em pré-visualização

A funcionalidade delta está agora disponível em pré-visualização sem custos adicionais no SKU premium do Azure Databricks. Com o delta, os clientes beneficiam de melhor fiabilidade dos dados, desempenho melhorado para os trabalhos e as consultas e a oportunidade de simplificar os pipelines de dados.

Com o crescimento explosivo no volume de dados que são analisados, a proliferação dos diferentes tipos de dados e a necessidade de poder realizar análises em tempo real, os pipelines de dados tornaram-se extremamente complexos. A maioria dos clientes compila pipelines multifases que requerem resiliência a cada passo de modo a lidar com problemas como irregularidades no esquema conflitos de escritas. Esta complexidade da solução origina problemas de desempenho em escala. Com o delta no Azure Databricks, os clientes podem simplificar significativamente os pipelines.

O delta é uma camada de armazenamento transacional no Azure Databricks. Para interagir com a mesma, leia e escreva dados numa tabela de delta, que é uma versão otimizada de uma tabela do Spark. Armazena os dados no formato parquet e adiciona metadados que proporcionam mais funcionalidade em relação às tabelas do Spark. Oferece mais fiabilidade e melhor desempenho nos trabalhos e nas consultas do Spark no Azure Databricks. O delta também simplifica os pipelines de dados ao permitir que tanto os trabalhos em lote como de transmissão em fluxo utilizem a mesma tabela ao mesmo tempo que fornece consistência aos dados, permitindo aos clientes simplificar a compilação de soluções de análises de elevado desempenho em escala.

Comece a tirar partido do delta no Azure Databricks com alterações mínimas ao código. Funciona com todas as APIs no Spark que os clientes utilizam nas tabelas do Spark.

Para começar a utilizar o delta no Azure Databricks, visite o bloco de notas de início rápido do delta no Databricks e leia mais sobre a funcionalidade e respetivas capacidades na documentação do delta.