Acelere as cargas de trabalho de análise e IA com o Delta Engine com tecnologia Photon no Azure Databricks

Hoje, anunciamos a visualização do Delta Engine com tecnologia do Photon no Azure Databricks – análise rápida, fácil e colaborativa e serviço de IA. Criado do zero em C++ e totalmente compatível com as APIs do Spark, o Photon é um motor de consulta vetorizado que aproveita a arquitetura de CPU moderna, juntamente com o Delta Lake, para melhorar o desempenho do Apache Spark 3.0 até 20x. Uma vez que as organizações em todo o mundo adotam a tomada de decisões orientada por dados, esta tornou-se imperativa para investir numa plataforma capaz de analisar rapidamente grandes quantidades e tipos de dados. No entanto, tem sido um desafio. Embora o armazenamento e o desempenho da rede tenha aumentado 10 vezes, as velocidades de processamento de CPU aumentaram apenas ligeiramente. Isso leva à pergunta, se as CPUs resultam em estrangulamento, como podemos atingir o próximo nível de desempenho?  A resposta com o Photon está num paralelismo maior de processamento de CPU ao nível dos dados e ao nível da instrução. O Delta Engine com tecnologia Photon é um motor de consulta vetorizado 100% compatível com o Apache Spark concebido para tirar proveito da arquitetura de CPU moderna para o processamento paralelo de dados extremamente rápido. Escrito de raiz em C++ para tirar partido do hardware moderno e capitalizar o paralelismo ao nível dos dados e CPU, este motor otimiza o processamento de texto e expressões regulares para ativar o rápido desempenho nos dados e aplicações do mundo real. É totalmente compatível com APIs do Apache Spark™ para garantir que as cargas de trabalho sejam executadas perfeitamente sem alterações de código. O Azure Databricks já era incrivelmente rápido em comparação com o Apache Spark. Agora, o Delta Engine com tecnologia Photon permite um desempenho ainda mais rápido em análises modernas e cargas de trabalho de IA no Azure. Executámos um teste de referência padrão da indústria, o TPC Benchmark DS, de 30 TB para medir a velocidade de processamento e concluíram que o Delta Engine com tecnologia Photon é 20x mais rápido do que o Spark 2.4.

Leia o blogue para saber mais.