Acelere as cargas de trabalho de IA e de análise com o mecanismo Photon da plataforma Delta Engine no Azure Databricks

Hoje, estamos anunciando a versão prévia do Photon da plataforma Delta Engine no Azure Databricks: serviço de IA e Análise rápido, fácil e colaborativo. Criado do zero no C++ e totalmente compatível com as APIs do Spark, o Photon é um mecanismo de consulta vetorizado que aproveita a arquitetura de CPU moderna, juntamente com o Delta Lake, para aprimorar o desempenho do Apache Spark 3.0 em até 20 vezes. Como as organizações em todo o mundo adotam a tomada de decisões orientada a dados, ela se tornou imperativa para investir em uma plataforma capaz de analisar rapidamente grandes quantidades e tipos de dados. No entanto, isso tem sido um desafio. Embora o desempenho de rede e de armazenamento tenha aumentado dez vezes, as velocidades de processamento de CPU aumentaram muito pouco. Isso leva à pergunta: se as CPUs se tornarem o gargalo, como poderemos atingir o próximo nível de desempenho?  No Photon, essa resposta consiste em um paralelismo maior de processamento de CPU no nível de dados e no nível de instrução. O Photon com o Delta Engine é um mecanismo de consulta vetorizado totalmente compatível com o Apache Spark projetado para tirar proveito da arquitetura de CPU moderna para processamento paralelo extremamente rápido de dados. Escrito do zero no C++ para aproveitar o hardware moderno e capitalizar sobre o paralelismo do nível de instrução da CPU e do nível de dados, esse mecanismo otimiza o processamento de texto e as expressões regulares para permitir um desempenho rápido em dados e aplicativos do mundo real. Ele é totalmente compatível com as APIs do Apache Spark™ para garantir que as cargas de trabalho sejam executadas perfeitamente sem alterações de código. O Azure Databricks já era muito mais rápido em comparação ao Apache Spark e, agora, o Photon da plataforma Delta Engine permite um desempenho ainda mais rápido para as cargas de trabalho modernas de IA e de análise no Azure. Executamos um teste de benchmark padrão do setor TPC-DS (TPC Benchmark DS) de 30 TB para medir a velocidade de processamento e descobrimos que o Photon da plataforma Delta Engine é 20 vezes mais rápido do que o Spark 2.4.

Leia o blog para saber mais.