Acelere el análisis y las cargas de trabajo de inteligencia artificial mediante Delta Engine con tecnología de Photon en Azure Databricks

Hoy anunciamos la versión preliminar de Delta Engine con tecnología de Photon en Azure Databricks : análisis rápido, sencillo y colaborativo y servicio de inteligencia artificial. Photon, creado desde cero en C++ y totalmente compatible con las API de Spark, es un motor de consultas vectorizado que aprovecha la arquitectura de CPU moderna junto con Delta Lake para mejorar el rendimiento de Apache Spark 3.0 hasta veinte veces más. A medida que las organizaciones de todo el mundo adoptan la toma de decisiones basada en datos, ha sido fundamental que inviertan en una plataforma capaz de analizar rápidamente grandes cantidades y tipos de datos. Sin embargo, esto ha sido un desafío. Aunque el rendimiento de red y el almacenamiento se han multiplicado por 10, la velocidad de procesamiento solo ha aumentado ligeramente. Esto lleva a preguntarse si las CPU se han convertido en el cuello de botella y cómo podemos conseguir el máximo nivel de rendimiento.  La respuesta con Photon radica en un mayor paralelismo del procesamiento de la CPU a nivel de datos y a nivel de instrucciones. Delta Engine con tecnología de Photon es un motor de consultas vectorizado totalmente compatible con Apache Spark diseñado para beneficiarse de una arquitectura de CPU moderna para un procesamiento de datos paralelo extremadamente rápido. Este motor, escrito desde cero en C++ para aprovechar el hardware moderno y sacar partido del paralelismo entre el nivel de instrucción de la CPU y el nivel de datos, optimiza el procesamiento de texto y las expresiones regulares para permitir un rendimiento rápido en datos y aplicaciones reales. Es totalmente compatible con las API de Apache Spark™ para garantizar que las cargas de trabajo se ejecutan sin problemas y sin necesidad de cambiar el código. Azure Databricks ya era increíblemente rápido en comparación con Apache Spark y, ahora, Delta Engine con tecnología de Photon permite conseguir un rendimiento aún más rápido para cargas de trabajo modernas de inteligencia artificial y análisis en Azure. Ejecutamos una prueba comparativa con el estándar del sector TPC Benchmark DS (TPC-DS) de 30 TB para medir la velocidad de procesamiento y observamos que Delta Engine con tecnología de Photon era veinte veces más rápido que Spark 2.4.

Lea el blog para obtener más información.