Accelera le analisi e i carichi di lavoro di intelligenza artificiale con Delta Engine con tecnologia Photon in Azure Databricks

Annunciamo oggi l'anteprima di Delta Engine con tecnologia Photon in Azure Databricks, un servizio di analisi e intelligenza artificiale veloce, facile e collaborativo. Photon, creato da zero in C++ e completamente compatibile con le API Spark, è un motore di query vettorizzato che sfrutta i vantaggi dell'architettura CPU moderna, oltre a Delta Lake, per migliorare le prestazioni di Apache Spark 3.0 fino a 20 volte. Sempre più organizzazioni in tutto il mondo adottano il processo decisionale basato sui dati ed è quindi diventato indispensabile investire in una piattaforma in grado di analizzare rapidamente quantità elevatissime e moltissimi tipi di dati. Non è stato tuttavia facile. Benché le prestazioni per le risorse di archiviazione e di rete siano decuplicate, le velocità di elaborazione della CPU sono aumentate solo marginalmente. Se le CPU sono diventate il collo di bottiglia, ci si domanda quindi come sia possibile raggiungere un livello superiore di prestazioni.  La risposta offerta da Photon è basata su un maggiore parallelismo nell'elaborazione della CPU a livello di dati e a livello di istruzioni. Delta Engine con tecnologia Photon è un motore di query vettorizzato compatibile al 100% con Apache Spark, progettato per sfruttare i vantaggi dell'architettura CPU moderna per offrire un'elaborazione parallela estremamente veloce dei dati. Questo motore, scritto da zero in C++ per sfruttare i vantaggi dell'hardware moderno e del parallelismo a livello di dati e di istruzioni della CPU, ottimizza l'elaborazione del testo e le espressioni regolari per abilitare prestazioni elevate in applicazioni e dati concreti. È completamente compatibile con le API di Apache Spark™ per assicurare che i carichi di lavoro vengano eseguiti senza problemi e senza modifiche al codice. Azure Databricks era già velocissimo rispetto ad Apache Spark e ora Delta Engine con tecnologia Photon offre prestazioni ancora più elevate per carichi di lavoro moderni di analisi e di intelligenza artificiale in Azure. Abbiamo eseguito un test del benchmark standard di settore TPC Benchmark DS (TPC-DS) da 30 TB per misurare la velocità di elaborazione e abbiamo scoperto che Delta Engine con tecnologia Photon è 20 volte più veloce di Spark 2.4.

Per scoprire di più, leggi il blog.