Azure Databricks üzerinde Photon destekli Delta Engine ile analizi ve yapay zeka iş yüklerini hızlandırın
Yayımlanma tarihi: 22 Eylül, 2020
Bugün, Photon destekli Delta altyapısının hızlı, kolay ve işbirliğine dayalı analiz ve yapay zeka hizmeti Azure Databricks üzerinde önizleme aşamasında kullanıma sunulduğunu duyuruyoruz. C++ üzerinde sıfırdan oluşturulan ve Spark API'lerle tamamen uyumlu olan Photon, Delta Lake'le birlikte modern CPU mimarisinden yararlanarak Apache Spark 3.0'ın performansını 20 kata kadar artıran, vektör haline getirilmiş bir sorgu altyapısıdır. Dünya genelindeki kuruluşlar veri odaklı karar verme yaklaşımını benimsedikçe, büyük miktarlarda ve çok farklı türlerde verileri hızlıca analiz edebilecek bir platforma yatırım yapmaları kaçınılmaz oldu. Ancak, bu kolay değildi. Depolama ve ağ performansı 10 kat artsa da CPU işleme hızları yalnızca düşük bir miktarda arttı. Bu da şu soruyu beraberinde getirdi: CPU'lar sorun haline geldiyse üst düzey performansı nasıl yakalarız? Photon cevabı, hem veri düzeyinde hem de yönerge düzeyinde daha paralel CPU işlemede yatmaktadır. Photon destekli Delta Engine, olağanüstü hızlı paralel veri işleme için modern CPU mimarisinden yararlanmak üzere tasarlanan, Apache Spark ile tamamen uyumlu, vektör haline getirilmiş bir sorgu altyapısıdır. C++ üzerinde sıfırdan yazılarak modern donanımın yanı sıra veri düzeyinde ve CPU yönergesi düzeyinde paralellikten yararlanan bu altyapı, metin işlemeyi ve düzenli ifadeleri iyileştirerek gerçek veri ve uygulamalarda hızlı performansa imkan tanır. Apache Spark™ API'lerle tamamen uyumlu olduğundan, kod değişikliği olmadan iş yüklerinin sorunsuzca çalışmasına imkan tanır. Azure Databricks zaten Apache Spark'a kıyasla son derece hızlıydı. Şimdiyse Photon destekli Delta Engine, Azure üzerinde modern analiz ve yapay zeka iş yükleri için daha da yüksek performansı mümkün kılıyor. İşlem hızını ölçmek için endüstri standardındaki karşılaştırmalı değerlendirme testi 30TB TPC Benchmark DS'yi (TPC-DS) uyguladık ve Photon destekli Delta Engine'in Spark 2.4'ten 20 kat daha hızlı olduğunu tespit ettik.
Daha fazla bilgi edinmek için blogu okuyun.