Ugrás a tartalomra
ELŐZETES VERZIÓBAN

Gyorsítsa fel az elemzési és az AI-alapú számítási feladatokat a Photon-alapú Delta motorral az Azure Databricksen

Közzététel dátuma: szeptember 22, 2020

Ma bejelentjük az Azure Databricksben a Photon-alapú Delta motor előzetes verziójú elérhetőségét – gyors, könnyű és együttműködő elemzési és AI-szolgáltatásokhoz. A Photon egy vektoros lekérdezési nyelv, melyet az alapoktól építettük fel C++-ban. Teljes mértékben kompatibilis a Spark API-kkal, és a modern CPU-architektúrák és a Delta Lake előnyeinek kihasználásával javítja az Apache Spark 3.0 teljesítményét akár 20-szoros mértékben. Ma, amikor a szervezetek világszerte áttérnek az adatokon alapuló döntéshozatalra, elengedhetetlenné vált számukra, hogy egy olyan platformba fektessenek be, amely gyorsan képes elemezni óriási mennyiségű és szerteágazó típusú adatokat. Ez azonban újabb megoldandó problémákat vet fel. Míg a tárolás és a hálózat teljesítménye több mint tízszeresére nőtt, addig a CPU-feldolgozási sebességek csak marginálisan növekednek. Ez felveti a kérdést, hogy ha a processzorok váltak a szűk keresztmetszetté, hogyan érhetjük el a teljesítmény fokozását?  A Photon válasza erre a processzor által végzett feldolgozás még nagyobb párhuzamossága mind az adatok, mind az utasítások szintjén. A Photon-alapú Delta motor egy teljes mértékben Apache Spark-kompatibilis vektoros lekérdezési motor, amely a modern CPU-architektúra előnyeit kihasználva rendkívül gyors, párhuzamos adatfeldolgozást tesz lehetővé. Ezt a motort az alapoktól építettük fel C++-ban úgy, hogy ki tudja használni a modern hardvereket, és hogy hasznosítani tudja az adatszintű és a CPU-utasítás szintű párhuzamosságot is, így a szövegek és a reguláris kifejezések feldolgozásának optimalizálásával gyors teljesítményt tesz elérhetővé a valós adatokkal és alkalmazásokkal. Teljes mértékben kompatibilis az Apache Spark™ API-kkal, így biztosítható, hogy a számítási feladatok gördülékenyen fussanak kódmódosítások nélkül. Az Azure Databricks az Apache Sparkhoz képest már eddig is villámgyors volt, most pedig a Photon-alapú Delta motor még gyorsabb teljesítményt tesz lehetővé a modern elemzési és AI-alapú számítási feladatok számára az Azure-ban. Egy 30 TB-os TPC Benchmark DS (TPC-DS), iparági szabványnak megfelelő teljesítménytesztet futtattunk a feldolgozási sebesség méréséhez, melynek az volt az eredménye, hogy a Photonon alapuló Delta motor hússzor gyorsabb, mint a Spark 2.4.

További információt a blogon találhat.

  • Azure Databricks
  • Features
  • Services

Kapcsolódó termékek