Przyspieszanie obciążeń analitycznych i AI przy użyciu aparatu Delta obsługiwanego przez aparat Photon w usłudze Azure Databricks

Dzisiaj ogłaszamy wersję zapoznawczą aparatu Delta obsługiwanego przez aparat Photon w usłudze Azure Databricks — szybkiej, prostej i umożliwiającej współpracę usłudze do obsługi analizy i sztucznej inteligencji (AI, artificial intelligence). Utworzony od podstaw w języku C++ i w pełni zgodny z interfejsami API platformy Spark aparat Photon to wektoryzowany aparat zapytań, który korzysta z nowoczesnej architektury procesorów CPU oraz warstwy Delta Lake, aby zwiększyć wydajność platformy Apache Spark 3.0 nawet 20 razy. W miarę jak organizacje na całym świecie zaczynają wprowadzać podejmowanie decyzji oparte na danych niezwykle ważne staje się dla nich inwestowanie w platformę umożliwiającą szybkie analizowanie ogromnych ilości i typów danych. Jest to jednak wyzwanie. Wydajność magazynu i sieci zwiększyła się dziesięciokrotnie, natomiast szybkość przetwarzania procesorów CPU wzrosła niewiele. Prowadzi to do następującego pytania: jeśli procesory CPU stały się wąskim gardłem, jak możemy osiągnąć następny poziom wydajności?  W przypadku aparatu Photon odpowiedź opiera się na większej równoległości przetwarzania procesora CPU zarówno na poziomie danych, jak i na poziomie instrukcji. Aparat Delta obsługiwany przez aparat Photon to w 100% zgodny z platformą Apache Spark wektoryzowany aparat zapytań zaprojektowany tak, aby korzystać z nowoczesnej architektury procesorów CPU w celu wyjątkowo szybkiego równoległego przetwarzania danych. Napisany od podstaw w języku C++ pod kątem wykorzystania nowoczesnego sprzętu oraz równoległości na poziomie danych i na poziomie instrukcji procesora CPU ten aparat optymalizuje przetwarzanie tekstu oraz wyrażenia regularne, aby zapewnić wysoką wydajność w przypadku rzeczywistych danych i aplikacji. Jest on w pełni zgodny z interfejsami API platformy Apache Spark™, aby zapewnić bezproblemowe działanie obciążeń bez zmian w kodzie. Usługa Azure Databricks już była znacznie szybsza niż platforma Apache Spark, a teraz aparat Delta obsługiwany przez aparat Photon zapewnia jeszcze wyższą wydajność w przypadku nowoczesnych obciążeń z zakresu analizy i AI na platformie Azure. Przeprowadziliśmy będący standardem branżowym test porównawczy TPC Benchmark DS (TPC-DS) o skali 30 TB, aby zmierzyć prędkość przetwarzania. Wyniki wskazały, że aparat Delta obsługiwany przez aparat Photon jest 20 razy szybszy niż platforma Spark 2.4.

Aby dowiedzieć się więcej, odwiedź blog.