Ускоренная аналитика и рабочие нагрузки ИИ при поддержке Delta Engine на основе Photon в Azure Databricks

Сегодня мы представляем предварительную версию Delta Engine на основе Photon в Azure Databricks — быструю простую службу с возможностями совместной аналитики и ИИ. Векторизованный обработчик Photon, созданный с нуля на C++ и полностью совместимый с API-интерфейсами Spark, использует современную архитектуру ЦП, а также Delta Lake для повышения производительности Apache Spark 3.0 до 20 раз. Так как организации по всему миру внедряют подход к принятию решений на основе данных, для них критическое значение имеют инвестиции в платформу, которая может быстро анализировать огромные объемы данных разных типов. Но это непростая задача. Хотя производительность хранилищ и сетей увеличилась в 10 раз, скорость обработки ЦП увеличилась незначительно. Здесь и возникает вопрос: если ЦП стали ограничивающим фактором, как мы можем добиться нового уровня производительности?  Photon отвечает на него, реализуя улучшенный параллелизм обработки ЦП как на уровне данных, так и на уровне инструкций. Delta Engine на основе Photon — это полностью совместимый с Apache Spark векторизованный обработчик запросов, позволяющий использовать преимущества современной архитектуры ЦП для чрезвычайно быстрой параллельной обработки данных. Этот обработчик написан с нуля на C++, который позволяет использовать преимущества современного оборудования и реализации параллелизма на уровне данных и инструкций ЦП. Он оптимизирует обработку текста и регулярных выражений для повышения производительности приложений и операций обработки реальных данных. Он также полностью совместим с API-интерфейсами Apache Spark™, что позволяет выполнять рабочие нагрузки без изменения кода. Платформа Azure Databricks уже отличается превосходной производительностью по сравнению с Apache Spark, а теперь Delta Engine на основе Photon еще больше ускоряет рабочие нагрузки современной аналитики и ИИ в Azure. Мы выполнили тест 30TB TPC Benchmark DS (TPC-DS), который является стандартным отраслевым тестом, и определили, что скорость обработки в Delta Engine на основе Photon в 20 раз превышает скорость в Spark 2.4.

Дополнительные сведения можно найти в этом блоге.