Azure Databricks에서 Photon 기반 Delta Engine으로 분석 및 AI 워크로드 가속화
게시된 날짜: 9월 22, 2020
오늘 Microsoft는 쉽고 빠르며 협업이 가능한 분석 및 AI 서비스인 Azure Databricks에서 Photon 기반 Delta Engine의 미리 보기를 발표합니다. 처음부터 C++를 기반으로 빌드되고 Spark API와 완벽하게 호환되는 Photon은 벡터화된 쿼리 엔진이며, Delta Lake와 함께 최신 CPU 아키텍처를 활용하여 Apache Spark 3.0의 성능을 최대 20배 향상할 수 있습니다. 전 세계 조직들이 데이터 기반 의사 결정 방식을 받아들이면서 대용량의 다양한 데이터를 신속하게 분석할 수 있는 플랫폼에 대한 투자는 필수가 되었습니다. 하지만 간단한 문제는 아니었습니다. 스토리지 및 네트워크 성능은 10배 향상되었지만 CPU 처리 속도는 약간 빨라지는 데 그쳤습니다. 그래서 CPU에서 병목 현상이 발생하게 되면 성능을 어떻게 한 단계 더 향상할 수 있겠냐는 의문이 생겼습니다. 데이터 수준 및 명령 수준 모두에서 CPU의 병렬 처리를 향상하는 Photon에서 그 답을 찾게 되었습니다. Photon 기반 Delta Engine은 Apache Spark와 완벽하게 호환되는 벡터화된 쿼리 엔진이며, 데이터의 매우 빠른 병렬 처리를 위해 최신 CPU 아키텍처를 활용하도록 설계되었습니다. 처음부터 끝까지 C++로 작성되어 최신 하드웨어를 활용하고 데이터 수준 및 CPU 명령 수준 병렬 처리를 이용하는 이 엔진은 텍스트 처리 및 정규식을 최적화하여 실제 데이터 및 애플리케이션에서 빠른 성능을 사용할 수 있도록 합니다. 또한 Apache Spark™ API와 완벽하게 호환되어 코드를 변경하지 않고도 원활하게 워크로드를 실행할 수 있습니다. Azure Databricks는 Apache Spark에 비해 이미 엄청나게 빠르며, Photon 기반 Delta Engine은 Azure에서 최신 분석 및 AI 워크로드에 대해 훨씬 더 빠른 성능을 제공합니다. 업계 표준 벤치마크 테스트인 30TB TPC-DS(TPC Benchmark DS)를 실행하여 처리 속도를 측정했으며 Photon 기반 Delta Engine이 Spark 2.4보다 20배 빠르다는 것을 확인했습니다.
자세한 내용은 블로그를 참조하세요.