Новый соединитель Common Data Model для Apache Spark в Azure Synapse Analytics и Azure Databricks (в предварительной версии)
Дата публикации: 30 сентября, 2020
Common Data Model (CDM) предоставляет единый способ описания схемы и семантики данных, хранящихся в Azure Data Lake Storage (ADLS). Это позволяет экспортировать данные в формате CDM из таких приложений, как Dynamics 365, и легко сопоставлять их со схемой и семантикой данных, хранящихся в других службах.
Сообщаем о выпуске нового соединителя CDM, который расширяет экосистему CDM, позволяя службам, использующим Apache Spark, считывать и записывать данные CDM в формате CSV или Parquet. Это делается с помощью абстракции кадров данных, доступ к которой можно получить из Scala, Python или Spark SQL. Этот новый соединитель CDM для Spark, не требующий настройки, устанавливается в составе Azure Synapse Analytics. Кроме того, его можно установить и использовать с Azure Databricks.