Nieuwe Common Data Model-connector voor Apache Spark in Azure Synapse Analytics & Azure Databricks (preview-versie)
Publicatiedatum: 30 september, 2020
Common Data Model (CDM) biedt een consistente manier om het schema en de semantiek te beschrijven van gegevens die zijn opgeslagen in Azure Data Lake Storage (ADLS). Hierdoor kunnen gegevens worden geëxporteerd in CDM-indeling uit toepassingen zoals Dynamics 365 en eenvoudig worden toegewezen aan het schema en de semantiek van gegevens die zijn opgeslagen in andere services.
Vandaag kondigen we een nieuwe CDM-connector aan die het CDM-ecosysteem uitbreidt door services in te schakelen die gebruikmaken van Apache Spark om CDM-gegevens in CSV- of Parquet-indeling te lezen en schrijven. Dit wordt gedaan door middel van een dataframe-abstractie die toegankelijk is vanuit Scala, Python of Spark SQL. Voor deze nieuwe Spark CDM-connector is geen configuratie vereist en deze wordt vooraf geïnstalleerd met Azure Synapse Analytics. De connector kan ook worden geïnstalleerd en gebruikt met Azure Databricks.