Neuer Common Data Model-Connector für Apache Spark in Azure Synapse Analytics und Azure Databricks (in der Vorschau)
Veröffentlichungsdatum: 30 September, 2020
Mit dem Common Data Model (CDM) können Sie das Schema und die Semantik von in Azure Data Lake Storage (ADLS) gespeicherten Daten konsistent beschreiben. Dadurch können Daten im CDM-Format aus Anwendungen wie Dynamics 365 exportiert und problemlos dem Schema und der Semantik von Daten zugeordnet werden, die in anderen Diensten gespeichert sind.
Heute kündigen wir einen neuen CDM-Connector an, der das CDM-Ökosystem erweitert, indem Dienste, die Apache Spark verwenden, nun die mit dem CDM beschriebenen Daten im CSV- oder Parquet-Format lesen und schreiben können. Dies erfolgt über eine Datenrahmenabstraktion, auf die von Scala, Python oder Spark SQL aus zugegriffen werden kann. Dieser neue CDM-Connector für Spark erfordert keine Konfiguration und ist in Azure Synapse Analytics bereits vorinstalliert. Der Connector kann auch mit Azure Databricks installiert und verwendet werden.