Dieser Blogbeitrag wurde gemeinsam von Bhanu Prakash, Principal Program Manager, Azure Databricks verfasst.

Wir kündigen nun die allgemeine Verfügbarkeit des Apache Spark 3.0 kompatiblen Apache Spark Verbinden or für SQL Server und Azure SQL an, zugänglich über Maven.

Der Spark 3.0-kompatible Connector wurde anfang dieses Jahres in die Vorschau aufgenommen. Seitdem haben wir eine enorme Kundenakzeptanz gesehen und hilfreiches Kundenfeedback erhalten. Nach der Integration von Verbesserungen und Bugfixes an den Connector in den letzten Monaten freuen wir uns jetzt über die allgemeine Verfügbarkeit dieses Connectors, damit Kunden ihre Nutzung für noch mehr Workloads erweitern können.

Der Apache Spark Verbinden or für SQL Server ist ein leistungsstarker Connector, mit dem Benutzer Transaktionsdaten in Big Data Analytics verwenden und Ergebnisse für Ad-hoc-Abfragen oder Berichte beibehalten können. Sie können SQL Server oder Azure SQL als Eingabedatenquellen oder Ausgabedatensenken für Spark-Aufträge verwenden. Es stellt Masseneinfügungsdaten in die Datenbank bereit und kann zeilenweise Einfügung mit einer Leistung von 10 bis 20 Mal schneller sein als bei der verwendung von Java Database Verbinden ivity (SCRIPT). Darüber hinaus können Kunden diesen Connector verwenden, um Machine Learning-Modelle aus SQL Server Machine Learning Services zu scoren oder Ergebnisse in SQL zu erzielen, nachdem maschinelles Lernen in Spark erfolgt ist.

Gründe für die Verwendung des Apache Spark Verbinden or für SQL Server und Azure SQL

Der Apache Spark Verbinden or für SQL Server und Azure SQL basiert auf der Apache Spark DataSourceV1-API und der SQL Server Bulk-API und verwendet dieselbe Schnittstelle wie der integrierte SQL Spark-SQL-Connector. Auf diese Weise können Sie den Connector problemlos integrieren und Ihre vorhandenen Spark-Aufträge migrieren, indem Sie einfach den Formatparameter aktualisieren.

Wichtige Features und Vorteile des Connectors:

• Kompatibel mit Apache Spark 3.0.
• Unterstützung für alle Apache Spark-Bindungen (Scala, Python, R).
• Standardauthentifizierung, Active Directory(AD)-Schlüsselregisterkarte und Azure Active Directory-Unterstützung.

Weitere Informationen zum Connector und zur Verwendung finden Sie auf der GitHub-Seite. Um den kompatiblen Connector mithilfe von Maven-Koordinaten zu konfigurieren, wenden Sie sich an den Apache Spark Verbinden or für SQL Server- und Azure SQL Maven-Seite, Links zu bestimmten Builds werden auch auf der GitHub-Seite bereitgestellt.

Beteiligen

Der Apache Spark Verbinden or für SQL Server und Azure SQL macht die Interaktion zwischen SQL Server und Apache Spark einwandfrei. Der Connector hat eine wachsende und engagierte Community und wurde tausende male installiert. Wir entwickeln uns kontinuierlich weiter und verbessern den Connector, und wir freuen uns auf Ihr Feedback und Beiträge.

Möchten Sie mitwirken oder Feedback oder Fragen haben? Schauen Sie sich das Projekt auf GitHub an, und folgen Sie uns auf Twitter.

Hinweis: Der Connector wird von der Community unterstützt und enthält keine Microsoft SLA-Unterstützung. Bitte geben Sie ein Problem auf GitHub ein, um die Community zu unterstützen.