Ce billet de blog a été co-créé par Bhanu Prakash, Principal Program Manager, Azure Databricks.

Nous annonçons maintenant la disponibilité générale d’Apache Spark 3.0 compatible avec Apache Spark Connecter or pour SQL Server et Azure SQL, accessible via Maven.

Le connecteur compatible Spark 3.0 est entré en préversion au début de l’année. Depuis lors, nous avons vu une adoption considérable des clients et nous avons reçu des commentaires utiles sur les clients. Au cours des derniers mois, après avoir intégré des améliorations et des correctifs de bogues au connecteur, nous sommes maintenant ravis de la disponibilité générale de ce connecteur afin que les clients puissent étendre leur utilisation pour encore plus de charges de travail.

Le Connecter or Apache Spark pour SQL Server est un connecteur hautes performances qui permet aux utilisateurs d’utiliser des données transactionnelles dans l’analytique Big Data et de conserver les résultats pour les requêtes ou les rapports ad hoc. Il vous permet d’utiliser SQL Server ou Azure SQL comme sources de données d’entrée ou récepteurs de données de sortie pour les travaux Spark. Il fournit des données d’insertion en bloc dans la base de données et peut entraîner une insertion de ligne par ligne avec des performances de 10 à 20 fois plus rapides, par rapport à l’utilisation de la base de données Java Connecter ivity (JDBC). En outre, les clients peuvent utiliser ce connecteur pour noter les modèles Machine Learning à partir de SQL Server Machine Apprentissage Services, ou noter des résultats dans SQL après avoir effectué l’apprentissage automatique dans Spark.

Pourquoi utiliser le Connecter or Apache Spark pour SQL Server et Azure SQL

Le Connecter or Apache Spark pour SQL Server et Azure SQL est basé sur l’API Apache Spark DataSourceV1 et l’API en bloc SQL Server et utilise la même interface que le connecteur JDBC Spark-SQL intégré. Cela vous permet d’intégrer facilement le connecteur et de migrer vos travaux Spark existants en mettant simplement à jour le paramètre de format.

Fonctionnalités et avantages notables du connecteur :

• Compatible avec Apache Spark 3.0.
• Prise en charge de toutes les liaisons Apache Spark (Scala, Python, R).
• Authentification de base, onglet Clé Active Directory (AD) et prise en charge d’Azure Active Directory.

Pour en savoir plus sur le connecteur et comment l’utiliser, visitez la page GitHub. Pour configurer le connecteur compatible à l’aide des coordonnées Maven, contactez l’Connecter or Apache Spark pour SQL Server et la page Azure SQL Maven, les liens vers des builds spécifiques sont également fournis sur la page GitHub.

Être impliqué

Le Connecter or Apache Spark pour SQL Server et Azure SQL rend l’interaction entre SQL Server et Apache Spark impeccable. Le connecteur a une communauté croissante et engagée, et a été installé des milliers de fois. Nous sommes en constante évolution et en amélioration du connecteur, et nous nous réjouissons de vos commentaires et contributions.

Vous souhaitez contribuer ou avoir des commentaires ou des questions ? Consultez le projet sur GitHub et suivez-nous sur Twitter.

Remarque : Le connecteur est pris en charge par la communauté et n’inclut pas la prise en charge du contrat SLA Microsoft. Envoyez un problème sur GitHub pour impliquer la communauté pour obtenir de l’aide.