Azure SQL Data Warehouse devient Azure Synapse Analytics

Publié le 7 novembre, 2019

Director of Product, Azure Data

Le 4 novembre, nous avons annoncé Azure Synapse Analytics, prochaine évolution d'Azure SQL Data Warehouse. Azure Synapse est un service d’analytique illimité qui regroupe l’entreposage des données d’entreprise et l’analytique de Big Data. Il vous donne la possibilité d’interroger les données selon vos conditions, en utilisant des ressources serverless à la demande ou provisionnées, le tout à grande échelle. Azure Synapse regroupe ces deux univers en proposant une expérience unifiée en matière d’ingestion, de préparation, de gestion et de distribution des données pour répondre aux besoins immédiats en matière d’apprentissage automatique et de processus décisionnels.

Grâce à Azure Synapse, les professionnels de la gestion des données peuvent interroger les données, relationnelles ou non, en utilisant le langage SQL qu’ils connaissent bien. Pour ce faire, il est possible d’utiliser des requêtes serverless à la demande pour une exploration de données et une analyse ad hoc, ou des ressources approvisionnées pour répondre à vos besoins les plus exigeants en matière d'entreposage de données. Un seul service pour toute charge de travail.

En fait, il s’agit du premier et unique système d’analytique à avoir exécuté l’ensemble des requêtes TCP-H à l’échelle du pétaoctet. Les clients SQL Data Warehouse actuels peuvent continuer d’exécuter leurs charges de travail d’entrepôts de données actuellement en production avec Azure Synapse, et tirer automatiquement parti des nouvelles fonctionnalités en préversion quand elles seront généralement disponibles. Vous pouvez vous inscrire pour obtenir la préversion des nouvelles fonctionnalités telles que la requête serverless à la demande, le studio Azure Synapse et l'intégration d’Apache Spark™.

  Diagramme montrant comment Azure Synapse Analytics se connecte à Power BI, à Azure Machine Learning et à votre écosystème.

Utilisation de SQL au-delà de l’entreposage de données

Un moteur de traitement SQL distribué natif du cloud est à la base d’Azure Synapse et permet au service de prendre en charge les charges de travail d'entreposage de données d'entreprise les plus exigeantes. Cette semaine, à Ignite, nous avons présenté un certain nombre de fonctionnalités prometteuses pour faciliter l’entreposage de données avec Azure Synapse et permettre aux organisations d’utiliser SQL pour un ensemble plus large de cas d’utilisation à des fins d’analyse.

Extrayez plus rapidement des insights puissants toutes les données

Azure Synapse s'intègre étroitement avec Power BI et Azure Machine Learning afin d’extraire des insights tous les utilisateurs, des scientifiques des données codant à l’aide de statistiques aux employés utilisant Power BI. Et pour rendre tous les types d’analyses possibles, nous annonçons la prise en charge des prédictions intégrées en mode natif, ainsi que des améliorations au niveau de runtime de la manière dont Azure Synapse gère les données diffusée en continu, les fichiers Parquet et Polybase. Voyons cela plus en détail :

  • Avec l’instruction PREDICT native, Vous pouvez désormais scorer les modèles de Machine Learning dans votre entrepôt de données, ce qui vous dispense des opérations de déplacement de données complexes et d’envergure. La fonction PREDICT (disponible en préversion) s’appuie sur une infrastructure à modèle ouvert et prend des données utilisateur en entrée pour générer des prédictions. Les utilisateurs peuvent convertir des modèles existants formés dans Azure Machine Learning, Apache Spark™ ou d'autres infrastructures, en une représentation de format interne, sans avoir à commencer à partir de rien, ce qui accélère l’extraction de l'insight.

Diagramme montrant comment créer et charger des modèles pour les évaluer avec SQL Analytics dans Data Warehouse.

  • Nous avons activé la prise en charge de d’ingestion directe de diffusion en continu et la possibilité d’exécuter des requêtes analytiques sur des données diffusées en continu. Des fonctionnalités telles que les jointures entre plusieurs entrées de diffusion en continu, les agrégations au sein d’une ou plusieurs entrées de diffusion en continu, la transformation de données semi-structurées et les fenêtres temporelles multiples sont toutes prises en charge directement dans votre environnement d’entreposage de données (disponible en préversion). Pour l’ingestion de diffusion en continu, les clients peuvent opérer une intégration avec Event Hubs (y compris Event Hubs pour Kafka) et avec IoT Hub.

  • Nous éliminons également la barrière qui empêche le partage sécurisé et simple de données à l'intérieur ou à l'extérieur de l’organisation, avec l'intégration d’ Azure Data Share pour le partage de données tant du lac de données que de l’entrepôt de données.

  • En utilisant la nouvelle technologie ParquetDirect, nous effectuons des requêtes interactives sur le lac de données (en préversion). Cette technologie est conçue pour accéder aux fichiers Parquet avec un support natif directement intégré au moteur. Grâce à des taux d’analyse de données améliorés, à la mise en cache intelligente des données et au traitement par lots de columnstore, nous avons amélioré l’exécution de Polybase de plus de 13 x.

Graphique illustrant l'amélioration des performances avec ParquetDirect.

Isolation des charges de travail

Pour accompagner les clients dans la démocratisation de leurs entrepôts de données, nous annonçons de nouvelles fonctionnalités de gestion intelligente des charges de travail. La nouvelle fonctionnalité d’isolation des charges de travail vous permet de gérer l’exécution de charges de travail hétérogènes tout en offrant la flexibilité et le contrôle des ressources d’entrepôt de données. Cela se traduit par une prévisibilité de l’exécution améliorée et augmente la capacité à honorer les contrats SLA prédéfinis.

Image montrant l'isolation de la charge de travail dans l'entrepôt de données.

Instruction COPY

L'analyse de données à l'échelle du pétaoctet nécessite l'ingestion de données à l'échelle du pétaoctet. Pour simplifier le processus d’ingestion de données, nous introduisons une instruction COPY simple et flexible. Une seule commande suffit pour qu’Azure Synapse permette l’ingestion transparente des données dans un entrepôt de données de manière rapide et sécurisée.

Cette nouvelle instruction COPY permet d'utiliser une seule instruction T-SQL pour charger des données, analyser des fichiers CSV standard, etc.

Exemple de code d'instruction COPY :

COPY INTO dbo.[FactOnlineSales] FROM ’https://contoso.blob.core.windows.net/Sales/’

Conservation sécurisée des données avec une sécurité inégalée

Azure propose les fonctionnalités de gestion de la sécurité et de la confidentialité les plus avancées du marché. Ces fonctionnalités sont intégrées dans la structure de Microsoft Azure Synapse (détection automatisée des menaces et chiffrement des données en continu). Et pour affiner le contrôle d’accès, l’entreprise peut veiller à la sûreté et à la confidentialité des données en appliquant une sécurité native au niveau des colonnes et des lignes, ainsi qu’en masquant les données dynamiques (désormais généralement disponible) afin de protéger automatiquement les données sensibles en temps réel.

Pour améliorer encore la sécurité et la confidentialité, nous introduisons Azure Private Link. Il offre un moyen sécurisé et évolutif de consommer des ressources déployées à partir de votre propre réseau virtuel Azure (VNet). Une connexion sécurisée est établie à l'aide d'un flux d'appel basé sur un consentement. Une fois la connexion établie, toutes les données qui circulent entre Azure Synapse et les consommateurs du service sont isolées d’Internet et restent sur le réseau Microsoft. Il n’est plus nécessaire que des passerelles, des appareils NAT ou des adresses IP publiques communiquent avec ce service.

Image montrant Azure Private Link: un moyen sécurisé et évolutif de consommer des ressources déployées à partir de votre propre réseau virtuel Azure.

Commencez dès aujourd'hui

Aujourd’hui, les entreprises peuvent continuer à exécuter leurs charges de travail d’entrepôt de données existantes dans un environnement de production, grâce aux fonctionnalités de Microsoft Azure Synapse disponibles au niveau mondial.


Azur. Inventez en ayant un but.