Azure Databricks constitue une plateforme d’analyse rapide, simple et collaborative, qui s’appuie sur Apache^® Spark™ pour accélérer et simplifier le processus d’élaboration de solutions de Big Data et d’IA contribuant au développement de l’entreprise, le tout en respectant des contrats de niveau de service parmi les meilleurs du secteur.

Depuis l’annonce de sa disponibilité générale en mars, nous sommes restés à l’écoute des clients et avons ajouté des fonctionnalités au service Azure Databricks. J’ai le plaisir aujourd'hui d’annoncer plusieurs nouveautés d’Azure Databricks.

Disponibilité générale

Azure Databricks est maintenant disponible au Japon, au Canada, en Inde et en Australie Centre

Nous sommes ravis d’annoncer la disponibilité générale d’Azure Databricks dans de nouvelles régions : le Japon, le Canada, l’Inde, l’Australie Centre et l’Australie Centre 2, qui portent à 24 régions la couverture mondiale de disponibilité du produit. Cette disponibilité s’assortir d’un contrat SLA de 99,95 %.

Nous nous efforçons de concevoir notre infrastructure cloud de façon à répondre aux besoins des clients, en favorisant l’innovation à travers le monde. Restez à jour de la disponibilité régionale d’Azure Databricks.

Les organisations bénéficient également de l’intégration native d’Azure Databricks avec d’autres services comme le Stockage Blob Azure, Azure Data Factory, Azure SQL Data Warehouse et Azure Cosmos DB. Les nouvelles solutions d’analyse peuvent ainsi prendre en charge les scénarios d’entreposage de données moderne, d’analyse avancée et d’analyse en temps réel.

Accès conditionnel Azure Active Directory dans Azure Databricks

Azure Databricks prend maintenant en charge l’accès conditionnel Azure Active Directory (AD), qui permet aux administrateurs de contrôler à quels moments et à quels endroits les utilisateurs sont autorisés à se connecter à Azure Databricks.

La sécurité est une priorité pour les organisations qui utilisent le cloud. Or, l’un des aspects clés de la sécurité cloud est l’identité et l’accès en matière de gestion des ressources cloud. Dans les environnements mobiles et cloud, les utilisateurs peuvent accéder aux ressources de l’organisation d’où ils le souhaitent, sur différents appareils et avec différentes applications. Il ne suffit donc plus de contrôler les personnes autorisées à accéder aux ressources. Afin de maîtriser l’équilibre entre sécurité et productivité, il faut également tenir compte, dans toute décision de contrôle d’accès, des modes d’accès utilisés. L’accès conditionnel Azure Active Directory répond à ce besoin. Cette fonctionnalité d’Azure Active Directory permet d’appliquer des décisions automatisées et conditionnelles de contrôle des accès aux applications cloud.

Pour profiter dès aujourd’hui des avantages de l’accès conditionnel Azure Active Directory dans Azure Databricks, les clients peuvent créer une stratégie d’accès conditionnel dans Azure AD sur le portail. Pour plus d’informations sur l’accès conditionnel Azure AD, lisez la documentation Azure Databricks.

Aperçu

Azure Databricks Delta

Azure Databricks Delta, disponible aujourd’hui en préversion, est une puissante couche de stockage transactionnelle conçue sur Apache Spark pour renforcer la cohérence des données et accélérer l’accès en lecture.

Le fait que les clients continuent d’élaborer des pipelines complexes de lots et flux de données pousse à simplifier les pipelines ETL. Afin d’avoir une vision cohérente de l’ensemble, les clients multiplient souvent les phases de leurs pipelines pour tenir compte de l’évolution des schémas et prendre en charge les modèles lambda en distinguant le traitement par lots et par flux.

Utilisé conjointement avec des tables Spark, Azure Databricks Delta permet à plusieurs utilisateurs ou plusieurs tâches de modifier simultanément un jeu de données tout en bénéficiant d’un affichage cohérent et sans interférer avec les autres tâches qui lisent le même jeu de données dans la table. Azure Databricks Delta exploite les fichiers Parquet, mais conserve un journal des transactions qui améliore la gestion des fichiers en organisant les données dans de gros fichiers dont la lecture est bien plus efficace. Par ailleurs, des statistiques intégrées améliorent les performances grâce au Data Skipping, qui évite d’avoir à lire les informations non pertinentes.

Azure Databricks Delta est aujourd’hui disponible en préversion : lisez notre documentation pour plus d’informations et importez notre bloc-notes de démarrage rapide.

Azure Databricks prend en charge Azure SQL Data Warehouse comme récepteur de flux

Nous sommes ravis d’annoncer aux utilisateurs d’Azure Databricks qu’ils peuvent transmettre directement des données à SQL Data Warehouse grâce aux flux structurés. Il leur est ainsi possible de visualiser et de présenter des données en quasi temps réel dans SQL DW, en s’aidant de pipelines de diffusion en temps réel élaborés avec des flux structurés. Le processus de prise de décision s’en trouve accéléré à l’échelle de toute l’entreprise.

La croissance explosive du volume de données analysées, la prolifération des différents types de données et l’exigence d’analyses en temps réel rendent indispensable la mise en place d’un hub permettant de visualiser toutes les données. SQL Data Warehouse (SQL DW) est un entrepôt de données d’entreprise cloud qui utilise le traitement massivement parallèle pour exécuter efficacement des requêtes complexes sur des pétaoctets de données. L’entrepôt de données peut jouer le rôle d’unique version fiable, sur laquelle s’appuie l’entreprise pour les visualisations et les insights.

Étendues des secrets avec la prise en charge d’Azure Key Vault avec Azure Databricks

Azure Databricks est nativement compatible avec Azure Data Lake Storage, Cosmos DB, SQL DW, Event Hubs, IoT Hubs et d’autres services. Nous avons maintenant la possibilité de permettre aux clients de stocker des chaînes de connexion ou des secrets dans Azure Key Vault.

Azure Key Vault permet de stocker et de gérer en toute sécurité les secrets des applications, réduisant ainsi les risques de perte accidentelle d’informations de sécurité grâce à la centralisation du stockage.

Les scientifiques des données et développeurs qui utilisent Key Vault avec Azure Databricks pour créer des étendues de secrets n’ont plus besoin de stocker des informations de sécurité comme des jetons SAS ou des chaînes de connexion dans leurs blocs-notes. L’accès à un coffre de clés passe par l’authentification et l’autorisation adéquates de l’utilisateur. L’authentification établit son identité, tandis que l’autorisation détermine quelles opérations il est autorisé à effectuer.

Par ailleurs, Azure Databricks prend maintenant en charge deux types d’étendues de secrets : Azure Key Vault et Databricks. Pour plus d’informations, voir Étendue des secrets Azure Key Vault.

Spark + AI Summit Europe

Microsoft sera l’une des figures marquantes de Spark + AI Summit Europe 2018, la principale manifestation de la communauté Apache Spark. Rohan Kumar, vice-président du groupe Azure Data, sera conférencier d’honneur ; à cette occasion, il expliquera comment Azure Databricks retire le meilleur de la plateforme d’analyse Apache® Spark™ et des services Microsoft Azure Data afin d’aider les clients à exploiter tout le potentiel des données et à inventer de nouvelles possibilités pour l’IA et pour améliorer notre monde. Lors de l’événement Spark + AI Summit, différentes sessions seront consacrées aux réussites de nos clients et partenaires, et au rôle joué par Azure Databricks pour leur permettre d’atteindre un tout autre niveau de productivité.

Commencez dès aujourd'hui !

Nous sommes impatients de connaître votre avis sur Azure Databricks ! Lancez-vous dès maintenant et faites-nous part de vos commentaires.

• Testez la version d’essai de 14 jours d’Azure Databricks Premium avec unités Databricks gratuites.
• Inscrivez-vous à notre webinaire pour découvrir comment Lennox a élaboré une solution IoT scalable avec Azure Databricks.
• Regardez cette vidéo pour savoir comment bien démarrer avec Apache Spark sur Azure Databricks.
• Téléchargez les trois cas d'usage pratiques avec le livre électronique Azure Databricks.