Azure simplifie l’analyse cloud

Publié le 27 juin, 2018

General Manager, Azure Storage & Azure Stack
Depuis le 7 février 2019, Azure Data Lake Gen 2 est généralement disponible. Pour plus d’informations, consultez le billet de blog intitulé « Individuellement géniaux, collectivement inégalés : Annonce de mises à jour de 3 excellents services de données Azure ».

Le contexte actuel est régi par les données et les systèmes d’analyse et l’intelligence artificielle sont désormais incontournables pour gérer cette transformation. Les clients ont largement bénéficié des performances, de la flexibilité et des faibles coûts d’Azure pour les charges de travail d’analyse et d’intelligence artificielle. Nous présentons aujourd’hui de nouvelles fonctionnalités dans Azure qui simplifient la transmission, la création et la gestion de puissantes solutions d’analyse et d’intelligence artificielle.

Tout d’abord, nous sommes très heureux de présenter la préversion d’Azure Data Lake Storage Gen2, le seul stockage Data Lake dans le cloud conçu pour les charges de travail critiques d’analyse et d’intelligence artificielle. Azure Data Lake Storage Gen2 combine les avantages en termes d’extensibilité et de coûts du stockage objet et la fiabilité et les performances qu’offrent les capacités du système de fichiers Hadoop.

Nous sommes également heureux d’annoncer la disponibilité générale de nouvelles capacités dans Azure Data Factory. L’intégration de données venant de sources multiples pour valider, enrichir et transformer les données en informations exploitables est désormais bien plus simple.

Cette évolution de la gamme de produits d’analyse Microsoft simplifie l’intégration de sources de données disparates et rend plus simples le stockage et le traitement de grandes quantités de données, ce qui permet à nos clients d’accélérer leur transformation numérique.

Évolution d’Azure Data Lake Storage

Les solutions d’analyse comme Hadoop ont été conçues pour être exécutées sur des systèmes de fichiers à grande échelle. Les autres fournisseurs de services cloud intègrent tant bien que mal ces solutions en combinant l’émulation du système de fichiers côté client et des stockages d’objets sans beaucoup de fonctionnalités, ce qui donne au final des performances médiocres et un faible niveau de fiabilité, ce qui amène forcément à des compromis.

Azure Data Lake Storage Gen2 propose un stockage de type Data Lake sans compromis. Il unifie les capacités de base de la première génération d’Azure Data Lake et un point de terminaison de système de fichiers compatible Hadoop, désormais directement intégré au Stockage Blob Azure. Cette amélioration combine les avantages de la mise à l’échelle et du coût de stockage des objets, avec la fiabilité et les performances généralement associées uniquement aux systèmes de fichiers locaux. Ce nouveau système de fichiers comprend un espace de noms hiérarchique complet qui donne la priorité aux fichiers et aux dossiers, ce qui donne une exécution plus rapide et plus fiable des tâches d’analyse.

Azure Data Lake Storage Gen2 comprend également un stockage illimité, de façon à ce que la capacité soit là même pour les charges de travail les plus volumineuses et les plus complexes. En outre, Azure Data Lake Storage Gen2 offre une intégration native à Azure Active Directory et prend en charge les ACL compatibles POSIX pour définir des autorisations détaillées sur les dossiers et les fichiers.

Azure Data Lake Storage Gen2 étant totalement intégré au stockage Blob, les clients peuvent accéder aux données via les nouvelles API orientées système de fichiers ou via les API du Stockage Blob. Les clients bénéficient aussi de toutes les fonctionnalités du Stockage Blob Azure, dont le chiffrement au repos, le classement des objets par niveau et les stratégies de cycle de vie et les capacités HA/DR comme ZRS et GRS. Tout ceci pour un coût plus faible et avec un coût total de possession moins élevé pour les projets d’analyse de nos clients ! Azure Data Lake Storage Gen2 est le Data Lake le plus complet, où que vous soyez. Lors de sa mise à la disposition générale, Data Lake Storage Gen2 sera disponible dans toutes les régions Azure.

Pour une expérience transparente avec les plus grands fournisseurs open source de moteurs d’analyse Hadoop et Spark, nous travaillons avec nos partenaires pour faire d’Azure Data Lake Storage Gen2 la solution de Data Lake la plus optimisée pour les clients.

« En tant que partenaire clé, Cloudera travaille activement avec Microsoft depuis l’intégration de CDH avec la première génération d’Azure Data Lake. Nous sommes certains qu’Azure Data Lake Storage Gen2 offrira une expérience de grande qualité à nos clients CDH, en particulier du point de vue des performances et de la stabilité. Nous sommes très heureux d’annoncer notre engagement pour proposer une prise en charge complète de cette plateforme pour Azure Data Lake Storage Gen2. »

– Vikram Makhija, directeur général chargé du cloud, Cloudera

Simplification de l’intégration des données avec Azure Data Factory

Avec la prolifération du Big Data, les organisations ne veulent plus être ralenties par la complexité liée à l’intégration de leurs données pour générer les informations dont leur activité a besoin. Désormais généralement disponibles, les nouvelles capacités d’Azure Data Factory, le service Azure d’ingestion et d’intégration de données dans le cloud, il est encore plus simple de produire des informations exploitables à partir des données brutes.

Avec l’interface graphique utilisateur utilisable par glisser-déplacer, les techniciens en charge des données et les développeurs peuvent facilement et rapidement créer, planifier et gérer l’intégration des données à grande échelle. Azure Data Factory prend désormais en charge l’ingestion des données sans code pour plus de 70 connecteurs de sources de données afin d’accélérer le déplacement des données locales, dans le cloud et dans les applications. Nous avons également publié une préversion d’un connecteur Azure Data Factory natif, disponible pour Azure Data Lake Storage Gen2, pour que les clients puissent tirer parti d’Azure Data Lake Storage Gen2 et migrer facilement leurs données depuis d’autres sources de données, y compris la première génération d’Azure Data Lake.

Les techniciens en charge des données et les développeurs peuvent également facilement transférer les packages SQL Server Integration Services (SSIS) vers Azure et laisser Azure Data Factory gérer ces ressources à leur place, pour des opérations à haute disponibilité et haute flexibilité qui permettent aussi de réduire les coûts d’exploitation. La société de conseil en analyse de données Concentra Analytics, basée à Londres, a constaté une réduction de 80 % dans le temps de développement de l’entrepôt de données automatisé en déplaçant les packages SSIS vers Azure.

« Nous ne rencontrons aucun problème lorsque nous travaillons avec des clients dont les données sont réparties sur des sources locales et dans le cloud, même avec ceux dont les jeux de données sont volumineux. Avec Azure Data Factory, nos clients utilisent les packages SSIS générés automatiquement par DataPlus et publiés dans Azure pour obtenir cette flexibilité. »

- Weelin Lim, responsable Business Intelligence, Concentra Analytics

Azure est le mieux placé pour l'analyse

Nous nous engageons à faire d’Azure la meilleure solution pour révéler les informations cachées dans les données des organisations et accélérer l’innovation. Les clients peuvent bénéficier d’une intégration étroite avec les autres services Azure pour créer à l’échelle du cloud de puissantes solutions d’analyse complètes pour pouvoir utiliser plus facilement et de façon plus rentable les systèmes modernes d’entreposage des données et d’analyse en temps réel.

Big Data et analyse avancée

Pour en savoir plus sur Azure Data Lake Storage, vous disposez des possibilités suivantes :

Pour en savoir plus sur Azure Data Factory, vous disposez des possibilités suivantes :