Décloisonnement 2.0 – Accès multi-protocole pour Azure Data Lake Storage

Publié le 18 juillet, 2019

Senior Program Manager, Azure Storage

Les lacs de données dans le cloud résolvent un problème fondamental pour l’analyse du Big Data : fournir un stockage sécurisé et évolutif pour des données qui résident traditionnellement dans des silos de données séparés. Les lacs de données ont été conçus dès le départ pour lever les barrières séparant les données et dynamiser les efforts d’analyse du Big Data. Il restait cependant à opérer un ultime décloisonnement pour permettre d’accéder de multiples façons à l’ensemble des données (structurées, semi-structurées et non structurées) résidant dans le lac de données.

La fourniture de plusieurs points d’accès à des ensembles de données partagés permet aux outils et aux applications de données d’interagir avec celles-ci de la manière la plus naturelle qui soit. Cela permet également à votre lac de données de bénéficier des outils et infrastructures conçus pour un vaste éventail d’écosystèmes. Par exemple, vous pouvez ingérer vos données via une API de stockage d’objets, les traiter à l’aide de l’API Système de fichiers DFS Hadoop, puis ingérer les données transformées à l’aide d’une API de stockage d’objets dans un entrepôt de données.

Solution de stockage unique pour chaque scénario

Nous sommes très heureux d’annoncer la préversion de l’accès multi-protocole pour Azure Data Lake Storage. Azure Data Lake Storage est une solution de stockage cloud unique en matière d’analyse, qui permet d’accéder aux mêmes données via plusieurs protocoles. L’accès multi-protocole aux mêmes données via l’API Stockage Blob Azure et l’API Azure Data Lake Storage vous permet de tirer parti des fonctionnalités de stockage d’objets des comptes Data Lake Storage qui sont des comptes de stockage prenant en charge l’espace de noms hiérarchique basés sur un stockage Blob. Vous disposez ainsi de la flexibilité nécessaire pour placer tous vos types de données dans votre lac de données cloud, en sachant que vous pourrez exploiter au mieux vos données au fur à mesure de l’évolution de votre cas d’utilisation.

image

Solution de stockage unique

Jeu de fonctionnalités étendu, écosystème et applications

Les fonctionnalités blob telles que les niveaux d’accès et les stratégies de gestion du cycle de vie sont désormais disponibles pour vos comptes Data Lake Storage. Il s’agit d’un changement de paradigme, car vous pouvez à présent utiliser vos données d’objet blob à des fins d’analyse. En outre, des services tels que Azure Stream Analytics, IoT Hub, Azure Event Hubs Capture, Azure Data Box, Recherche Azure s’intègrent sans difficulté avec Data Lake Storage. Des opérations de grande envergure, telles qu’une migration vers le cloud, peuvent désormais déplacer aisément des jeux de données dont la taille s’exprime en pétaoctets vers un Data Lake Storage à l’aide d’une Data Box.

L’accès multi-protocole pour Data Lake Storage permet également à l’écosystème partenaire d’utiliser son connecteur de stockage Blob avec Data Lake Storage.  Voici ce qu’en disent nos partenaires d’écosystème :

« L’accès multiprotocole pour Azure Data Lake Storage change la donne pour nos clients. Informatica s’étant engagée dans la voie de la prise en charge native d’Azure Data Lake Storage, l’accès multi-protocole aidera les clients à accélérer leurs initiatives de modernisation de l’analytique et des lacs de données moyennant un minimum de perturbations. »

– Ronen Schwartz, vice-président principal et directeur général chargé de l’intégration des données, du Big Data et du cloud, Informatica

Vous n’avez pas besoin de mettre à jour des applications existantes pour accéder à vos données stockées dans Data Lake Storage. En outre, vous pouvez tirer parti de la puissance de vos applications d’analytique et de stockage d’objets pour exploiter vos données avec un maximum d’efficacité.Graphique illustrant un accès multi-protocole qui active des fonctionnalités de stockage, un écosystème Azure, un écosystème de partenaire et des applications personnalisées.

L’accès multi-protocole active des fonctionnalités et un écosystème

Points de terminaison d’API multiples – Mêmes données, fonctionnalités partagées

Cette fonctionnalité est sans précédent pour les services d’analyse dans le cloud, car elle prend en charge non seulement plusieurs protocoles mais aussi plusieurs paradigmes de stockage. Nous apportons désormais cette puissante capacité à votre stockage dans le cloud. Les outils et applications existants qui utilisent l’API Stockage Blob bénéficient de ces avantages sans aucune modification. Les listes de contrôle d’accès au niveau des répertoires et des fichiers sont systématiquement appliquées, quelle que soit l’API (API Azure Data Lake Storage ou API Stockage Blob) utilisée pour accéder aux données.  

L’API Stockage Blob et l’API Azure Data Lake Storage passent toutes deux par l’espace de noms hiérarchique qui s’appuie sur le stockage Blob.

Accès multi-protocole pour Azure Data Lake Storage

Fonctionnalités et écosystème étendu désormais disponibles sur Data Lake Storage

L’accès multi-protocole pour Data Lake Storage regroupe les meilleures fonctionnalités de Data Lake Storage et de Stockage Blob dans un seul package global. Il active de nombreuses fonctionnalités de stockage Blob et la prise en charge de l’écosystème pour votre Data Lake Storage.

Fonctionnalités Plus d’informations
Niveaux d’accès Les niveaux Froid et Archive sont désormais disponibles pour Data Lake Storage. Pour en savoir plus, voir la documentation Stockage Blob Azure : niveaux d’accès Chaud, Froid et Archive.
Stratégies de gestion du cycle de vie Vous pouvez désormais définir des stratégies sur un niveau ou supprimer des données dans Data Lake Storage. Pour en savoir plus, voir Gérer le cycle de vie du Stockage Blob Azure.
Journaux de diagnostics Les journaux de l’API Stockage Blob et l’API Azure Data Lake Storage sont désormais disponibles aux formats v1.0 et v2.0. Pour en savoir plus, consultez la documentation sur la journalisation d’Azure Storage Analytics.
Kits de développement logiciel (SDK) Les kits de développement logiciel (SDK) blob existants peuvent désormais être utilisés avec Data Lake Storage. Pour en savoir plus, consultez la documentation ci-dessous :
PowerShell PowerShell pour les opérations de plan de données est désormais disponible pour Data Lake Storage. Pour en savoir plus, voir la procédure de Démarrage rapide avec Azure PowerShell.
Interface de ligne de commande Azure CLI pour les opérations de plan de données est désormais disponible pour Data Lake Storage. Pour en savoir plus, voir la procédure de Démarrage rapide avec Azure CLI.
Notifications via Azure Event Grid Vous pouvez désormais obtenir des notifications Blob via Event Grid. Pour en savoir plus, consultez la documentation Réaction aux événements de stockage blob. Les notifications Azure Data Lake Storage Gen2 sont actuellement disponibles .

 

Partenaire d’écosystème Plus d’informations
Azure Stream Analytics Désormais, Azure Stream Analytics lit et écrit dans Data Lake Storage.
Azure Event Hubs Capture La fonctionnalité de capture d’Azure Event Hubs vous permet désormais de choisir Data Lake Storage comme destination.
IoT Hub Le Routage des messages IoT Hub permet désormais d’opérer un routage vers Azure Data Lake Storage Gen 2.
Recherche Azure Vous pouvez désormais indexer et appliquer des modèles Machine Learning à votre contenu Data Lake Storage à l’aide de Recherche Azure.
Azure Data Box Vous pouvez désormais ingérer d’énormes quantités de données d’un site local dans Data Lake Storage à l’aide du service Data Box.

Consultez régulièrement cette page, car nous allons activer davantage de fonctionnalités de Stockage Blob grâce à cette capacité extraordinaire.

Prochaines étapes

Toutes ces nouvelles fonctionnalités sont aujourd’hui disponibles dans ces régions. Inscrivez-vous à la préversion dès aujourd’hui. Pour plus d’informations, consultez notre documentation sur l’accès multi-protocole pour Azure Data Lake Storage.