Passer la navigation

Gérer et trouver des données avec Blob Index pour le stockage Microsoft Azure, désormais en préversion

Publié le 4 mai, 2020

Program Manager, Azure Storage

 

Blob Index, un index secondaire managé, qui vous permet de stocker des attributs d’objets multidimensionnels pour décrire vos objets de données pour le stockage d’objets blob Azure, est désormais disponible en préversion. Reposant sur le stockage d’objets blob, Blob Index garantit une fiabilité, une disponibilité et des performances cohérentes pour toutes vos charges de travail. Blob Index offre des capacités natives de filtrage et de gestion des objets, ce qui vous permet de catégoriser et de trouver des données en fonction des balises d’attributs définies sur les données.

Gérer et trouver des données avec Blob Index

Étant donné que les jeux de données deviennent de plus en plus volumineux, il peut s’avérer difficile et frustrant de trouver des objets apparentés spécifiques dans un océan de données. Auparavant, les clients utilisaient l’API ListBlobs pour récupérer 5 000 enregistrements lexicographiques à la fois, analyser la liste et répéter jusqu’à ce qu’ils trouvent les objets blob souhaités. Certains utilisateurs ont également eu recours à la gestion d’une table de recherche distincte pour trouver des objets spécifiques. Ces tables distinctes peuvent se désynchroniser, ce qui augmente le coût, la complexité et la frustration. Les clients ne devraient pas avoir à se soucier de l’organisation des données ou de la gestion des tables d’index et devraient plutôt se concentrer sur la création d’applications puissantes pour développer leur activité.

Blob Index permet de résoudre le problème de gestion et d’interrogation des données grâce à la prise en charge de tous les types d’objets blob (objet blob de blocs, objet blob d’ajout et objet blob de pages). Blob Index est exposé via un point de terminaison de stockage d’objets blob familier et des API, ce qui vous permet de stocker et d’accéder facilement à vos données et à vos index de classification sur le même service afin de réduire la complexité des applications.

Pour alimenter l’index d’objets blob, vous définissez des attributs de balise à valeur clé sur vos données, soit sur de nouvelles données pendant le téléchargement, soit sur des données existantes déjà présentes dans votre compte de stockage. Ces balises d’index d’objets blob sont stockées avec vos données blob sous-jacentes. Le moteur d’indexation d’objets blob lit alors automatiquement les nouvelles balises, les indexe et les expose à un index d’objets blob interrogeable par l’utilisateur. À l’aide du Portail Azure, des API REST ou des kits de développement logiciel (SDK), vous pouvez alors émettre un appel d’API FindBlobsByTags pour spécifier un ensemble de critères. Le stockage d’objets blob renvoie un jeu de résultats filtré comprenant uniquement les objets blob qui remplissent les critères de correspondance.

Le scénario ci-dessous illustre le fonctionnement de l’index d’objets blob :

  1. Dans un conteneur de compte de stockage contenant un million d’objets blob, un utilisateur charge un nouvel objet blob « B2 » avec les balises d’index suivantes : < Status = Unprocessed, Quality = 8K, Source = RAW >.
  2. L’objet blob et ses balises d’index sont conservés dans le compte de stockage et le moteur d’indexation de compte expose le nouvel index d’objets blob peu après.
  3. Plus tard, une application d’encodage souhaite trouver tous les fichiers multimédias non traités qui présentent une qualité de résolution de minimum 4 K. Elle émet un appel d’API FindBlobs pour trouver tous les objets blob qui correspondent aux critères suivants : < Status = Unprocessed AND Quality >= 4K AND Status == RAW>.
  4. L’index d’objets blob renvoie rapidement uniquement l’objet blob « B2 », à savoir le seul objet blob sur 1 million qui correspond aux critères spécifiés. L’application d’encodage peut rapidement commencer son travail de traitement, ce qui permet d’économiser du temps de calcul et de l’argent.

 

Exemple de vue d’ensemble de Blob Index.

Intégration des fonctionnalités de plateforme avec Blob Index

Blob Index vous aide non seulement à catégoriser, gérer et trouver vos données blob, mais fournit également des intégrations à d’autres fonctionnalités de service blob, telles que la gestion du cycle de vie .

En utilisant la nouvelle fonctionnalité blobIndexMatch en tant que filtre, vous pouvez déplacer des données vers des niveaux plus froids ou supprimer des données en fonction des balises appliquées à vos objets blob. Cela vous permet d’être plus précis dans vos règles et de ne déplacer ou supprimer des données que si elles correspondent aux critères que vous avez spécifiés.

L’exemple de stratégie de gestion du cycle de vie suivant s’applique aux objets blob de blocs dans le conteneur « videofiles » et aux objets de niveau pour archiver le stockage après une journée uniquement si les objets blob correspondent à la balise d’index suivante : Status = « Processed » et Source = « RAW ».

Exemple de règle de gestion du cycle de vie avec blobIndexMatch.

L’intégration de la gestion du cycle de vie avec Blob Index n’est qu’un début. Nous ajouterons prochainement d’autres intégrations avec d'autres fonctionnalités de plateforme blob.

Opérations d’objet blob conditionnelles avec balises Blob Index

Dans les versions REST 2019-10-10 et ultérieures, la plupart des API de service blob prennent désormais en charge un nouvel en-tête conditionnel, x-ms-if-Tags, de sorte que l’opération n’aboutisse que si la condition des balises d’index d’objet blob spécifiée est remplie. Si la condition n’est pas remplie, l’opération échoue et l’objet blob n’est pas modifié. Cette fonctionnalité de Blob Index permet de garantir que des opérations sur des données ne se produisent que sur des objets blob explicitement marqués et peut contribuer à protéger contre la suppression ou la modification accidentelle par des applications multithreads.

Par où commencer

Pour vous inscrire à la préversion de Blog Index, envoyez une demande d’enregistrement de cette fonctionnalité à votre abonnement en exécutant les commandes PowerShell ou CLI suivantes :

S’inscrire à l’aide de PowerShell

Register-AzProviderFeature -FeatureName BlobIndex -ProviderNamespace Microsoft.Storage

Register-AzResourceProvider -ProviderNamespace Microsoft.Storage

S’inscrire à l’aide d’Azure CLI

az feature register --namespace Microsoft.Storage --name BlobIndex

​az provider register --namespace 'Microsoft.Storage'

Une fois votre demande approuvée, les comptes de stockage à usage général v2 (GPv2), nouveaux ou existants, dans les régions France Centre et France Sud peuvent utiliser les fonctionnalités de Blob Index. Comme pour la plupart des préversions, nous recommandons de ne pas utiliser cette fonctionnalité pour les charges de travail de production avant qu’elle ne soit mise à la disposition générale.

Participez à l’amélioration de nos services

Une fois que vous êtes inscrit et approuvé pour la préversion, vous pouvez commencer à profiter de tout ce que Blob Index a à offrir en définissant des balises sur des données nouvelles ou existantes, en recherchant des données en fonction de balises et en définissant de riches stratégies de gestion de cycle de vie avec des filtres de balises. Pour plus d’informations, consultez Gérer et trouver des données sur le stockage Blob Azure avec Blob Index.

Notez que les clients sont facturés pour le nombre total de balises d’index d’objets blob dans un compte de stockage, dont la moyenne est calculée sur le mois. Les demandes adressées à SetBlobTags, GetBlobTagset FindBlobsByTags sont facturées en fonction de leurs types d’opérations respectifs. Le moteur d’indexation n’est pas payant. Pour en savoir plus, consultez Tarification des objets blob de blocs.

Nous continuerons à améliorer nos fonctionnalités et sommes impatients de recevoir vos commentaires sur Blob Index ou d’autres fonctionnalités par courrier électronique à l’adresse BlobIndexPreview@microsoft.com. Pour rappel, vous pouvez partager vos idées et suggestions concernant le Stockage Azure sur le forum de commentaires sur le Stockage Azure.