Tarification Azure Data Lake Storage Gen2

Azure Data Lake Storage est optimisé pour l’exécution de charges de travail analytiques sur des données non structurées. Azure Data Lake Storage Gen2 est optimisé pour les E/S rapides de données à volume élevé, ce qui accélère l’exécution des charges de travail analytiques et réduit le coût total de possession pour les travaux analytiques. De plus, Azure Data Lake Storage Gen2 offre la flexibilité supplémentaire d’organiser les données dans un espace de noms plat ou hiérarchique.

Avec les espaces de noms hiérarchiques, vous pouvez organiser les données dans des dossiers et des répertoires structurés. Avec un espace de noms plat, vos fichiers sont organisés dans une structure plate, tout comme Stockage Blob. Un espace de noms hiérarchique permet d’effectuer des opérations telles que les changements de nom et les suppressions de dossiers en une seule opération atomique, ce qui nécessite un nombre d’opérations proportionnel au nombre d’objets dans la structure. Les espaces de noms hiérarchiques stockent des métadonnées supplémentaires pour votre répertoire et votre structure de dossiers. Toutefois, au fur et à mesure que le volume de vos données augmente, les espaces de noms hiérarchiques conservent vos données organisées et, surtout, améliorent les performances de stockage de vos travaux analytiques, réduisant ainsi le coût total de possession associé à leur exécution.

Alors que Stockage Blob et Data Lake Storage avec un espace de noms plat stockent les données de façon similaire, Data Lake Storage avec des noms plats est plus performant pour les charges de travail analytiques. Vous devez placer des données dans Stockage Blob si vous êtes sûr qu’il n’est pas nécessaire d’exécuter des services analytiques tels que Azure Databricks, Azure HDInsight, etc. Cependant, si vous devez exécuter des travaux analytiques occasionnels, vous devez placer ces données dans Azure Data Lake Storage Gen2 avec des espaces de noms plats. Pour les données qui sont constamment utilisées pour l’analytique, nous vous recommandons de placer ces données dans Azure Data Lake Storage Gen2 avec des espaces de noms hiérarchiques.

• Facturation à l’aide d’espaces de noms plats

Let’s say you store 120TB of data for the whole month in Azure Data Lake Storage Gen2 using flat namespaces in the “Hot Tier”. During this month, you perform 100 million operations, and let’s assume each operation is 6MB in size. Further, let’s say that 20% of these operations are write operations and the other 80% are read operations. Finally, let’s assume you also rename 10K directories during the month.

For flat namespaces, you will not incur additional charges for meta-data related to your files and folders and therefore will be charged for 120TB of data. Also, since every operation is 6MB, you will be charged two transactions per operation (4MB + 2MB), since every 4MB of data read or written is charged as a transaction. Finally, directory renames are charged using a separate meter.

This is how your total cost will be calculated:

• Facturation à l’aide d’espaces de noms hiérarchiques

Let’s say you store 120TB of data for the whole month in Azure Data Lake Storage Gen2 using hierarchical namespaces in the “Hot Tier”. During this month, you perform 100 million operations, and let’s assume each operation is 6MB in size. Further, let’s say that 20% of these operations are write operations and the other 80% are read operations. Finally, let’s assume you also rename 10K directories during the month.

For hierarchical namespaces, you will incur additional charges for meta-data related to your files and folders and therefore will be charged for a little more 120TB of data. Also, since every operation is 6MB, you will be charged two transactions per operation (4MB + 2MB), since every 4MB of data read or written is charged as a transaction. Finally, directory renames are charged using a separate meter.

This is how your total cost will be calculated:

Oui, les fichiers volumineux sont plus économiques et offrent de meilleures performances analytiques. Pour les fichiers d’une taille supérieure à 4 Mo, Azure Data Lake Storage Gen2 offre un prix inférieur pour chaque bloc de données de 4 Mo lu au-delà des 4 premiers Mo. La lecture d’un seul fichier de 16 Mo revient moins cher que la lecture de 4 fichiers ayant une taille de 4 Mo chacun. Dans les deux cas, le nombre total de transactions est de 4. Cependant, les 12 derniers Mo (lus et comptabilisés comme trois transactions) du fichier de 16 Mo sont moins chers. Ainsi, le coût total de lecture d’un fichier de 16 Mo est moins élevé que le coût total de lecture de 4 fichiers d’une taille de 4 Mo chacun.

Plus important encore, Azure Data Lake Storage Gen2 est hautement optimisé pour fonctionner plus rapidement sur des fichiers plus volumineux. Cela signifie que vos travaux analytiques s’exécutent plus rapidement si vous utilisez des fichiers plus volumineux, ce qui augmente votre coût total de possession lors de l’exécution des travaux analytiques.