Azure Data Lake Storage

Adicionar o Namespace Hierárquico aos blobs permite reduzir os custos do armazenamento em nuvem, sem comprometer as interfaces de sistema de arquivos para as quais os frameworks de análise de Big Data foram projetados.

Um exemplo simples é um padrão frequente de um trabalho analítico que grava os dados de saída em um diretório temporário e renomeia esse diretório para o nome definitivo durante a fase de confirmação. Em um repositório de objetos (que, por design, não é compatível com a noção de diretórios), essas renomeações podem ser operações demoradas envolvendo N operações de cópia e exclusão, em que N é o número de arquivos no diretório. Com o Namespace Hierárquico, essas operações de manipulação de diretório são atômicas, aprimorando o desempenho e o custo. Além disso, os diretórios compatíveis como elementos do sistema de arquivos permitem a aplicação de ACLs (listas de controle de acesso) em conformidade com POSIX que usam diretórios pai para propagar as permissões.

Assim como ocorre em outros serviços de armazenamento em nuvem, o Data Lake Storage é cobrado pelo volume de dados armazenados e pelos custos de operações executadas nesses dados. Confira um detalhamento dos custos.

O Data Lake Storage é, principalmente, projetado para trabalhar com o Hadoop e todos os frameworks que usam o sistema de arquivos Hadoop como a camada de acesso a dados (por exemplo, Spark e Presto). Confira os detalhes.

No Azure, o Data Lake Storage é interoperável com:

• Azure Data Factory
• Azure HDInsight
• Azure Databricks
• Azure Synapse Analytics
• Power BI

O serviço também está incluído no ecossistema do Armazenamento de Blobs do Azure.

O Data Lake Storage fornece vários mecanismos de controle de acesso aos dados. Ao oferecer o Namespace Hierárquico, o serviço é o único repositório de análise de nuvem que apresenta listas de controle de acesso (ACLs) em conformidade com POSIX que formam a base para as permissões do Sistema de Arquivos Distribuído do Hadoop (HDFS). O Data Lake Storage também inclui recursos de segurança em nível de transporte por meio de firewalls de armazenamento, pontos de extremidade privados, imposição do TLS 1.2 e criptografia inativa usando chaves fornecidas pelo sistema ou pelo cliente.