Data Lake

O primeiro serviço de análise na cloud onde pode facilmente desenvolver e executar programas de transformação e processamento de dados paralelos em massa em U-SQL, R, Python e .Net em petabytes de dados. Sem infraestrutura para gerir, processe os dados a pedido, dimensione imediatamente e pague apenas por tarefa. Saiba mais

O primeiro data lake na cloud para empresas que é seguro, dimensionável em massa e criado para o padrão HDFS aberto. Sem limites de tamanho dos dados e com a capacidade de executar análise paralela em massa, pode agora desbloquear valor de todos os seus dados não estruturados, semi-estruturados e estruturados. Saiba mais

Encontrar as ferramentas certas para conceber e otimizar as suas consultas de macrodados pode ser difícil. O Data Lake facilita este processo através de uma integração profunda com o Visual Studio, Eclipse e IntelliJ, para que possa, através de ferramentas familiares, executar, depurar e otimizar o seu código. As visualizações das suas tarefas de U-SQL, Apache Spark, Apache Hive e Apache Storm permitem-lhe ver como o seu código é executado em escala, de forma a que possa identificar estrangulamentos de desempenho e otimizar custos, o que torna mais fácil a otimização das suas consultas. O nosso ambiente de execução analisa ativamente os programas à medida que são executados e oferece recomendações para melhorar o desempenho e reduzir os custos. Os engenheiros de dados, os administradores de bases de dados e os arquitetos de dados podem utilizar as capacidades existentes, como o SQL, Apache Hadoop, Apache Spark, R, Python, Java e .NET, para assegurar a produtividade desde o primeiro dia.

Um dos maiores desafios dos macrodados é a integração com investimentos de TI existentes. O Data Lake é uma parte fundamental do Cortana Intelligence, o que significa que trabalha com o Azure Synapse Analytics, Power BI e Data Factory para formar uma plataforma completa de macrodados na cloud e de análise avançada que o ajuda em tudo, desde a preparação de dados até à realização de análises interativas em conjuntos de dados de grande dimensão. O Data Lake Analytics dá-lhe o poder de agir sobre todos os seus dados com virtualização de dados otimizada das origens relacionais de dados, como o Azure SQL Server nas máquinas virtuais, Base de Dados SQL do Azure e Azure Synapse Analytics. As consultas são otimizadas automaticamente ao aproximar o processamento dos dados de origem, sem movimento de dados, maximizando desse modo o desempenho e minimizando a latência. Finalmente, como o Data Lake se encontra no Azure, pode ligar-se a quaisquer dados gerados por aplicações ou ingeridos por dispositivos em cenários de Internet das Coisas (IoT).

O Data Lake foi concebido de raiz tendo em vista o dimensionamento e o desempenho na cloud. Com o Azure Data Lake Store, a sua organização pode analisar todos os dados num único local, sem quaisquer restrições artificiais. O Data Lake Store pode armazenar triliões de ficheiros, em que um único ficheiro pode ter um tamanho superior a um petabyte, o que é 200 vezes maior do que outros arquivos da cloud. Isto significa que não tem de reescrever código à medida que aumenta ou diminui a dimensão dos dados armazenados ou a quantidade de computação utilizada. Isto permite-lhe centrar a sua atenção apenas na sua lógica de negócio e não na forma como processa e armazena grandes conjuntos de dados. O Data Lake também elimina as complexidades normalmente associadas aos macrodados na cloud, garantindo que estes satisfazem as suas necessidades empresariais presentes e futuras.

O Data Lake é uma solução rentável para executar cargas de trabalho de macrodados. Pode escolher entre clusters a pedido ou um modelo de pagamento por tarefa quando os dados são processados. Em ambos os casos, não são necessários hardware, licenças nem contratos de suporte específicos ao serviço. O sistema aumenta ou reduz verticalmente consoante as suas necessidades empresariais, pelo que nunca paga por mais do que precisa. Além disso, também permite dimensionar de forma independente o armazenamento e a computação, o que lhe confere uma maior flexibilidade económica em comparação com as soluções de macrodados tradicionais. Por fim, este sistema minimiza a necessidade de contratar equipas de operações especializadas normalmente associadas à gestão de uma infraestrutura de macrodados. O Data Lake minimiza os seus custos ao mesmo tempo que maximiza o retorno do seu investimento em dados. Um estudo recente revelou que o HDInsight tem um desempenho de TCO 63% inferior do que a implementação do Hadoop no local durante cinco anos.

O Data Lake é totalmente gerido e suportado pela Microsoft e beneficia de um SLA e suporte de nível empresarial. Com apoio ao cliente 24 horas por dia, todos os dias, pode entrar em contacto connosco para resolver quaisquer problemas com que se depare face à sua solução de macrodados integral. A nossa equipa monitoriza a sua implementação para que não tenha de o fazer, assegurando uma execução ininterrupta. O Data Lake protege os seus recursos de dados e aumenta facilmente os controlos de governação e segurança no local para a cloud. Os dados são sempre encriptados; em movimento com o SSL e em inatividade com chaves suportadas por HSM geridas pelo utilizador ou pelo serviço no Azure Key Vault. Capacidades como o início de sessão único (SSO), autenticação multifator e gestão ininterrupta de milhões de identidades, estão incorporadas no Azure Active Directory. Pode autorizar utilizadores e grupos com ACLs baseadas em POSIX detalhado para todos os dados no Arquivo que permitem controlos de acesso baseados em funções. Por fim, pode satisfazer necessidades de segurança e de conformidade regulamentar ao auditar todos os acessos ou alterações de configuração do sistema.