Preços de Data Lake Analytics

Uma Unidade do Azure Data Lake Analytics Unit, ou UA, é uma unidade de computação disponibilizada para a sua tarefa U-SQL. Cada UA dá acesso ao trabalho a um conjunto de recursos subjacentes, como a CPU e a memória. Saiba mais sobre as UAs

Quando cria uma tarefa, deve alocar UAs para que o trabalho seja executado. Uma tarefa irá passar por quatro fases principais: preparação, colocação em fila, execução e finalização e entrará em execução após as UAs alocadas se tornarem disponíveis. Será cobrado pelas UAs alocadas para a duração das fases de execução e finalização do trabalho. Saiba mais sobre as AUs

Deve alocar cuidadosamente o número certo de AUs que satisfazem as necessidades do seu trabalho. Aumentar o número de UAs disponibiliza mais recursos computacionais para a sua tarefa, mas não aumenta o paralelismo inerente da tarefa. Consoante as características dos trabalhos (por exemplo, até que ponto podem ser paralelizados, quantos dados estão a processar, etc.), poderá reparar que são executados mais depressa com mais AUs ou poderá sobrealocar mais AUs do que as que podem ser utilizadas. O Azure Data Lake Tools for Visual Studio disponibiliza várias ferramentas que ajudam a diagnosticar o desempenho dos trabalhos de U-SQL e a estimar o número ideal de AUs. Saiba mais sobre como poupar dinheiro e controlar os custos

O preço é determinado pelo número de AUs e da duração dos trabalhos. Vamos imaginar dois casos:

• Caso 1: um trabalho demora três horas a ser concluído com 10 AU, pelo que o preço é calculado como 3*10 = 30 horas de AU. Se o trabalho puder beneficiar de 20 AUs e for executado duas vezes mais depressa, o preço seria 1,5*20 = 30 horas de AU. Neste caso, o preço é igual, mas a latência sai melhorada.
• Caso 2: um trabalho demora cinco horas a ser concluído com 10 AU, pelo que o preço é calculado como 5*10 = 50 horas de AU. Se o trabalho demorar quatro horas a ser concluído com a utilização de 20 AUs, o preço será 4*20 = 80 horas de AUs. Neste caso, o custo total aumentou 80% e o trabalho foi concluído uma hora mais cedo.

Incorre em transações de Ger1 de Armazenamento do Azure Data Lake sempre que forem lidos ou escritos dados no serviço. Sempre que um utilizador, uma aplicação ou outro serviço do Azure ler ou escrever dados até 4 MB, a operação é faturada como uma transação. Por exemplo, se uma operação de escrita colocar 128 KB de dados na Ger1 de Armazenamento do Data Lake, essa operação é faturada como uma transação. As transações são faturadas em incrementos até 4 MB; deste modo, se um item tiver mais de 4 MB, será faturado em vários incrementos. Por exemplo, se uma operação de leitura obtiver 9 MB de dados da Ger1 de Armazenamento do Data Lake, essa operação é faturada como três transações (4 MB + 4 MB + 1 MB).

Vejamos como as transações são apresentadas na fatura com base nas operações de leitura. Para tal, vamos assumir um cenário em que a sua aplicação executa uma tarefa do Data Lake Analytics durante 4 horas por dia, em que são lidos 1,000 itens por segundo quando a tarefa está em execução, sendo que cada item tem menos de 4 MB. No cenário acima, a Ger1 de Armazenamento do Data Lake irá cobrar as transações de leitura dos dados lidos pelo Data Lake Analytics a partir da Ger1 de Armazenamento do Data Lake. Será cobrado o seguinte:

O preço é determinado pelo número de AUs que reservar para o mês.

• Os ciclos de faturação estão alinhados com o mês de calendário. Por esse motivo, começam sempre no primeiro dia do mês e terminam no último.
• Quando aloca um pacote pela primeira vez, rateamos o preço mensal e as horas de AU para os dias restantes nesse mês. Por exemplo, se alocar um pacote de 1000 horas de UA e restarem dez dias nesse mês, irá obter imediatamente 334 horas de UA (1000 horas de UA/30 dias num mês x 10 dias restantes) a um preço de $- ($- / 31 dias num mês x 10 dias restantes). Rateamos por 30 dias para as horas de UA num pacote e por 31 dias para o preço, de modo a confirmar que o rateio é sempre a seu favor.
• As unidades num pacote são repostas no primeiro dia do mês. Por exemplo, se consolidar 100 horas de UA e lhe restarem 20 horas de UA no final do mês, o pacote será reposto para 100 horas de UA no dia seguinte. As horas de AU não utilizadas não são transitadas.
• Pode escolher um pacote novo em qualquer momento. A alteração entrará em vigor no primeiro dia do mês seguinte. Isto significa que, durante um mês, se tiver um pacote de 100 horas de UA e decidir alocar um pacote de 500 horas de UA, esta alteração aplicar-se-á no primeiro dia do mês seguinte. No mês de calendário atual, permanecerá no pacote de 100 horas de AU.
• Utilizamos "segundos" como a unidade de medida do consumo do seu pacote de alocação.
• Quando o pacote for consumido, passa a ser cobrado de acordo com a tarifa de consumo excedido.

O consumo é determinado pelo número de UAs e da duração das tarefas. A duração dos trabalhos é influenciada pelo número de UAs atribuídas às mesmas, bem como pelas respetivas características, como o tamanho dos dados e a complexidade de faturação.

• Caso 1: consolidou 100 horas de UA e submeteu uma tarefa que demora duas horas e 30 minutos a concluir com 1 UA. Portanto, o consumo é calculado como 2,5*1 = 2,5 Horas de UA. Ficará com 97,5 horas de UA restantes na sua alocação.
• Caso 2: consolidou 100 horas de UA e só lhe resta uma hora de UA. Está a submeter uma tarefa que demora duas horas a concluir com duas UAs, portanto, o consumo é calculado como 2*2 = 4 horas de UA. Irá utilizar a sua hora de UA restante e ser-lhe-ão cobradas três horas de UA adicionais à tarifa de utilização em excesso (1,5*3 = $-)

O Azure Data Lake Analytics permite-lhe ler e escrever dados a partir da Ger1 de Armazenamento do Azure Data Lake, do Armazenamento de Blobs do Azure e da Base de Dados SQL do Azure. A utilização destes serviços por parte do Azure Data Lake Analytics pode estar sujeita às tarifas padrão dos mesmos (por exemplo, transações, transferência de dados de saída, etc.). Veja a página dos preços destes serviços para obter mais detalhes.

• Cancelamento de trabalhos:
  o cancelamento é sempre o resultado de uma ação deliberada do cliente ou de uma política administrativa definida pelo administrador. O serviço ADLA não cancela tarefas autonomamente, exceto no caso de um vértice atingir o seu limite de tempo de execução de 5 horas (não há limite de tempo para uma tarefa, mas um limite para um único vértice). Quando um trabalho é cancelado, é-lhe cobrada a duração da execução do mesmo.
• Falha no trabalho:
  As falhas nos trabalhos são resultado de um erro do utilizador ou, por vezes, de um erro de serviço do ADLA. O código de erro de uma tarefa com falha irá indicar se uma falha de tarefa foi resultado de um erro de utilizador ou serviço. Se o código de erro tiver “USER” significa que a falha foi resultado de um erro do utilizador; nesse caso, o serviço irá cobrar a duração da execução da tarefa. No entanto, se o erro tiver "SYSTEM" significa que a falha foi resultado de um erro de serviço do ADLS e a tarefa não será cobrada.