Цены на Data Lake Analytics

Единица использования Azure Data Lake Analytics, или AU, — это вычислительная единица, которая стала доступна для заданий U-SQL. Каждая такая единица предоставляет заданию доступ к набору базовых ресурсов, таким как ЦП и память. Подробнее об AU.

Когда вы создаете задание, для его запуска необходимо выделить определенное количество AU. Задание проходит через четыре основных этапа: подготовка, постановка в очередь, выполнение и завершение. Этап выполнения начинается, когда выделенное количество AU становится доступным. Плата за использование выделенного количества AU зависит от продолжительности этапов выполнения и завершения задания. Подробнее об AU.

Тщательно обдумайте выделяемое количество AU, чтобы оно соответствовало потребностям вашего задания. Если увеличить количество AU, вашему заданию будет доступно больше вычислительных ресурсов, но степень параллелизма самого задания не повысится. Характеристики задания (возможность параллельного выполнения, объем обрабатываемых данных и т. п.) влияют на скорость его выполнения. Вы можете заметить, что чем больше AU, тем быстрее выполняется задание, и выделить больше AU, чем можно использовать. Подключаемый модуль “Средства Azure Data Lake для Visual Studio” содержит ряд инструментов, которые позволяют проводить диагностику производительности заданий U-SQL и определять оптимальное количество AU. Подробнее об экономии и управлении затратами.

Стоимость определяется числом AU и временем выполнения задания. Рассмотрим два примера.

• Пример 1. Задание выполняется три часа при 10 AU, поэтому его стоимость будет равна 3*10=30 AU-часов. Если при выделении на задание 20 AU оно будет выполняться в два раза быстрее, стоимость составит 1,5 * 20 = 30 AU*ч. В этом случае стоимость останется прежней, но время задержки сократится.
• Пример 2. Задание выполняется пять часов при 10 AU, поэтому его стоимость будет равна 5*10=50 AU-часов. Если задание завершится за 4 часа при 20 AU, стоимость составит 4 * 20 = 80 AU*ч. Таким образом, если задание завершится на один час раньше, общая стоимость будет на 80 % больше.

Плата за транзакции Azure Data Lake Storage Gen1 начисляется каждый раз при чтении или записи данных в службе. За каждую операцию чтения или записи данных объемом до 4 МБ, выполняемую пользователем, приложением или службой Azure, взимается плата как за одну транзакцию. Например, одна операция, в ходе которой в Data Lake Storage Gen1 записывается 128 КБ данных, оплачивается как одна транзакция. Плата за транзакции увеличивается с шагом в 4 МБ, если размер элемента превышает 4 МБ, плата будет увеличиваться с несколькими приращениями. Например, если в рамках одной операции из Data Lake Storage Gen1 считывается 9 МБ данных, плата начисляется за три транзакции (4 МБ + 4 МБ + 1 МБ).

Давайте рассмотрим, как плата за транзакции отражается в счете за операции чтения. Предположим, что в вашем приложении в течение четырех часов в день выполняется задание Data Lake Analytics, при котором считывается 1,000 элементов в секунду, причем каждый из элементов содержит менее 4 МБ данных. В этом сценарии плата будет взиматься за транзакции чтения данных службой Azure Data Lake Analytics из Data Lake Storage Gen1. Плата будет начисляться следующим образом:

Цена зависит от количества AU, зарезервированного на месяц.

• Цикл выставления счетов соответствует календарному месяцу. Следовательно, он всегда начинается в первый день месяца и заканчивается в последний.
• Когда вы впервые примете обязательство за пакет, мы рассчитаем цену и число AU на месяц в соответствии с количеством оставшихся в месяце дней. Например, если вы зарезервируете пакет с 1000 AU*ч, когда до конца месяца будет оставаться 10 дней, то сразу же получите 334 AU*ч (1000 AU*ч / 30 дней месяца * 10 оставшихся дней) по цене $- ($- / 31 день месяца * 10 оставшихся дней). При расчете тарифа мы делим количество AU-часов на 30 дней для пакета и на 31 день для цены, чтобы вы платили пропорционально использованию и вам было это выгодно.
• Количество единиц в пакете сбрасывается первого числа каждого месяца. Например, если вы приняли обязательство за 100 AU*ч и к концу месяца осталось 20 AU*ч, на следующий день будет выполнен сброс до 100 AU*ч. Неиспользованные AU-часы не переносятся на следующий месяц.
• Вы можете выбрать новый пакет в любое время. Изменение вступит в силу в первый день следующего календарного месяца. Это значит, что если в течение месяца вы использовали пакет со 100 AU*ч, но приняли обязательство за пакет с 500 AU*ч, изменение будет применено первого числа следующего месяца. На протяжении текущего календарного месяца будет использоваться пакет со 100 AU-часами.
• Использование пакета с ежемесячным обязательством измеряется в секундах.
• После исчерпания ресурсов пакета будет взиматься плата за избыточное использование.

Потребление определяется на основе числа AU и длительности выполнения задания. На длительность выполнения задания влияет число выделенных ему AU, а также такие параметры задания, как объем обрабатываемых данных и сложность вычисления.

• Вариант 1. Вы приняли обязательство за 100 AU-часов и отправили задание, которое выполнялось 2 ч 30 минут при 1 AU. Потребление будет рассчитано по такой формуле: 2,5 * 1 = 2,5 AU-часа. Согласно обязательству останется 97,5 AU-часов.
• Вариант 2. Вы приняли обязательство за 100 AU-часов, но остался только 1 AU-час. Вы отправили задание, выполнявшееся 2 часа при 2 AU, поэтому использование будет равно 2 * 2 = 4 AU*ч. Вы используете оставшееся количество AU-часов, а за три дополнительные AU-часа будет начислена плата по тарифу за избыток (1,5 * 3 = $-)

Служба Azure Data Lake Analytics позволяет выполнять чтение и запись данных в Azure Data Lake Storage 1-го поколения, Хранилище BLOB-объектов и Базе данных SQL Azure. При использовании этих служб в Azure Data Lake Analytics может начисляться стандартная оплата (за транзакции, передачу исходящих данных и т. д.) Дополнительные сведения об этих службах см. на странице цен на службы.

• Отмена задания.
  Отмена всегда является результатом продуманного решения пользователя или административной политики, определенной администратором. Служба ADLA сама по себе не отменяет задания, за исключением случаев, когда выполнение вершины продолжается более 5 часов (время выполнения задания не ограничено, в отличие от времени выполнения вершины). В случае отмены задания плата взимается за время его выполнения.
• Сбой задания.
  Обычно задание завершается сбоем в результате ошибки пользователя, иногда — в результате ошибки службы ADLA. Причину сбоя задания можно определить по коду ошибки. Если код ошибки содержит слово “USER”, сбой произошел в результате ошибки пользователя. В таком случае вам будет выставлен счет за время выполнения задания. Если же в коде ошибки указано слово “SYSTEM”, сбой произошел в результате ошибки службы ADLS и плата за это задание взиматься не будет.