Скорость выполнения заданий Apache Spark можно увеличить в девять раз благодаря использованию службы HDInsight IO Cache
Дата публикации: 31 октября, 2018
Служба HDInsight IO Cache теперь доступна в предварительной версии в последних версиях кластеров Azure HDInsight и Apache Spark. Если включить эту службу, она улучшает производительность заданий Spark полностью прозрачным образом без необходимости внесения в них каких-либо изменений. Кроме того, она позволяет ускорить выполнение запросов в девять раз. Это обеспечивает отличное соотношение затрат и производительности облачных развертываний Spark. HDInsight IO Cache — это новая прозрачная функция кэширования данных, основанная на RubiX, которая применяет последние улучшения в технологии SSD, чтобы устранить необходимость в явном управлении памятью, и позволяет повысить производительность за счет оптимального потребления ресурсов.