Apache Spark-taken zijn met HDInsight IO Cache tot maar liefst negen keer sneller
Publicatiedatum: 31 oktober, 2018
HDInsight IO Cache is nu beschikbaar als preview-versie op de nieuwste Azure HDInsight Apache Spark-clusters. Zodra HDInsight IO Cache is ingeschakeld, zullen de prestaties van Spark-taken op een volledig transparante manier toenemen, zonder enige wijzigingen in de vereiste taken, en kunnen de prestaties met factor 9 toenemen op het moment dat de query wordt uitgevoerd. Dit resulteert in een uitstekende prestatie-kostenverhouding van Spark-implementaties in de cloud. HDInsight IO Cache is een nieuwe transparante functie voor het opslaan van gegevens in cache die is gebaseerd op RubiX, waarvoor gebruik wordt gemaakt van de recente vooruitgang op het gebied van SSD-technologie om expliciete geheugenbeer overbodig te maken en waarbij de resources optimaal worden benut om de prestaties te verbeteren.