Compatibilidad de Azure HDInsight con Apache Spark 2.4 y Apache Kafka 2.1
Fecha de publicación: 08 julio, 2019
Azure HDInsight ahora es compatible con Apache Spark 2.4 y Apache Kafka 2.1. Puede elegir la versión de Spark o Kafka que quiera durante la creación de clústeres en Azure Portal. Ambas actualizaciones incluyen varias características nuevas, cientos de correcciones de errores y mejoras.
Spark 2.4 permite la evaluación diligente de DataFrames en cuadernos, admite el modo de ejecución de Barrier para lograr una mejor integración con los marcos de aprendizaje profundo, los receptores de streaming flexibles para permitir el uso de conectores por lotes existentes, el cliente actualizado de Kafka (de la versión 0.10 a la 2.0), las funciones integradas de orden superior y un origen de datos de Apache Avro. Para ver una lista completa de las actualizaciones, revise las notas de la versión de Apache Spark 2.4.
Al cambiar a Kafka 2.1 desde la versión anterior (1.1) en HDInsight, los clientes recibirán una mejor resistencia del agente debido a un mejor protocolo de replicación, una nueva funcionalidad en la API KafkaAdminClient, la administración configurable de las cuotas y compatibilidad con la compresión Zstandard. Para ver una lista completa de las actualizaciones, revise las notas de la versión de Kafka 2.0 y Kafka 2.1.
Para empezar a usar Azure HDInsight, consulte la documentación. Síganos en @AzureHDInsight o en el blog de HDInsight para estar al tanto de las últimas actualizaciones. Si tiene preguntas o comentarios, escríbanos a AskHDInsight@microsoft.com.