Hoy, anunciamos la disponibilidad general de Apache Hadoop 3.0 en Azure HDInsight. En asociación con Cloudera, Microsoft Azure es el primer proveedor de nube que ofrece a los clientes la ventaja de las innovaciones más recientes en los proyectos de análisis de código abierto más populares, con una escalabilidad, flexibilidad y seguridad inigualables. Con la disponibilidad general de Apache Hadoop 3.0 en Azure HDInsight, fortalecemos las funcionalidades existentes con una serie de perfeccionamientos clave que mejoran aún más el rendimiento y la seguridad, e intensifican la compatibilidad con el rico ecosistema de aplicaciones de análisis de macrodatos.

Incorporación de Apache Hadoop 3.0 y un rendimiento sobrecargado a la nube

Apache Hadoop 3.0 representa más de cinco años de actualizaciones importantes aportadas por la comunidad de código abierto a través de marcos clave de Apache como Hive, Spark y HBase. Las nuevas características de Hadoop 3.0 proporcionan mejoras significativas en el rendimiento, la escalabilidad y la disponibilidad, reduciendo el costo total de propiedad y acelerando el tiempo de creación de valor.

• Apache Hive 3.0: con las transacciones ACID activadas de manera predeterminada y varias mejoras de rendimiento, esta última versión de Hive permite a los desarrolladores crear aplicaciones de “base de datos tradicionales” en lagos de datos masivos. Esto es particularmente importante para las empresas que necesitan crear aplicaciones de macrodatos compatibles con RGPD y la privacidad.
• Hive Warehouse Connector para Apache Spark: con Hive Warehouse Connector, los mundos de Spark y Hive se aproximan. El nuevo conector mueve la integración de la capa de Metastore a la capa del motor de consultas. Esto permite un rendimiento mayor y más confiable con el empuje del predicado y otra funcionalidad.
• Apache HBase 2.0 y Apache Phoenix 5.0: Apache HBase 2.0 y Apache Phoenix 5.0 introducen una serie de mejoras de rendimiento, estabilidad e integración. Con HBase 2.0, la reorganización periódica de los datos en el almacén de memoria con compactaciones en memoria mejora el rendimiento, ya que los datos no se vacían o se leen con demasiada frecuencia desde el almacenamiento remoto en la nube. Phoenix 5.0 ofrece más visibilidad en las consultas con el registro de consultas al introducir una nueva tabla del sistema que captura información sobre las consultas que se ejecutan en el clúster.
• Caché de E/S de Spark: la memoria caché de E/S es un servicio de almacenamiento en caché de datos para Azure HDInsight que mejora el rendimiento de trabajos de Apache Spark. La memoria caché de E/S también funciona con cargas de trabajo de Apache TEZ y Apache Hive, que se pueden ejecutar en clústeres de Apache Spark.

Seguridad de clase empresarial mejorada

El cumplimiento y la seguridad de nivel empresarial son un requisito fundamental para todos los clientes que crean aplicaciones de macrodatos que almacenan o procesan datos confidenciales en la nube.

• Compatibilidad con Enterprise Security Package para Apache HBase: con la disponibilidad general de la compatibilidad con ESP para HBase, los clientes pueden asegurarse de que los usuarios se autentiquen en sus clústeres de HBase para HDInsight mediante sus credenciales de dominio corporativas y están sujetos a directivas de acceso (creadas y administradas en Apache Ranger).
• Compatibilidad con Bring Your Own Key (BYOK) para Apache Kafka: los clientes ahora pueden traer sus propias claves de cifrado al Azure Key Vault y usarlas para cifrar las instancias de Azure Managed Disks que almacenan sus mensajes de Apache Kafka. Esto les proporciona un alto grado de control sobre la seguridad de sus datos.

Herramientas de desarrollador enriquecidas

Azure HDInsight ofrece ricas experiencias de desarrollo con numerosas extensiones de entorno de desarrollo integrado (IDE), equipos portátiles y SDK.

• Disponibilidad general del SDK: los SDK de HDInsight para .NET, Python y Java permiten a los desarrolladores administrar los clústeres fácilmente mediante el lenguaje que prefieran.
• VSCode: la extensión HDInsight VSCode permite a los desarrolladores enviar trabajos por lotes de Hive, consultas interactivas de Hive y scripts de PySpark a clústeres de HDInsight 4.0.
• IntelliJ: Azure Toolkit for IntelliJ permite a los desarrolladores de Scala y Java programar proyectos de Spark, Scala y Java con plantillas integradas. Los desarrolladores pueden realizar fácilmente ejecuciones y depuraciones locales, abrir sesiones interactivas y enviar proyectos de Scala y Java a clústeres de HDInsight 4.0 Spark directamente desde el entorno de desarrollo integrado de IntelliJ.

Amplio ecosistema de aplicaciones

Azure HDInsight admite un vibrante ecosistema de aplicaciones con una amplia gama de aplicaciones populares de macrodatos disponibles en Azure Marketplace, que cubren numerosos escenarios: desde el análisis interactivo hasta la migración de aplicaciones. Estamos encantados de ofrecer nuestro apoyo a aplicaciones como:

• Starburst (Presto): Presto es un motor de consultas SQL distribuido, rápido, escalable y de código abierto que permite analizar datos en cualquier lugar dentro de la organización. Diseñado para la separación de almacenamiento y proceso, Presto puede consultar datos fácilmente en Azure Blob Storage, Azure Data Lake Storage, bases de datos SQL y NoSQL y otros orígenes de datos. Obtenga más información y explore Starburst Presto en Azure Marketplace.
• Kyligence: Kyligence es un motor de procesamiento analítico en línea (OLAP) empresarial para macrodatos, desarrollado por Apache Kylin. Kyligence permite el análisis de negocios interactivo y de autoservicio en Azure, consiguiendo latencias de consulta de menos de un segundo en billones de registros e integrando a la perfección los sistemas de Hadoop y BI existentes. Obtenga más información y explore Kyligence en Azure Marketplace.
• WANDisco: WANDisco Fusion elimina los riesgos de la migración a la nube garantizando migraciones de datos sin interrupciones, extensiones sencillas y sin problemas de las implementaciones de Spark y Hadoop y operaciones de datos híbridos a corto o largo plazo. Obtenga más información y explore WANDisco en Azure Marketplace.
• Unravel Data: Unravel proporciona una vista unificada en toda la pila de datos, proporcionando recomendaciones accionables y automatización para el ajuste, la resolución de problemas y la mejora del rendimiento. La aplicación Unravel Data utiliza Azure Resource Manager, lo que permite a los clientes conectar Unravel a un clúster de HDInsight nuevo o existente con un solo clic. Obtenga más información y explore Unravel en Azure Marketplace.
• Waterline Data: con Waterline Data Catalog y HDInsight, los clientes pueden descubrir, organizar y controlar fácilmente sus datos, todo a la escala global de Azure. Obtenga más información y explore Waterline en Azure Marketplace.

Empiece ahora

Estamos deseando ver las innovaciones que ofrecerá a sus usuarios y clientes con Azure HDInsight. Lea la guía para desarrolladores y siga la guía de inicio rápido para más información sobre cómo implementar canalizaciones de análisis de código abierto en Azure HDInsight. Para mantenerse al día respecto a las novedades y apasionantes características más recientes Azure HDInsight que se avecinan, síganos en Twitter (#AzureHDInsight). Si tiene preguntas o comentarios, comuníquese con nosotros en AskHDInsight@microsoft.com.

Información acerca de Azure HDInsight

Azure HDInsight es un servicio de nivel empresarial para el análisis de código abierto que permite a los clientes ejecutar fácilmente marcos populares Apache de código abierto, como Apache Hadoop, Spark, Kafka y otros. El servicio está disponible en treinta regiones públicas y nubes de Azure Government en Estados Unidos y Alemania. Azure HDInsight impulsa aplicaciones críticas para una gran gama de sectores y casos de uso, incluidos ETL, streaming y consultas interactivas.