Azure Databricks: inserción en red virtual, control de versiones de DevOps y disponibilidad de Delta

Publicado el 13 marzo, 2019

Group Product Manager, Azure Data

Azure Databricks proporciona una plataforma de análisis basada en Apache® Spark™ rápida, sencilla y que permite la colaboración, para agilizar y simplificar el proceso de creación de soluciones de macrodatos e inteligencia artificial que permitan a las empresas avanzar, todo ello con el respaldo de extraordinarios acuerdos de nivel de servicio.

Con Azure Databricks, puede configurar en solo unos minutos un entorno de Spark con escalabilidad automática de forma rápida y sencilla. También puede aplicar sus conocimientos actuales y colaborar en proyectos compartidos en un área de trabajo interactiva compatible con Python, Scala, R y SQL, además de marcos de ciencia de datos y bibliotecas como TensorFlow y PyTorch.

A medida que desarrollamos este servicio, no dejamos de escuchar a los clientes y de responder a sus preguntas. En este blog destacamos anuncios importantes de características del servicio que nos enorgullece ofrecer a nuestros clientes.

Azure Databricks Delta está disponible en las SKU Estándar y Premium

Azure Databricks Delta incorpora nuevos niveles de confiabilidad y rendimiento para cargas de trabajo de producción basados en una serie de mejoras, como la funcionalidad de transacciones, la validación de esquemas, la indexación y el control de versiones de los datos.

Desde que se anunció la versión preliminar de Delta, hemos recibido una cantidad abrumadora de comentarios positivos por cómo ha ayudado a los clientes a crear canalizaciones complejas para datos tanto por lotes como de streaming, y cómo ha simplificado las canalizaciones ETL. Estamos encantados de anunciar que Delta ya está disponible en las SKU Estándar y Premium SKU, de modo que puede aprovechar su funcionalidad al máximo y crear canalizaciones de un modo más eficiente. Todo el mundo puede disfrutar ya de la confiabilidad y el rendimiento que ofrece Databricks Delta.

Encontrará más información sobre Azure Databricks Delta en la guía “Introduction to Databricks Delta” (Introducción a Databricks Delta). También puede importar el cuaderno de inicio rápido.

Control de versiones de Azure DevOps Services

Azure DevOps es una colección de servicios que proporcionan una solución integral para las cinco prácticas principales de DevOps: planeamiento y seguimiento, desarrollo, compilación y pruebas, entrega y supervisión y operaciones.

Inicialmente, comenzamos con la integración de los cuadernos de Azure Databricks en GitHub. Por demanda popular, hemos incluido la capacidad para establecer Azure DevOps Services como proveedor GIT.

La autenticación en Azure DevOps Services se realiza de forma automática al autenticarse en Azure Active Directory (Azure AD). La organización de Azure DevOps Services debe estar vinculada al mismo inquilino de Azure AD que Databricks. Puede seleccionar fácilmente Azure DevOps Services como proveedor GIT como se muestra en la documentación, en “Azure DevOps Services Version Control” (Control de versiones de Azure DevOps Services).

Implemente Azure Databricks en su propia red virtual de Azure Virtual Network (inserción en red virtual), en versión preliminar

De forma predeterminada, nos ocupamos de implementar y administrar los clústeres por usted en redes virtuales administradas con emparejamiento habilitado. Nosotros creamos y administramos estas redes virtuales, pero residen en su suscripción. También administramos las reglas de grupos de seguridad de red correspondientes.

No obstante, algunos clientes necesitan personalizar la red. Me complace anunciar que, si necesita hacerlo, ya puede implementar Azure Databricks en su red virtual actual (inserción en red virtual). Conecte Azure Databricks a otros servicios de Azure, como Azure Storage, de forma segura usando puntos de conexión de servicio o a orígenes de datos de su entorno local para usarlos con Azure Databricks, aprovechando las rutas definidas por el usuario. También puede conectar Azure Databricks a un dispositivo de red virtual para inspeccionar todo el tráfico de salida y tomar medidas en función de reglas que permitan o denieguen el acceso. Configure Azure Databricks para usar un DNS personalizado y definir reglas de grupos de seguridad de red (NSG) con el fin de especificar restricciones para el tráfico de salida.

La implementación de Azure Databricks en su red virtual le permite también aprovechar intervalos de CIDR flexibles. Consulte la documentación para configurar Azure Databricks en su red virtual desde Azure Portal de forma rápida y sencilla.

Comience hoy mismo

Pruebe Azure Databricks y envíenos sus comentarios.