Las personas que trabajan con datos, incluidos los usuarios técnicos y empresariales, se basan en el linaje de los datos para llevar a cabo el análisis de la causa principal, el análisis de impacto, el seguimiento de la calidad de los datos y otras aplicaciones de gobernanza de los datos. En el panorama de datos actual, donde los datos fluyen entre ubicaciones (del entorno local a la nube y entre nubes), plataformas de datos y aplicaciones, es cada vez más importante elaborar un mapa del linaje de los datos. Este es el motivo por el que presentamos la extracción del linaje dinámico, que ahora está en versión preliminar.
Los sistemas convencionales elaboran mapas del linaje mediante el análisis de los scripts de transformación de datos, también denominado análisis de código estático. Esto funciona bien en escenarios sencillos. Por ejemplo, cuando se usa un script SQL para generar una tabla de destino Customer_Sales uniendo dos tablas denominadas Customer y Sales, el análisis de código estático puede elaborar el mapa del linaje de los datos. Sin embargo, en muchos casos de uso reales, las cargas de trabajo de procesamiento de datos son bastante complicadas. Los scripts pueden estar encapsulados en un procedimiento almacenado que está parametrizado y utiliza SQL dinámico. Puede haber un árbol de decisión con una instrucción if then else que ejecuta scripts diferentes en tiempo de ejecución. O, simplemente, puede que no se confirmen las transacciones de datos en tiempo de ejecución.
En todos estos ejemplos, se requiere un análisis dinámico para hacer un seguimiento eficaz del linaje. Lo que es aún más importante: el análisis del linaje estático no asocia datos y procesos con los metadatos de tiempo de ejecución, lo que limita considerablemente las aplicaciones de los clientes. Por ejemplo, la codificación del linaje dinámico con información como quién ejecutó un procedimiento almacenado y cuándo, desde qué aplicación y qué servidor permitirá a los clientes controlar la privacidad, cumplir las normativas, aumentar el tiempo para obtener información y conocer mejor sus datos y procesos en general.
Linaje dinámico de los datos: bases de datos de Azure SQL Database
Hoy anunciamos la versión preliminar de la extracción del linaje dinámico de bases de datos de Azure SQL Database con Azure Purview. Azure SQL Database es uno de los sistemas de base de datos relacional más utilizados en las empresas. Habitualmente, se utilizan procedimientos almacenados para realizar transformaciones y agregaciones de datos en tablas SQL para aplicaciones que los utilizan a continuación. Con esta versión, el servicio Mapa de datos de Azure Purview se puede enriquecer aún más con metadatos de linaje dinámicos, como el estado de ejecución, el número de filas afectadas, el cliente desde el que se ejecuta el procedimiento almacenado, la información del usuario y otros detalles operativos de ejecuciones reales de procedimientos almacenados de SQL en bases de datos de Azure SQL Database.
Metadatos de linaje limitados con el análisis de código estático*
La implementación real implica que Mapa de datos de Azure Purview utilice el marco de instrumentación del motor de SQL y extraiga los registros en tiempo de ejecución para agregar el linaje dinámico. Los registros en tiempo de ejecución proporcionan también las consultas reales ejecutadas en el motor de SQL para la manipulación de datos. Con Azure Purview, se puede crear el mapa del linaje de los datos y recopilar información más detallada del origen. Los escáneres de Azure Purview se ejecutan varias veces al día para mantener actualizados el linaje dinámico y la procedencia de los datos de las bases de datos de Azure SQL Database.
Si desea obtener más información sobre el linaje dinámico de los datos de las bases de datos de Azure SQL Database en Azure Purview, vea este vídeo:
Empiece a usar Azure Purview hoy mismo
La integración nativa con Azure SQL Database para extraer el linaje dinámico y la procedencia es una funcionalidad pionera y Azure Purview está a la cabeza. Siga estos pasos para comenzar:
- Cree una cuenta de Azure Purview de forma rápida y sencilla para probar las características que están en disponibilidad general.
- Consulte la documentación de inicio rápido sobre cómo conectar una base de datos de Azure SQL Database a una cuenta de Azure Purview para extraer el linaje dinámico de los datos.