Aprendizaje automático responsable (ML responsable)
Características de Azure Machine Learning que permiten a los científicos de datos y a los desarrolladores innovar de manera responsable.
Comprenda, proteja y controle sus datos, modelos y procesos para crear soluciones de confianza
Tecnología de vanguardia que permite el desarrollo, la implementación y el uso de un aprendizaje automático responsable. Ponga en práctica principios de inteligencia artificial responsable y genere confianza en todo el ciclo de vida del aprendizaje automático.
Comprensión
Adquiera visibilidad sobre los modelos, explique su comportamiento y detecte y mitigue la parcialidad, todo ello con visualizaciones listas para usar.
Protección
Aplique técnicas de privacidad diferencial para proteger los datos confidenciales y evitar fugas. Cifre los datos y cree modelos en un entorno seguro para mantener la confidencialidad.
Controle
Use las características integradas de linaje y trazas de auditoría, y habilite un proceso responsable documentando los metadatos de los modelos para cumplir los requisitos normativos.
Comprenda sus modelos y genere imparcialidad
Use la capacidad de explicación de los modelos para comprender su comportamiento y descubrir las características que más influyen en las predicciones. Acceda a los explicadores integrados para los modelos transparentes y opacos durante el entrenamiento y la inferencia de modelos. Use visualizaciones interactivas para comparar los modelos y llevar a cabo análisis de hipótesis para mejorar la precisión de los modelos. Pruebe los modelos para comprobar el nivel de imparcialidad usando algoritmos de vanguardia. Mitigue la parcialidad a lo largo del ciclo de vida del aprendizaje automático, compare los modelos mitigados y cree imparcialidad intencionada frente a cesiones de precisión como desee.
Proteja la privacidad y la confidencialidad de los datos
Cree modelos que mantengan la privacidad usando las últimas innovaciones en privacidad diferencial, que inserta niveles precisos de ruido estadístico en los datos para limitar la divulgación de información confidencial. Identifique fugas de datos y limite de forma inteligente las consultas repetidas para administrar el riesgo de exposición.
Utilice técnicas de cifrado y aprendizaje automático confidencial (próximamente) diseñadas específicamente para el aprendizaje automático con el fin de crear modelos de forma segura usando datos confidenciales.
Control y gobernanza en cada paso del proceso de aprendizaje automático
Acceda a características integradas para mantener un seguimiento automático del linaje y crear una traza de auditoría para todo el ciclo de vida del aprendizaje automático. Obtenga visibilidad completa sobre el proceso de aprendizaje automático mediante el seguimiento de los conjuntos de datos, los modelos, los experimentos, el código, etc. Use etiquetas personalizadas para implementar hojas de datos de los modelos, documentar metadatos clave de los modelos, aumentar la rendición de cuentas y asegurar un proceso responsable.
Recursos
Documentación y ejemplos
Vídeos
Conceptos del aprendizaje automático
Vea el aprendizaje automático responsable en acción
Obtenga más visibilidad sobre los modelos para explicar su comportamiento
Obtenga más visibilidad sobre los modelos para explicar su comportamiento
¿Cómo se crean modelos de confianza?
Susan, científica de datos, trabaja para una plataforma de streaming en línea. Su compañía va a lanzar un programa nuevo el mes que viene y se le ha pedido que cree un modelo para identificar a los clientes que podrían estar interesados en verlo y, por tanto, deberían recibir un correo electrónico promocional para invitarlos.
Su primer modelo muestra una precisión del 90 % con datos históricos. Parece demasiado bueno para ser cierto, por eso quiere comprender el comportamiento del modelo para determinar su confiabilidad.
Susan es una científica de datos que tiene la tarea de crear un modelo que identifique a posibles clientes para un nuevo programa. Su modelo muestra una precisión del 90 % con datos históricos. Le gustaría comprender el comportamiento del modelo para determinar su confiabilidad.
En primer lugar, obtenga las explicaciones más recientes del modelo
Azure ML expone sin esfuerzo explicaciones de los modelos usando el SDK InterpretML. Desde la pestaña "Modelos" del área de trabajo de Azure ML o desde su cuaderno, Susan puede capturar explicaciones del modelo de la ejecución más reciente del experimento y visualizarlas.
Examine la característica o la variable de predicción más fuerte
En la vista de importancia global, ve LOCATION_NEWYORK como el factor de predicción más fuerte para la promoción. Esto es inesperado. Ella sabe que los hábitos televisivos pueden ser muy diferentes entre Nueva York y otros lugares.
Valide el factor de predicción y evalúe el comportamiento del modelo
En la vista de importancia local, puede inspeccionar los resultados de un modo más pormenorizado. Observa que el modelo ha sacado las conclusiones equivocadas para lugares distintos de Nueva York y se da cuenta de que es posible que el modelo no funcione bien para toda la base de clientes.
Mejore la precisión de los datos de entrenamiento y vuelva a ejecutar el experimento
La hipótesis de Susan es que el sesgo puede provenir de los datos de entrenamiento. Al revisarlos, encuentra que los registros de Nueva York están introduciendo un sesgo en el conjunto de entrenamiento. Trabaja con su equipo para quitar este sesgo y volver a ejecutar el experimento. El nuevo modelo se publica en Azure ML, donde los resultados del experimento, incluidas las explicaciones del modelo, están disponibles para revisarlos.
La interpretabilidad de los modelos promueve un enfoque transparente
Gracias a la interpretabilidad, los modelos de aprendizaje automático han dejado de ser opacos. Esto ayudó a Susan a comprender el comportamiento del modelo durante la fase de entrenamiento y a identificar un error. De este modo, pudo evitar el lanzamiento de un modelo que no habría funcionado bien en producción.
Además, la interpretabilidad en el momento de la inferencia permite que las predicciones de los modelos sean transparentes para los clientes, un principio clave de la inteligencia artificial responsable.
Interpretabilidad de los modelos en Azure ML InterpretML Repositorio de GitHub para esta demostración
Gracias a la interpretabilidad, los modelos de aprendizaje automático han dejado de ser opacos. Esto ayudó a Susan a comprender el comportamiento del modelo durante la fase de entrenamiento y a identificar un error. De este modo, pudo evitar el lanzamiento de un modelo que no habría funcionado bien en producción.
Además, la interpretabilidad en el momento de la inferencia permite que las predicciones de los modelos sean transparentes para los clientes, un principio clave de la inteligencia artificial responsable.
Interpretabilidad de los modelos en Azure ML InterpretML Repositorio de GitHub para esta demostración
Tome decisiones críticas con modelos que no tengan sesgos ocultos
Tome decisiones críticas con modelos que no tengan sesgos ocultos
¿Cómo se pueden identificar de forma imparcial los candidatos adecuados?
Joe, un científico de datos, trabaja para una compañía de TI. Su equipo de contratación está desbordado con solicitudes de trabajo para el puesto de desarrollador y le han pedido que cree un modelo que recomiende los candidatos que deberían entrevistarse. Su primer modelo muestra una precisión de más del 85 %. Sin embargo, Joe está preocupado, porque su empresa siempre ha contratado a graduados universitarios y quiere asegurarse de que su modelo no discrimine a otros candidatos con diplomas, certificaciones o experiencia en la materia.
Recurre a Azure ML para comprobar si hay algún sesgo en su nuevo modelo.
Joe, un científico de datos, trabaja para una compañía de TI. Su equipo de contratación está desbordado con solicitudes de trabajo para el puesto de desarrollador y le han pedido que cree un modelo imparcial que recomiende los candidatos que deberían entrevistarse.
Elija un posible factor de sesgo en el modelo
Azure ML proporciona funcionalidad para detectar el sesgo y garantizar la imparcialidad en los modelos con el SDK Fairlearn. En su cuaderno de Jupyter Notebook, Joe inicia el kit de herramientas Fairlearn y selecciona HAS_DEGREE como una característica sensible, para determinar si el hecho de ser graduado tiene algún impacto en la recomendación final del modelo.
Seleccione la métrica del modelo para analizarla
El kit de herramientas Fairlearn ofrece numerosas métricas para analizar posibles sesgos, como la precisión, la memoria, etc. Joe opta por la precisión como métrica para determinar si hay algún impacto en la precisión del modelo mientras lo ajusta para que sea imparcial. Esto ayudará a Joe a mantener un buen equilibrio entre la precisión del modelo y su imparcialidad.
Identifique si hay un sesgo inherente
El kit de herramientas Fairlearn ofrece visualizaciones que muestran detalles pertinentes del modelo. Joe observa que la precisión es relativamente buena tanto para los graduados como para los no graduados. Sin embargo, es mucho más probable que el modelo recomiende a un graduado para la entrevista. Los temores de Joe se confirman: el modelo muestra cierto sesgo.
Mitigue el sesgo en el modelo
En Azure ML, el kit de herramientas Fairlearn muestra más versiones del modelo con niveles distintos de mitigación del sesgo. Joe puede ver la compensación entre la precisión y la disparidad en las predicciones. Esto proporciona a Joe opciones para reducir el sesgo y aumentar la imparcialidad en el modelo. Selecciona uno de los modelos mejorados y lo publica para su lanzamiento.
La imparcialidad del modelo garantiza que no haya ningún sesgo en sus recomendaciones
Con Fairlearn en Azure ML, Joe pudo identificar y mitigar rápidamente un sesgo inherente en el modelo antes de pasarlo a producción. Este sesgo podría haber supuesto un riesgo para la compañía de perder a candidatos muy válidos, por no hablar de su reputación. Con las opciones de mitigación integradas, Joe pudo solucionar el sesgo de forma transparente.
Fairlearn permite que los sistemas de inteligencia artificial sean inclusivos y traten a todas las personas con imparcialidad, un principio clave de la inteligencia artificial responsable.
Imparcialidad de los modelos en Azure ML Kit de herramientas Fairlearn Repositorio de GitHub para esta demostración
Con Fairlearn en Azure ML, Joe pudo identificar y mitigar rápidamente un sesgo inherente en el modelo antes de pasarlo a producción. Este sesgo podría haber supuesto un riesgo para la compañía de perder a candidatos muy válidos, por no hablar de su reputación. Con las opciones de mitigación integradas, Joe pudo solucionar el sesgo de forma transparente.
Fairlearn permite que los sistemas de inteligencia artificial sean inclusivos y traten a todas las personas con imparcialidad, un principio clave de la inteligencia artificial responsable.
Imparcialidad de los modelos en Azure ML Kit de herramientas Fairlearn Repositorio de GitHub para esta demostración
Uso de técnicas de privacidad diferencial para proteger conjuntos de datos confidenciales
Uso de técnicas de privacidad diferencial para proteger conjuntos de datos confidenciales
¿Cómo se puede garantizar la privacidad de los datos durante la creación de modelos?
Anna, una científica de datos, trabaja en un modelo para predecir las tasas de readmisión de pacientes, pero se ve limitada por los datos expurgados o enmascarados a los que puede acceder debido a la normativa sobre la privacidad de los datos de los pacientes.
Con sus modelos iniciales que carecen del rigor predictivo necesario para la implementación, trabaja con su equipo de cumplimiento interno para exponer un conjunto de datos más completo, sin dejar de preservar la privacidad, usando el kit de herramientas de privacidad diferencial SmartNoise en Azure ML.
Anna, una científico de datos, está intentando predecir las tasas de readmisión de pacientes, pero no tiene acceso a los datos de los pacientes debido a la normativa sobre la privacidad. Con SmartNoise en Azure ML, Anna consigue un conjunto de datos más útil, a la vez que mantiene la privacidad.
Aproveche SmartNoise para proteger la privacidad de los pacientes mientras se consultan los datos
Anna consulta el conjunto de datos usando SQL en su cuaderno de Jupyter Notebook en Azure ML, pero ahora con el kit de herramientas SmartNoise. SmartNoise garantiza que en los conjuntos de resultados se inserte cuidadosamente ruido estadístico y que el riesgo de exposición se administre mediante el seguimiento de la información expuesta por las consultas individuales y limitándolas según proceda.
Aproveche este conjunto de datos con privacidad diferencial para el entrenamiento del modelo
Anna incorpora el conjunto de datos al script de entrenamiento actual. No es necesario que cambie nada en el código, salvo que apunte al nuevo conjunto de datos. Puede ejecutar sin problemas el trabajo de entrenamiento en el mismo destino de proceso de Azure ML. A lo largo del proceso, su equipo de cumplimiento normativo puede validar que las consultas permanecen dentro del presupuesto y, por tanto, demostrar que la privacidad de los pacientes está protegida.
Valide la eficacia del modelo
En el widget de resultados, Anna puede ver que su nuevo modelo ahora muestra una mejor precisión debido a las características agregadas a los datos de entrenamiento. No ha infringido ninguna regla de privacidad y su equipo de cumplimiento normativo tiene visibilidad completa sobre el comportamiento de las consultas. Este nuevo modelo ya está listo para pasarlo a producción y mejorar las predicciones. Anna lo publica en Azure ML para su lanzamiento.
SmartNoise en Azure ML protege la privacidad de los datos durante la creación de modelos
Con SmartNoise en Azure ML, Anna pudo crear su modelo de aprendizaje automático con confianza y sin comprometer la privacidad de la información confidencial. Esto le permitió usar aprendizaje automático de forma eficaz y mejorar los resultados de manera significativa, al tiempo que permite que el equipo de cumplimiento normativo esté tranquilo sabiendo que puede demostrar que no se han expuesto datos confidenciales.
SmartNoise usa técnicas de privacidad diferencial para permitir la creación de aprendizaje automático a la vez que se respeta la privacidad, un principio clave de la inteligencia artificial responsable.
SmartNoise en Azure ML Kit de herramientas SmartNoise Repositorio de GitHub para esta demostración
Con SmartNoise en Azure ML, Anna pudo crear su modelo de aprendizaje automático con confianza y sin comprometer la privacidad de la información confidencial. Esto le permitió usar aprendizaje automático de forma eficaz y mejorar los resultados de manera significativa, al tiempo que permite que el equipo de cumplimiento normativo esté tranquilo sabiendo que puede demostrar que no se han expuesto datos confidenciales.
SmartNoise usa técnicas de privacidad diferencial para permitir la creación de aprendizaje automático a la vez que se respeta la privacidad, un principio clave de la inteligencia artificial responsable.
SmartNoise en Azure ML Kit de herramientas SmartNoise Repositorio de GitHub para esta demostración
Desarrolle sus conocimientos del aprendizaje automático con Azure
Obtenga más información sobre el aprendizaje automático en Azure y participe en tutoriales prácticos en este recorrido de aprendizaje de 30 días. Cuando acabe este recorrido de aprendizaje, estará preparado para la certificación Azure Data Scientist Associate.
Clientes que utilizan un aprendizaje automático responsable
Alex Mohelsky, líder de análisis de datos y asociados en EY Canada"Azure Machine Learning and its Fairlean capabilities offer advanced fairness and explainability that have helped us deploy trustworthy AI solutions for our customers, while enabling stakeholder confidence and regulatory compliance."
Daniel Engberg, director de análisis de datos e inteligencia artificial en Scandinavian Airlines"Azure Machine Learning helps us build AI responsibly and build trust with our customers. Using the interpretability capabilities in the fraud detection efforts for our loyalty program, we are able to understand models better, identify genuine cases of fraud, and reduce the possibility of erroneous results."
