ML responsável (Machine Learning responsável)
Funcionalidades do Azure Machine Learning que capacitam cientistas de dados e desenvolvedores a inovar com responsabilidade.
Entenda, proteja e controle seus dados, modelos e processos para criar soluções confiáveis.
Tecnologia de última geração que habilita o desenvolvimento, a implantação e o uso de ML responsável. Coloque os princípios de IA responsável em prática e crie confiança em todo o ciclo de vida de ML.
Entender
Obtenha visibilidade de seus modelos, explique o comportamento do modelo e detecte e reduza a parcialidade. Tudo isso com visualizações prontas para uso.
Proteja
Aplique técnicas de privacidade diferenciais para proteger dados confidenciais e evitar vazamentos. Criptografe dados e crie modelos em um ambiente seguro para manter a confidencialidade.
Controle
Use funcionalidades integradas de avaliação de auditoria e linhagem e habilite o processo responsável documentando metadados do modelo para atender aos requisitos regulatórios.
Entenda seus modelos e crie para fins de imparcialidade
Use a explicabilidade para entender o comportamento do modelo e descobrir os recursos que mais afetam as previsões. Acesse os explicadores integrados para modelos de caixa de vidro e caixa preta durante o treinamento do modelo e a inferência. Use visualizações interativas para comparar modelos e executar teste de hipóteses para aprimorar a precisão do modelo. Teste seus modelos quanto à imparcialidade usando algoritmos de ponta. Reduza a parcialidade em todo o ciclo de vida do ML, compare os modelos mitigados e faça ajustes de imparcialidade intencional versus precisão conforme desejar.
Proteger a privacidade e a confidencialidade dos dados
Crie modelos que preservem a privacidade usando as inovações mais recentes em privacidade diferencial, que injeta níveis precisos de ruído estatístico nos dados para limitar a divulgação de informações confidenciais. Identifique vazamentos de dados e limite consultas repetitivas de modo inteligente para gerenciar o risco de exposição.
Use as técnicas de criptografia e machine learning confidencial (em breve) projetadas especificamente para machine learning para criar modelos com segurança usando dados confidenciais.
Controlar e governar em cada etapa do processo de ML
Acesse funcionalidades integradas para acompanhar automaticamente a linhagem e criar uma avaliação de auditoria em todo o ciclo de vida de ML. Obtenha visibilidade total do processo de ML acompanhando conjuntos de dados, modelos, experimentos, código e muito mais. Use marcas personalizadas para implementar folhas de documentos de modelo, documentar metadados de modelo de chave, aumentar a responsabilidade e garantir o processo responsável.
Referências
Documentação e exemplos
Conceitos de Machine Learning
Ver o ML responsável em ação
Obter mais visibilidade dos modelos para explicar o comportamento deles
Obter mais visibilidade dos modelos para explicar o comportamento deles
Como criar modelos confiáveis?
Janaína, uma cientista de dados, trabalha para uma plataforma de streaming online. Sua empresa está lançando uma nova apresentação no próximo mês e foi solicitada a criar um modelo para identificar os clientes que estariam interessados em assistir a ela e, portanto, devem receber um email de promoção convidando-os.
Seu primeiro modelo mostra uma precisão de 90% em dados históricos. Parece muito bom para ser verdade, portanto, ela quer entender o comportamento do modelo para verificar sua confiabilidade.
Janaína é uma cientista de dados encarregada de criar um modelo para identificar os clientes para uma nova apresentação. O modelo dela mostra uma precisão de 90% em dados históricos. Ela gostaria de entender o comportamento do modelo para verificar sua confiabilidade.
Primeiro, obtenha as explicações de modelo mais recentes
O Azure ML apresenta facilmente as explicações de modelo por meio do SDK do InterpretML. Na guia "Modelos" no Workspace do Azure ML ou no notebook dela, Janaína pode buscar explicações de modelo da execução do experimento mais recente e visualizá-las.
Examinar a variável/recurso de previsão mais forte
Na exibição de importância global, ela vê LOCATION_NEWYORK como preditor mais forte para a promoção. Isso é inesperado. Ela sabe que a hábitos de visualização podem ser materialmente diferentes para Nova York em comparação a outros locais.
Validar o preditor e avaliar o comportamento do modelo
Na exibição de importância local, ela pode inspecionar os resultados com mais granularidade. Ela descobre que o modelo chegou às conclusões erradas sobre locais que não Nova York e percebe que o modelo pode não funcionar bem em toda a base de clientes.
Aprimorar os dados de treinamento para obter precisão e executar novamente o experimento
A hipótese de Janaína é que a tendência pode ser proveniente de seus dados de treinamento. Ao examinar, ela descobre que os registros de Nova York estão apresentando uma distorção em seu conjunto de treinamento. Ela trabalha com a equipe para remover essa distorção e executar novamente o experimento. O novo modelo é publicado no Azure ML, em que seus resultados de teste, incluindo explicações de modelo, estão disponíveis para análise.
A capacidade de interpretação do modelo incentiva uma abordagem de caixa de vidro a seus modelos
Com a capacidade de interpretação do modelo, os modelos de machine learning não são mais uma caixa preta. Isso ajudou Janaína a compreender o comportamento do modelo no momento do treinamento e a identificar uma falha. Isso permitiu evitar a liberação de um modelo que teria apresentado um mau desempenho em produção.
A capacidade de interpretação compatível no momento da inferência também ajuda a tornar as previsões de modelo transparentes para os clientes, um princípio fundamental da IA responsável.
Capacidade de interpretação de modelo no Azure ML InterpretML Repositório GitHub para esta demonstração
Com a capacidade de interpretação do modelo, os modelos de machine learning não são mais uma caixa preta. Isso ajudou Janaína a compreender o comportamento do modelo no momento do treinamento e a identificar uma falha. Isso permitiu evitar a liberação de um modelo que teria apresentado um mau desempenho em produção.
A capacidade de interpretação compatível no momento da inferência também ajuda a tornar as previsões de modelo transparentes para os clientes, um princípio fundamental da IA responsável.
Capacidade de interpretação de modelo no Azure ML InterpretML Repositório GitHub para esta demonstração
Tome decisões críticas com modelos sem vieses ocultos
Tome decisões críticas com modelos sem vieses ocultos
Como identificar de modo imparcial os candidatos certos para o trabalho?
Joe, um cientista de dados, trabalha para uma empresa de TI. Sua equipe de recrutamento é inundada com candidaturas a emprego para cargos de desenvolvedor e pediu para ele criar um modelo para recomendar quais candidatos devem ser entrevistados. Seu primeiro modelo mostra uma precisão de mais de 85%. Porém, Joe está preocupado: sua empresa tradicionalmente recruta recém-formados da universidade e quer garantir que seu modelo não discrimine outros candidatos com diplomas, certificações ou experiência relevante.
Ele recorre ao ML do Azure para ver se há algum viés nesse novo modelo.
Joe, um cientista de dados, trabalha para uma empresa de TI. Sua equipe de recrutamento é inundada com candidaturas a emprego para cargos de desenvolvedor e pediu para ele criar um modelo imparcial para recomendar quais candidatos devem ser entrevistados.
Escolha um fator de viés potencial no modelo
O Azure ML fornece as funcionalidades para detectar viés e garantir a imparcialidade nos modelos por meio do SDK do Fairlearn. No Jupyter Notebook, Joe inicia o kit de ferramentas do Fairlearn e seleciona HAS_DEGREE como um recurso confidencial para determinar se ter uma dada qualificação afeta a recomendação final do modelo.
Selecionar a métrica do modelo para análise
O kit de ferramentas do Fairlearn oferece muitas métricas para analisar um possível viés, como precisão, exatidão, recuperação etc. Joe opta pela precisão como a métrica para determinar se há algum impacto sobre a precisão do modelo ao ajustá-lo para fins de imparcialidade. Isso ajudará Joe a manter um bom equilíbrio entre a precisão e a imparcialidade do modelo.
Identificar se há um viés inerente
O kit de ferramentas do Fairlearn oferece visualizações que mostram os detalhes relevantes do modelo. Joe observa que a precisão é relativamente boa tanto para quem tem diploma quanto para quem não tem, no entanto, é muito mais provável que o modelo recomende entrevistar quem tem um diploma. As preocupações de Joe são validadas – o modelo está mostrando um viés.
Reduzir o viés no modelo
No Azure ML, o kit de ferramentas do Fairlearn mostra mais versões do modelo com níveis variados de mitigação de viés. Joe pode ver as concessões entre precisão e a disparidade entre previsões. Isso dá Joe opções para reduzir o viés e aumentar a imparcialidade do modelo. Ele seleciona um dos modelos aprimorados e os publica para lançamento.
A imparcialidade do modelo garante que não haja nenhum viés nas recomendações do modelo
Com o Fairlearn no Azure ML, Joe conseguiu identificar e atenuar rapidamente um viés inerente em seu modelo antes de entrar em produção. Essa tendência poderia gerado o risco de a empresa perder candidatos valiosos, sem falar em sua reputação. Com as opções de mitigação internas, ele conseguiu resolver o viés com transparência.
O Fairlearn permite que os sistemas de IA sejam inclusivos e tratem todas as pessoas com imparcialidade, um princípio fundamental da IA responsável.
Imparcialidade de modelo no Azure ML Kit de ferramentas do Fairlearn Repositório GitHub para esta demonstração
Com o Fairlearn no Azure ML, Joe conseguiu identificar e atenuar rapidamente um viés inerente em seu modelo antes de entrar em produção. Essa tendência poderia gerado o risco de a empresa perder candidatos valiosos, sem falar em sua reputação. Com as opções de mitigação internas, ele conseguiu resolver o viés com transparência.
O Fairlearn permite que os sistemas de IA sejam inclusivos e tratem todas as pessoas com imparcialidade, um princípio fundamental da IA responsável.
Imparcialidade de modelo no Azure ML Kit de ferramentas do Fairlearn Repositório GitHub para esta demonstração
Como usar técnicas de privacidade diferencial para proteger conjuntos de dados confidenciais
Como usar técnicas de privacidade diferencial para proteger conjuntos de dados confidenciais
Como garantir a privacidade dos dados ao criar modelos?
Ana, uma cientista de dados, trabalhou em um modelo para prever as tarifas de reinternação de pacientes, mas sente-se restrita pelos dados censurados ou mascarados que ela pode acessar devido às regulamentações de privacidade de dados do paciente.
Com os modelos iniciais sem o rigor de previsão necessário para a implantação, ela trabalha com a equipe de conformidade interna para expor um conjunto de dados mais completo, mantendo, ao mesmo tempo, a privacidade, usando o kit de ferramentas de privacidade diferencial do SmartNoise no Azure ML.
Ana, uma cientista de dados, está tentando prever as tarifas de reinternação de pacientes, mas não tem acesso aos dados de pacientes devido a regulamentos de privacidade. Usando o SmartNoise no Azure ML, Ana obtém um conjunto de dados mais útil e ainda mantém a privacidade.
Use o SmartNoise para proteger a privacidade do paciente ao consultar dados
Ana consulta o conjunto de dados usando SQL no Jupyter Notebook dela no Azure ML, mas agora usando o kit de ferramentas do SmartNoise. O SmartNoise verifica se o ruído estatístico é cuidadosamente injetado nos conjuntos de resultados e se o risco de exposição é gerenciado acompanhando as informações expostas por consultas individuais e limitando-as conforme apropriado.
Utilize este conjunto de dados e privado de modo diferencial para treinamento de modelo
Ana incorpora o conjunto de dados a seu roteiro de treinamento. Ele não exige que ela mude nada no código, exceto para apontar para o novo conjunto de dados. Ela pode executar o trabalho de treinamento no mesmo destino de Computação do Azure ML. Durante todo o processo, a equipe de conformidade pode validar que as consultas permanecem dentro do orçamento e, assim, provar que a privacidade do paciente está protegida.
Validar o modelo para eficácia
Usando o widget de resultados, Ana pode ver que seu novo modelo agora está mostrando uma precisão melhor devido aos recursos adicionados em seus dados de treinamento. Ela não violou nenhuma regra de privacidade e sua equipe de conformidade tem visibilidade total do seu comportamento de consulta. Esse novo modelo agora está pronto para passar para a produção para melhores previsões. Ela o publica no Azure ML para lançamento.
O SmartNoise no Azure ML protege a privacidade dos dados ao criar modelos
Com o SmartNoise no Azure ML, Ana conseguiu criar com confiança o modelo de machine learning dela sem comprometer a privacidade dos dados confidenciais. Isso permitiu que ela usasse o machine learning com eficiência e melhorou materialmente os resultados, possibilitando à equipe de conformidade ter certeza de que poderia provar que os dados confidenciais não foram expostos.
O SmartNoise usa técnicas de privacidade diferenciadas para habilitar a criação de machine learning respeitando a privacidade, um princípio fundamental da IA responsável.
SmartNoise no Azure ML Kit de ferramentas do SmartNoise Repositório GitHub para esta demonstração
Com o SmartNoise no Azure ML, Ana conseguiu criar com confiança o modelo de machine learning dela sem comprometer a privacidade dos dados confidenciais. Isso permitiu que ela usasse o machine learning com eficiência e melhorou materialmente os resultados, possibilitando à equipe de conformidade ter certeza de que poderia provar que os dados confidenciais não foram expostos.
O SmartNoise usa técnicas de privacidade diferenciadas para habilitar a criação de machine learning respeitando a privacidade, um princípio fundamental da IA responsável.
SmartNoise no Azure ML Kit de ferramentas do SmartNoise Repositório GitHub para esta demonstração
Crie habilidades de machine learning com o Azure
Saiba mais sobre machine learning no Azure e participe de tutoriais práticos com este percurso de aprendizado de 30 dias. No final deste percurso de aprendizagem, você estará preparado para obter a Certificação de Associado Cientista de Dados do Azure.
Clientes que usam ML responsável
Alex Mohelsky, parceiro e líder em análise de dados na EY Canada"Azure Machine Learning and its Fairlean capabilities offer advanced fairness and explainability that have helped us deploy trustworthy AI solutions for our customers, while enabling stakeholder confidence and regulatory compliance."
Daniel Engberg, chefe de análise de dados e inteligência artificial, Scandinavian Airlines"Azure Machine Learning helps us build AI responsibly and build trust with our customers. Using the interpretability capabilities in the fraud detection efforts for our loyalty program, we are able to understand models better, identify genuine cases of fraud, and reduce the possibility of erroneous results."
