Machine learning responsável (ML responsável)
Capacidades do Azure Machine Learning que permitem que cientistas de dados e programadores inovem com responsabilidade.
Compreenda, projete e controle os seus dados, modelos e processos para compilar soluções fidedignas.
Tecnologia de ponta que conduz a desenvolvimento, implementação e utilização de ML responsável. Ponha em prática princípios de IA responsável e crie confiança em todo o ciclo de vida de ML.
Compreenda
Obtenha visibilidade para os seus modelos, explique o comportamento dos mesmos e detete e mitigue a iniquidade, tudo com visualizações prontas a utilizar.
Proteger
Aplique técnicas de privacidade diferencial para proteger os dados sensíveis e evitar fugas. Encripte os dados e crie modelos num ambiente seguro para manter a confidencialidade.
Controlo
Utilize as capacidades incorporadas de linhagem e ensaio de auditoria e crie um processo responsável mediante a documentação de metadados de modelos para cumprir requisitos regulamentares.
Compreenda os modelos e crie com equidade em mente
Explique o comportamento dos modelos e desvende características com mais impacto nas predições. Utilize explicadores incorporados para modelos " glass-box" e "black-box" durante a preparação e a inferência de modelos. Utilize visualizações interativas para comparar modelos e realizar análises "what-if" para melhorar a precisão dos mesmos. Teste os modelos quanto a equidade com algoritmos de ponta. Mitigue a iniquidade ao longo do ciclo de vida de ML, compare modelos mitigados e assuma compromissos intencionais entre equidade e precisão conforme pretender.
Proteja a privacidade e a confidencialidade dos dados
Crie modelos que preservem a privacidade com as mais recentes inovações em privacidade diferencial, que injeta níveis precisos de ruído estatístico nos dados, de modo a limitar a divulgação de informação confidencial. Identifique fugas de dados e limite, de forma inteligente, consultas repetidas para gerir o risco de exposição.
Utilize a encriptação e as técnicas de machine learning confidencial (brevemente) desenhadas especificamente para machine learning para criar modelos com dados confidenciais em segurança.
Controle e governe todos os passos do processo de ML
Aceda a capacidades incorporadas para monitorizar automaticamente a linhagem e criar um ensaio de auditoria a todo o ciclo de vida de ML. Tenha visibilidade completa para o processo de ML ao monitorizar conjuntos de dados, modelos, experimentações, código e outros elementos. Utilize etiquetas personalizadas para implementar fichas técnicas de modelos, documentar metadados de modelos-chave, aumentar a responsabilização e assegurar um processo responsável.
Veja o ML responsável em ação
Obtenha melhor visibilidade para os modelos para explicar os comportamentos dos mesmos
Obtenha melhor visibilidade para os modelos para explicar os comportamentos dos mesmos
Como criar modelos fidedignos?
A Susan, cientista de dados, trabalha para uma plataforma de transmissão em fluxo online. A empresa dela vai lançar um programa novo no mês que vem e foi-lhe pedido que crie um modelo que identifique os clientes que estariam interessados em vê-lo, os quais receberiam um e-mail promocional a convidá-los.
O primeiro modelo da Susan mostra uma precisão de 90% para os dados históricos. Parece demasiado bom para ser verdade, por isso, ela quer compreender o comportamento do modelo para perceber até que ponto é fiável.
A Susan é uma cientista de dados encarregada de criar um modelo para identificar clientes para um programa novo. O modelo da Susan mostra uma precisão de 90% para os dados históricos. Ela quer compreender o comportamento do mesmo para perceber até que ponto é fiável.
Primeiro, obtenha as explicações do modelo mais recente
O Azure ML extrai facilmente explicações dos modelos com o SDK InterpretML. Seja no separador "Modelos" na área de trabalho do Azure ML ou no bloco de notas dela, a Susan pode obter explicações do modelo relativos à execução de experimentação mais recente e visualizá-las.
Examine a variável/característica de avaliador mais forte
Na vista de importância global, vê LOCATION_NEWYORK como o avaliador mais forte da promoção, o que é inesperado, porque a Susan sabe que os hábitos de visualização podem ser materialmente diferentes para Nova Iorque em comparação com outras localizações.
Valide o avaliador e avalie o comportamento do modelo
Na vista de importância local, pode analisar os resultados com maior granularidade. A Susan apercebe-se de que o modelo chegou às conclusões erradas relativamente a outras localizações para além de Nova Iorque e compreende que o modelo poderá não funcionar bem em toda a base de clientes da empresa.
Melhore a precisão dos dados de preparação e volte a executar a experimentação
A hipótese da cientista de dados é que o desvio poderá ter origem nos dados de preparação. Ao revê-los, percebe que os registos de Nova Iorque estão a introduzir uma distorção no conjunto de preparação. Em conjunto com a equipa, eliminam a distorção e voltam a executar a experimentação. O modelo novo é publicado no Azure ML, onde os resultados da experimentação, entre os quais as explicações do modelo, estão disponíveis para análise.
A interpretação de modelos promove uma abordagem de "glass box" aos seus modelos
Com a interpretação de modelos, os modelos de machine learning já não seguem a abordagem de "black box". Ajudou a Susan a compreender o comportamento do modelo dela no momento da preparação e a identificar uma falha. Desta forma, evitou lançar um modelo cujo desempenho em produção seria mau.
E com a interpretação suportada no momento da inferência também, ajuda a tornar as predições dos modelos transparentes para os clientes, que é um dos princípios-chave da IA responsável.
Interpretação de Modelos no Azure ML InterpretML Repositório do GitHub desta demonstração
Com a interpretação de modelos, os modelos de machine learning já não seguem a abordagem de "black box". Ajudou a Susan a compreender o comportamento do modelo dela no momento da preparação e a identificar uma falha. Desta forma, evitou lançar um modelo cujo desempenho em produção seria mau.
E com a interpretação suportada no momento da inferência também, ajuda a tornar as predições dos modelos transparentes para os clientes, que é um dos princípios-chave da IA responsável.
Interpretação de Modelos no Azure ML InterpretML Repositório do GitHub desta demonstração
Tome decisões críticas com modelos que não têm desvios ocultos
Tome decisões críticas com modelos que não têm desvios ocultos
Como identificar equitativamente os candidatos certos?
Joe é cientista de dados numa empresa de TI. A equipa de recrutamento da empresa está assoberbada com candidaturas para cargos de programação e pediu-lhe que crie um modelo que recomende que candidatos devem ser entrevistados. O primeiro modelo do Joe mostra uma precisão de mais de 85%. Contudo, ele está preocupado. Tradicionalmente, a empresa recruta licenciados universitários, mas ele quer ter a certeza de que o modelo não discrimina candidatos com outras certificações, diplomas ou experiência relevante.
Para tal, recorre ao Azure ML, para ver se o modelo novo está polarizado.
Joe é cientista de dados numa empresa de TI. A equipa de recrutamento da empresa está assoberbada com candidaturas para cargos de programação e pediu-lhe que crie um modelo não polarizado que recomende que candidatos devem ser entrevistados.
Escolha um fator de potencial desvio no modelo
O Azure ML proporciona capacidades para detetar desvios e garantir a equidade dos modelos através do SDK Fairlearn. A partir do seu bloco de notas do Jupyter, o Joe inicia o conjunto de ferramentas do Fairlearn e seleciona HAS_DEGREE como uma característica sensível, de modo a determinar se ter uma licenciatura tem algum impacto na recomendação final do modelo.
Selecione a métrica do modelo para análise
O conjunto de ferramentas do Fairlearn oferece muitas métricas para analisar potenciais desvios, como precisão, exatidão, recuperação, etc. O Joe seleciona a exatidão como a métrica para determinar se há algum impacto na precisão do modelo, ao mesmo tempo que o ajusta para equidade. Desta forma, consegue um bom equilíbrio entre a precisão do modelo e a equidade do mesmo.
Identifique se existem desvios inerentes
O conjunto de ferramentas do Fairlearn oferece visualizações que mostram os detalhes relevantes do modelo. O Joe repara que a exatidão é relativamente boa para licenciados e não licenciados; contudo, a probabilidade de o modelo recomendar entrevistar licenciados é muito maior. As preocupações do Joe tinham razão de ser; o modelo mostra um desvio.
Mitigue os desvios no modelo
No Azure ML, o conjunto de ferramentas do Fairlearn mostra mais versões do modelo com níveis variados de mitigação de desvios. O Joe pode ver o compromisso entre a exatidão e a disparidade nas várias predições, o que lhe dá opções para reduzir o desvio e aumentar a equidade do modelo. Ele seleciona um dos modelos melhorados e publica-o para lançamento.
A equidade dos modelos assegura que as recomendações dos mesmos não têm desvios.
Com o Fairlearn no Azure ML, o Joe conseguiu identificar e mitigar rapidamente um desvio inerente no modelo, antes de o enviar para produção. Esse desvio poderia ter feito com que a empresa perdesse bons candidatos e, pior, que tivesse efeitos negativos na sua reputação. Com as opções de mitigação incorporadas, o Joe conseguiu resolver o desvio de forma transparente.
O Fairlearn permite que os sistemas de IA sejam inclusivos e tratem todos com equidade, um princípio-chave da IA responsável.
Equidade de modelos no Azure ML Conjunto de Ferramentas do Fairlearn Repositório do GitHub desta demonstração
Com o Fairlearn no Azure ML, o Joe conseguiu identificar e mitigar rapidamente um desvio inerente no modelo, antes de o enviar para produção. Esse desvio poderia ter feito com que a empresa perdesse bons candidatos e, pior, que tivesse efeitos negativos na sua reputação. Com as opções de mitigação incorporadas, o Joe conseguiu resolver o desvio de forma transparente.
O Fairlearn permite que os sistemas de IA sejam inclusivos e tratem todos com equidade, um princípio-chave da IA responsável.
Equidade de modelos no Azure ML Conjunto de Ferramentas do Fairlearn Repositório do GitHub desta demonstração
Utilizar técnicas de privacidade diferencial para proteger conjuntos de dados confidenciais
Utilizar técnicas de privacidade diferencial para proteger conjuntos de dados confidenciais
Como se pode criar modelos e garantir a privacidade dos dados?
A Ana, cientista de dados, tem estado a trabalhar num modelo para prever as taxas de reinternamento de doentes, mas sente-se limitada devido à supressão ou ocultação de dados a que tem acesso, por causa dos regulamentos de privacidade de dados dos doentes.
Uma vez que os seus modelos iniciais não tinham o rigor preditivo necessário para a implementação, a Ana trabalha com a equipa de conformidade interna para expor um conjunto de dados mais completo, mantendo, ao mesmo tempo, a privacidade, mediante a utilização do conjunto de ferramentas de privacidade diferencial do SmartNoise no Azure ML.
A Ana, cientista de dados, está a tentar prever as taxas de reinternamento de doentes, mas não tem acesso aos dados dos doentes devido aos regulamentos de privacidade. Ao utilizar o SmartNoise no Azure ML, a Ana obtém um conjunto de dados mais útil e mantém, ao mesmo tempo, a privacidade.
Tire partido do SmartNoise para consultar dados e proteger a privacidade dos doentes
A Ana utiliza o SQL para consultar o conjunto de dados no bloco de notas Jupyter diretamente no Azure ML, mas desta vez através do conjunto de ferramentas do SmartNoise. O SmartNoise assegura que é cuidadosamente injetado ruído estatístico nos conjuntos de resultados e o risco de exposição é gerido ao monitorizar as informações expostas por consultas individuais e ao limitá-las conforme adequado.
Tire partido deste conjunto de dados de privacidade diferencial na preparação de modelos
A Ana incorpora o conjunto de dados no script de preparação atual. Não tem de fazer nenhuma alteração ao código, exceto apontar para o conjunto de dados novo. Pode executar facilmente o trabalho de preparação no mesmo destino de computação do Azure ML. Ao longo do processo, a equipa de conformidade da Ana pode validar se as consultas permanecem dentro do orçamento e, dessa forma, provar que a privacidade dos doentes está protegida.
Valide a eficácia dos modelos
Ao utilizar o widget de resultados, a Ana pode ver que o modelo novo mostra agora uma exatidão melhor, devido às caraterísticas adicionadas aos dados de preparação. Não infringiu nenhum regulamento de privacidade e a equipa de conformidade tem visibilidade total para o comportamento de consultas dela. Este modelo novo está agora pronto para ir para produção, para devolver predições melhores. A Ana publica-o no Azure ML para lançamento.
O SmartNoise no Azure ML protege a privacidade de dados na criação de modelos
Com o SmartNoise no Azure ML, a Ana conseguiu criar o modelo de machine learning com confiança e sem pôr em risco a privacidade dos dados confidenciais, o que lhe permitiu não só utilizar o machine learning de forma eficaz e melhorar, materialmente, os resultados, como também deixou a equipa de conformidade tranquila, ao saber que podia provar que os dados confidenciais não tinham sido expostos.
O SmartNoise utiliza técnicas de privacidade diferencial para criar machine learning e respeitar, em paralelo, a privacidade, que é um princípio-chave da IA responsável.
SmartNoise no Azure ML Toolkit do SmartNoise Repositório do GitHub desta demonstração
Com o SmartNoise no Azure ML, a Ana conseguiu criar o modelo de machine learning com confiança e sem pôr em risco a privacidade dos dados confidenciais, o que lhe permitiu não só utilizar o machine learning de forma eficaz e melhorar, materialmente, os resultados, como também deixou a equipa de conformidade tranquila, ao saber que podia provar que os dados confidenciais não tinham sido expostos.
O SmartNoise utiliza técnicas de privacidade diferencial para criar machine learning e respeitar, em paralelo, a privacidade, que é um princípio-chave da IA responsável.
SmartNoise no Azure ML Toolkit do SmartNoise Repositório do GitHub desta demonstração
Clientes que utilizam ML responsável
Alex Mohelsky, Parceiro e Líder de Análise de Dados na EY Canada"Azure Machine Learning and its Fairlean capabilities offer advanced fairness and explainability that have helped us deploy trustworthy AI solutions for our customers, while enabling stakeholder confidence and regulatory compliance."
Daniel Engberg, Diretor de Análise de Dados e Inteligência Artificial, Scandinavian Airlines"Azure Machine Learning helps us build AI responsibly and build trust with our customers. Using the interpretability capabilities in the fraud detection efforts for our loyalty program, we are able to understand models better, identify genuine cases of fraud, and reduce the possibility of erroneous results."
