Ansvarsfull maskininlärning (ansvarsfull ML)
Azure Machine Learning-funktioner som gör att dataforskare och utvecklare kan förnya på ett ansvarsfullt sätt.
Förstå, skydda och kontrollera dina data, modeller och processer för att bygga betrodda lösningar.
Den senaste tekniken som möjliggör en ansvarsfull ML-utveckling, -distribution och -användning. Sätt till ansvarsfulla AI-principer i verket och skapa förtroende under hela ML-livscykeln.
Förstå
Få insyn i dina modeller, förklara modellbeteende och identifiera och minimera orättvisor – allt med färdiga visualiseringar.
Skydda
Tillämpa differentiella sekretessmetoder för att skydda känsliga data och förhindra läckor. Kryptera data och bygg modeller i en säker miljö för att upprätthålla sekretessen.
Kontroll
Använd inbyggda funktioner för ursprung och möjliggör en ansvarsfull process genom att dokumentera modellens metadata för att uppfylla regelkraven.
Förstå dina modeller och bygg för rättvisa
Använd modellförklarbarhet för att förstå modellbeteende och få ut funktioner som påverkar förutsägelserna. Få åtkomst till inbyggda förklaringar för både glaslådemodeller och ”svart låda”-modeller under modellträning och slutsatsdragning. Använd interaktiva visualiseringar för att jämföra modeller och utföra konsekvensanalyser för att förbättra modellnoggrannheten. Testa rättvisan i dina modeller med avancerade algoritmer. Minska orättvisan i hela ML-livscykeln, jämför åtgärdade modeller och gör avsiktliga kompromisser för rättvisa och noggrannhet som du önskar.
Skydda datasekretess och konfidentialitet
Bygg modeller som bevarar sekretess med de senaste nyheterna inom differentiell sekretess, som medför exakta nivåer av statistiskt brus i data för att begränsa utlämnandet av känslig information. Identifiera dataläckor och begränsa upprepade frågor intelligent för att hantera exponeringsrisker.
Använd teknik för kryptering och konfidentiell maskininlärning (kommer snart) som är särskilt utformad för maskininlärning för att på ett säkert sätt bygga modeller med konfidentiella data.
Kontrollera och styr varje steg i ML-processen
Få åtkomst till inbyggda funktioner för att automatiskt spåra ursprung och skapa en spårningslogg över ML-livscykeln. Få fullständig insyn i ML-processen genom att spåra datauppsättningar, modeller, experiment, kod med mera. Använd anpassade taggar för att implementera modelldatablad, dokumentera metadatanyckelmodell, öka ansvarstagande och säkerställa en ansvarsfull process.
Resurser
Dokumentationsexempel
Maskininlärningsbegrepp
Se ansvarsfull ML i praktiken
Få bättre insyn i modeller för att förklara hur de fungerar
Få bättre insyn i modeller för att förklara hur de fungerar
Hur bygger du betrodda modeller?
Susan, som är dataforskare, arbetar för en strömningsplattform online. Företaget lanserar en ny visning nästa månad och hon uppmanas att bygga en modell för att identifiera kunder som skulle vara intresserade av att titta på den, och därför bör få ett erbjudande via e-post som bjuder in dem.
Den första modellen visar en noggrannhet på 90 % för historiska data. Det verkar vara för bra för att vara sant, så hon vill förstå modellbeteendet för att säkerställa dess tillförlitlighet.
Susan är dataforskare som har fått uppgiften att skapa en modell för att identifiera kunder för en ny visning. Hennes modell visar en noggrannhet på 90 % för historiska data. Hon skulle vilja förstå modellbeteendet för att säkerställa dess tillförlitlighet.
Börja med att hämta de senaste modellförklaringarna
Azure ML hämtar enkelt modellförklaringar via InterpretML SDK. På fliken Modeller i Azure ML-arbetsytan eller från sin bärbara dator kan Susan hämta modellförklaringar från den senaste experimentkörningen och visualisera dem.
Undersök den starkaste variabeln/prediktorn
I vyn för global prioritet ser hon att LOCATION_NEWYORK som den starkaste prediktorrn för kampanjen. Detta är oväntat – hon vet att visningsvanor kan vara annorlunda för New York jämfört med andra platser.
Verifiera modellens beteende för förutsägelser och bedömning
I vyn för lokal prioritet kan hon granska resultaten mer detaljerat. Hon upptäcker att modellen dragit fel slutsatser om andra platser än New York och inser att modellen kanske inte fungerar bra för den bredare kundbasen.
Förbättra träningsdata för noggrannhet och kör experimentet igen
Susans hypotes är att bias kan komma från hennes träningsdata. När hon tittar närmare ser hon att posterna för New York skapar en snedställning i hennes träningsuppsättning. Hon arbetar med sitt team för att ta bort snedställningen och köra experimentet igen. Den nya modellen publiceras i Azure ML, där experimentresultatet, inklusive modellförklaringar, är tillgängliga för granskning.
Modelltolkningen uppmuntrar en ”glaslådemetod” (glass box approach) för dina modeller
Med modelltolkning är inte längre maskininlärningsmodeller en svart låda. Det hjälpte Susan att förstå modellens beteende under träningstiden och att identifiera ett fel. Det gjorde att hon kunde undvika att släppa en modell som skulle ha presterat dåligt i produktionen.
Med tolkning som stöds vid slutsatsdragningen hjälper det till att göra modellförutsägelserna transparenta för kunderna – en viktig princip för ansvarig AI.
Modelltolkningsbarhet i Azure ML InterpretML GitHub-lagringsplats för den här demon
Med modelltolkning är inte längre maskininlärningsmodeller en svart låda. Det hjälpte Susan att förstå modellens beteende under träningstiden och att identifiera ett fel. Det gjorde att hon kunde undvika att släppa en modell som skulle ha presterat dåligt i produktionen.
Med tolkning som stöds vid slutsatstiden hjälper det till att göra modellförutsägelserna transparenta för kunderna – en viktig princip för ansvarsfull AI.
Modelltolkningsbarhet i Azure ML InterpretML GitHub-lagringsplats för den här demon
Fatta viktiga beslut med modeller utan dold bias
Fatta viktiga beslut med modeller utan dold bias
Hur ska man identifiera rätt jobbsökande på ett rättvist sätt?
Joe, som är dataforskare, arbetar på ett IT-företag. Deras rekryteringsteam är överhopade med jobbansökningar för utvecklare och har bett honom att bygga en modell för att rekommendera vilka sökande som ska intervjuas. Den första modellen visar en noggrannhet på över 85 %. Johan är ändå orolig – hans företag har tidigare rekryterat studenter som har avslutade universitetsstudier med examen och han vill se till att hans modell inte diskriminerar andra kandidater med examensbevis, certifieringar eller relevant erfarenhet.
Han vänder sig till Azure ML för att se om det finns någon bias i den nya modellen.
Joe, som är dataforskare, arbetar på ett IT-företag. Deras rekryteringsteam är överhopade med jobbansökningar för utvecklare och har bett honom att bygga en modell utan bias för att rekommendera vilka sökande som ska intervjuas.
Välj en möjlig biasfaktor i modellen
Azure ML tillhandahåller funktioner för att identifiera bias och garantera rättvisa i modeller via Fairlearn SDK. Från sin Jupyter Notebook initierar Joe Fairlearn Toolkit och väljer HAS_DEGREE som en känslig funktion för att avgöra om en examen påverkar den slutliga rekommendationen från modellen.
Välj modellmått för analys
Fairlearn Toolkit erbjuder många mätvärden som kan analyseras mot potentiell bias, som noggrannhet, precision, träffsäkerhet osv. Joe har angett noggrannhet som mått för att avgöra om det finns någon inverkan på modellens noggrannhet vid justering av rättvisa. Detta hjälper Joe att få en jämn avvägning mellan noggrannheten för modellen och dess rättvisa.
Identifiera om det finns någon inneboende tendens
I Fairlearn Toolkit finns visualiseringar som visar relevant information för modellen. Joe ser att noggrannheten är relativt bra för både examensinnehavare och icke-examensinnehavare, men det är mycket mer sannolikt att modellen skulle rekommendera en examensinnehavare. Joes bekymmer bekräftas – modellen visar bias.
Minska bias i modellen
I Azure ML visar Fairlearn Toolkit fler versioner av modellen med olika nivåer av biasreducering. Joe kan se avvägningen mellan noggrannheten och skillnaderna mellan förutsägelserna. Detta ger Johan alternativ för att minska bias och öka rättvisan i sin modell. Han väljer en av de förbättrade modellerna och publicerar den för lansering.
Modellens rättvisa garanterar att det inte finns någon bias i modellens rekommendationer
Med Fairlearn i Azure ML kunde Joe snabbt identifiera och minimera en potentiell inneboende tendens i sin modell innan den gick till produktion. Denna tendens skulle ha kunnat riskera att företaget skulle förlora värdefulla kandidater, för att inte att nämna sitt rykte. Med de inbyggda alternativen för minimering kunde han åtgärda tendensen transparent.
Med Fairlearn kan AI-system vara inkluderande och behandla alla rättvist, vilket är en viktig princip för ansvarsfull AI.
Rättvisa i Azure ML-modeller Fairlearn Toolkit GitHub-lagringsplats för den här demon
Med Fairlearn i Azure ML kunde Joe snabbt identifiera och minimera en potentiell inneboende tendens i sin modell innan den gick till produktion. Denna tendens skulle ha kunnat riskera att företaget skulle förlora värdefulla kandidater, för att inte att nämna sitt rykte. Med de inbyggda alternativen för minimering kunde han åtgärda tendensen transparent.
Med Fairlearn kan AI-system vara inkluderande och behandla alla rättvist, vilket är en viktig princip för ansvarsfull AI.
Rättvisa i Azure ML-modeller Fairlearn Toolkit GitHub-lagringsplats för den här demon
Använda differentiella sekretessmetoder för att skydda känsliga datauppsättningar
Använda differentiella sekretessmetoder för att skydda känsliga datauppsättningar
Hur säkerställer du datasekretessen när du skapar modeller?
Anna är dataforskare och har har arbetat med en modell för att förutsäga återinskrivningstalet för patienter, men hon känner sig begränsad av redigerade eller maskerade data som hon inte kan komma åt på grund av sekretessreglerna för patienter.
Eftersom de ursprungliga modellerna saknar den strikta förutsägbarhet som behövs för distribution arbetar hon med teamet för efterlevnad för att exponera en mer fullständig datauppsättning, samtidigt som sekretessen upprätthålls, med hjälp av SmartNoise-verktygsuppsättningen i Azure ML.
Anna är dataforskare och försöker förutse återinskrivningstalet för patienter, men hon har inte åtkomst till patientdata på grund av sekretessregler. Med SmartNoise i Azure ML får Anna en mer användbar datauppsättning, samtidigt som sekretessen fortfarande upprätthålls.
Använd SmartNoise för att skydda patientsekretess vid datafrågor
Anna frågar datauppsättningen med SQL i sin Jupyter Notebook i Azure ML, men nu via SmartNoise Toolkit. SmartNoise säkerställer att resultatuppsättningarna försiktigt matas in med statistiskt brus, och exponeringsrisken hanteras genom att hon spårar den information som visas av enskilda frågor och begränsar dem efter behov.
Utnyttja den här differentiella privata datauppsättningen för modellträning
Anna införlivar datauppsättningen i sitt befintliga träningsskript. Hon behöver inte ändra något i sin kod, förutom att peka på den nya datauppsättningen. Hon kan köra träningen smidigt på samma Azure ML-beräkningsmål. Under processen kan teamet för regelefterlevnad kontrollera att hennes frågor finns kvar i budgeten och bevisa att sekretessen för patienter är skyddad.
Validera modellen för effektivitet
Med resultatwidgeten märker Anna att hennes nya modell har bättre noggrannhet tack vare de tillagda funktionerna i hennes träningsdata. Hon har inte överträtt några sekretessregler, och hennes team för efterlevnad har full insyn i sin frågefunktion. Den nya modellen är nu redo att flyttas till produktion för bättre förutsägelser. Hon publicerar den i Azure ML för lansering.
SmartNoise i Azure ML skyddar datasekretessen när du skapar modeller
Med SmartNoise i Azure ML kunde Anna säkert bygga sin maskininlärningsmodell utan att kompromissa med sekretessen för känsliga data. Den här funktionen gjorde att hon kunde använda maskininlärning på ett effektivt sätt, och väsentligt förbättra resultatet, samtidigt som teamet för efterlevnad kunde vara trygga eftersom de kan bevisa att känsliga data inte exponerades.
SmartNoise använder differentiella sekretesstekniker för att kunna bygga maskininlärning med hänsyn till sekretess, en viktig princip för ansvarsfull AI.
SmartNoise i Azure ML SmartNoise Toolkit GitHub-lagringsplats för den här demon
Med SmartNoise i Azure ML kunde Anna säkert bygga sin maskininlärningsmodell utan att kompromissa med sekretessen för känsliga data. Den här funktionen gjorde att hon kunde använda maskininlärning på ett effektivt sätt, och väsentligt förbättra resultatet, samtidigt som teamet för efterlevnad kunde vara trygga eftersom de kan bevisa att känsliga data inte exponerades.
SmartNoise använder differentiella sekretesstekniker för att kunna bygga maskininlärning med hänsyn till sekretess, en viktig princip för ansvarsfull AI.
SmartNoise i Azure ML SmartNoise Toolkit GitHub-lagringsplats för den här demon
Utveckla dina kunskaper i maskininlärning med Azure
Lär dig mer om maskininlärning på Azure och delta i praktiska självstudier i den här 30 dagar långa utbildningsresan. I slutet av utbildningsresan kommer du att vara förberedd för att klara Azure Data Scientist Associate-certifieringen.
Kunder som använder ansvarsfull ML
Alex Mohelsky, partner och dataanalysledare på EY Canada"Azure Machine Learning and its Fairlean capabilities offer advanced fairness and explainability that have helped us deploy trustworthy AI solutions for our customers, while enabling stakeholder confidence and regulatory compliance."
Daniel Engberg, Head of Data Analytics and Artificial Intelligence, Scandinavian Airlines"Azure Machine Learning helps us build AI responsibly and build trust with our customers. Using the interpretability capabilities in the fraud detection efforts for our loyalty program, we are able to understand models better, identify genuine cases of fraud, and reduce the possibility of erroneous results."
