This is the Trace Id: de55d8c1459fba44e34e01227c791b74
Gå til hovedinnhold
Azure

Hva er forsterkende læring?

Oppdag hva forsterkende læring er, og hvordan det hjelper KI-systemer med å tilpasse seg og forbedre seg over tid.
Kom i gang med Azure

En oversikt over forsterkende læring

Forsterkende læring er en maskinlæringsmetode der systemer lærer ved å samhandle med miljøet, motta tilbakemeldinger og justere atferden for å forbedre beslutningstakingen over tid.

Viktige hovedpunkter

  • Forsterkende læring lærer opp modeller gjennom prøving og feiling, og bruker belønninger til å forme atferd over tid.
  • Det er godt egnet for oppgaver som involverer sekvenser av beslutninger, for eksempel robotikk, spilling eller tilpassing.
  • Forsterkende læring fra menneskelig tilbakemelding (RLHF) forbedrer modelljusteringen ved hjelp av menneskelig inndata i stedet for bare automatiserte signaler.
  • RLHF hjelper systemer med å produsere svar som bedre gjenspeiler menneskelige mål, verdier eller preferanser.
  • Begge tilnærmingene fortsetter å utvikle seg etter hvert som maskinlæring spiller en større rolle i KI-assisterte verktøy og systemer.

Forsterkningslæring definert

Forsterkende læring er en maskinlæringstilnærming der systemer lærer gjennom erfaring. En agent samhandler med et miljø, utfører handlinger, mottar tilbakemeldinger i form av belønninger eller straffetiltak, og justerer fremtidig atferd for å forbedre ytelsen. Over tid lærer agenten hvilke beslutninger som fører til bedre resultater, noe som gjør denne metoden spesielt verdifull for dynamiske eller sekvensielle oppgaver der den optimale løsningen ikke er kjent på forhånd. Den brukes på tvers av domener fra robotikk og spilling til anbefalingssystemer og innholdsmoderering.

Det grunnleggende ved forsterkende læring

Hva er forsterkende læring, og hvordan påvirker det KI-systemer?

Maskinlæring hjelper datamaskiner med å lære seg mønstre fra informasjon over tid, uten å være eksplisitt programmert. Den driver alt fra e-postfiltrering til svindelgjenkjenning til KI-assistert oversettelse. Innenfor dette brede feltet er forsterkende læring en spesifikk tilnærming som lærer systemer å ta beslutninger gjennom erfaring.

En annen type læringssløyfe

I motsetning til overvåket læring som bruker merkede data, fungerer forsterkende læring via prøving og feiling. Et system – kalt en agent – samhandler med miljøet sitt, utfører handlinger og mottar belønninger eller straffetiltak. Over tid lærer den hvilke handlinger som fører til bedre resultater.

Tilbakemeldingssløyfen fungerer slik:
  • Agenten utfører en handling.
  • Miljøet reagerer.
  • Agenten får en belønning eller en straff.
  • Agenten justerer strategien basert på denne tilbakemeldingen.
Denne oppbygningen er spesielt nyttig når det riktige svaret ikke er kjent på forhånd, men suksess kan måles etter resultater. Den gjenspeiler måten folk lærer på, som er ved å prøve, observere resultatet og justere neste trekk.

Slik støtter forsterkende læring smartere systemer
Forsterkende læring er ideelt for systemer som trenger å foreta en sekvens med beslutninger der hver handling påvirker den neste. Det brukes ofte i dynamiske miljøer der det ikke er praktisk å lære opp en modell fra grunnen av.

Vanlige bruksområder inkluderer:
 
  • Robotikk: lære roboter å gå, gripe eller navigere
  • Spilling: utvikle konkurransestrategier
  • Industriell automatisering: justering og tilpasning av kontrollsystemer
  • Innholdsanbefalinger: justering basert på brukeratferd
  • Ressursoptimalisering: forbedre effektiviteten i områder som datasenteroperasjoner

I alle disse bruksområdene hjelper forsterkende læring systemer med å bli bedre gjennom erfaring – ikke bare data.

Et skritt fremover: Forsterkende læring fra menneskelig tilbakemelding

Tradisjonell forsterkende læring bruker belønninger definert av teknikere. Men noen mål, som å skrive en tydelig forklaring eller legge seg på linje med med sosiale normer, er vanskelig å kvantifisere. Det er her forsterkende læring fra menneskelig tilbakemelding (RLHF) kommer inn.

Hva er RLHF? Med RLHF gir menneskelige kontrollører inndata via vurderinger, preferanser eller sammenligninger. Denne tilbakemeldingen hjelper deg med å veilede modeller mot resultater som bedre gjenspeiler menneskelige verdier og forventninger.

RLHF har blitt spesielt viktig i opplæring av store språkmodeller (LLM-er) og generative systemer. Det bidrar til å sikre at resultatene ikke bare fungerer, men også er nyttige, hensiktsmessige og i samsvar med brukerhensikt.

Forstå styrker og avveininger

Forsterkende læring og RLHF gir reelle fordeler, spesielt i komplekse eller uforutsigbare miljøer. Men de frembringer også nye utfordringer. Å ha en klar forståelse av begge deler, hjelper teamene med å velge riktig verktøy for oppgaven.

Fordeler
  • Tilpasningsdyktig i uforutsigbare omgivelser
    Mange systemer i den virkelige verden – roboter, spill, logistikk – opererer under skiftende forhold. Forsterkende læring hjelper disse systemene med å tilpasse og forbedre seg over tid.
  • Tryggere, mer kontrollerte systemer
    Forsterkende læring gir rom for gradvis forbedring for sikkerhetskritiske felt som produksjon eller selvkjørende kjøretøy. Når den er forbundet med menneskelige tilbakemeldinger, kan den fremme tryggere og mer stabil atferd.
  • På linbje med menneskelige mål
    RLHF lærer opp modeller for å prioritere hva folk setter pris på – ikke bare det som er enkelt å måle. Dette fører til mer meningsfulle resultater i områder som innholdsmoderering, chatrobotsamtaler og anbefalingsmotorer.
Utfordringer
  • Menneskelige inndata skaleres ikke enkelt
    Det tar tid å samle inn strukturerte menneskelige tilbakemeldinger. Etter hvert som modeller og oppgaver blir mer komplekse, blir dette vanskeligere å administrere.
  • Høy kostnad og kompleksitet
    RLHF legger til ekstra trinn i opplæringsprosessen. Team må lære opp en basismodell, og deretter finjustere den med menneskelige data – noe som krever mer databehandling, koordinering og evaluering.
  • Vanskelig å stabilisere og reprodusere
    Fordi forsterkende læring avhenger av miljøet, kan små endringer gi uforutsigbare resultater. Å få konsekvent ytelse krever testing, justering og nøye utforming.
Brukstilfeller

Bruksområder i den virkelige verden

Forsterkende læring og RLHF brukes allerede i systemer som trenger å innrette seg, tilpasses eller reagere med nyanser.

Samtalebasert kunstig intelligens

Store språkmodeller – og i økende grad små språkmodeller (SLMer) – bruker RLHF til å foredle hvordan de reagerer på brukere. Menneskelige kontrollører bidrar til å forme tone, redusere partiskhet og veilede modeller mot nyttige, relevante svar.

Robotikk

Roboter opererer ofte i uforutsigbare forhold – på fabrikkgulv, i hjemmet eller i felten. Forsterkende læring hjelper dem med å justere handlinger basert på resultater, for eksempel å lære å plukke opp objekter med ujevn form eller gå over ujevnt terreng.

Innholdsanbefalinger og tilpassing

Disse systemene utvikler seg basert på brukeratferd. Forsterkende læring gjør det mulig for innholdsfeeder, strømmeplattformer og læringsapper å tilpasse seg over tid, noe som forbedrer relevansen. Menneskelige inndata kan også hjelpe deg med å styre anbefalinger mot variert innhold eller innhold av høy kvalitet.

Innholdsmoderering

På områder der fellesskapsstandarder eller sosial kontekst er viktig, hjelper RLHF systemer med å ta bedre beslutninger. Menneskelige vurderinger og tilbakemeldinger hjelper modeller med å finne ut hva som er hensiktsmessig, selv i tilfeller som ikke er åpenbare.

Spilling

Spill brukes ofte som opplæringsmiljøer fordi de tilbyr strukturerte regler og målbare mål. Forsterkende læring hjelper agenter med å utvikle nye strategier gjennom gjentatt spilling og gjentakelse, ofte i simuleringer før de går over til bruksområder i den virkelige verden.

Finansiell modellering og handel

Adaptive modeller bruker forsterkende læring til å utforske markedsstrategier, administrere porteføljer eller teste risikoscenarioer. Disse systemene lærer av syntetiske miljøer og historiske data, og forbedrer seg over tid samtidig som de holder seg forankret i virkelige måledata.

Forberedelse til det neste som kommer innen kunstig intelligens

Maskinlæring understøtter mange av dagens KI-gjennombrudd. Læring fra data driver moderne innovasjon, fra visuelt innhold til språkmodeller til robotikk. Forsterkende læring – og spesielt RLHF – spiller en voksende rolle i systemer som lærer av samhandling, ikke bare instruksjon.

Smartere systemer, bygget på opplevelse
Forsterkende læringsmodeller utvikler seg gjennom erfaring, noe som gjør dem bedre egnet for usikre eller sekvensielle oppgaver. I stedet for å lære fra faste data tilpasser de seg i sanntid – noe som forbedrer resultatene over flere trinn.

Ettersom disse systemene brukes på bredere domener, inkludert flermodal kunstig intelligens som kombinerer tekst, bilder, lyd eller video, tilfører menneskelig tilbakemelding et viktig lag. Det hjelper med å veilede avgjørelser som ikke er enkle å måle – for eksempel om en chatrobot ga et tilfredsstillende svar, eller om en anbefaling virkelig var nyttig.

Neste fase for RLHF
Etter hvert som flere organisasjoner tar i bruk KI-assisterte verktøy, blir RLHF sentralt i ansvarlig utvikling – spesielt i programmer for naturlig språkbehandling (NLP) der tone, kontekst og relevans er viktig. Men det er ikke lett å skalere. Det er dyrt og tidkrevende å samle inn nyttige menneskelige inndata.

For å håndtere dette utforsker forskere:
  • Mer effektive tilbakemeldingssløyfer, inkludert syntetisk tilbakemelding som etterligner menneskelige svar.
  • Bedre evalueringsverktøy for å måle hvor godt modeller samsvarer med mål eller verdier.
  • Bruksområder på tvers av domener som kombinerer forsterkende læring med andre former for maskinlæring for mer fleksible systemer.
Det er også økende interesse i å bruke RLHF for å øke gjennomsiktighet og ansvarlighet. Ved å forsterke ønsket atferd med menneskelige inndata får teamene mer kontroll over hvordan KI-systemer utvikler seg.

Et felt i utvikling
Forsterkende læring og RLHF er ikke løsninger som passer alle. Men de er kraftige når de brukes til det rette problemet. Etter hvert som KI-systemer blir dyktigere og stadig viktigere på områder som kognitiv kunstig intelligens, som har som mål å etterligne menneskelig resonnering, vil behovet for metoder som støtter tilpasning, tilsyn og samsvar bare vokse.

For både bedriftsledere og utviklere kan det å forstå hvordan disse teknikkene fungerer, føre til mer forankrede, gjennomtenkte programmer for kunstig intelligens. Forsterkende læring er ikke alltid svaret, men når det passer til problemet, åpner det nye måter å bygge systemer på som lærer i den virkelige verden.
Ressurser

Mer informasjon om Azure

En mann som smiler og ser på kamera.
Azure-ressurser

Utforsk Azure-ressurssenteret

Få tilgang til videoer, analyserapporter, opplæring, kasusstudier, kodeeksempler og løsningsarkitekturer.
Mer informasjon
Opplæring og sertifisering

Utforsk Azure-læringsforløp

Bygg skyferdigheter for å drive frem innvirkning – fra personlig vekst til sterkere forretningsresultater.
Mer informasjon
To personer som smiler mens de ser på et nettbrett.
Arrangementer og nettseminarer

Oppdag kommende arrangementer og opplæringer

Utforsk nye innovasjoner, øk ferdighetene dine og kom i kontakt med fellesskapet – virtuelt eller personlig.
Mer informasjon
Vanlige spørsmål

 Vanlige spørsmål

  • KI-systemer lærer vanligvis ved hjelp av én av tre metoder:

    Overvåket læring:     Lærer av merkede data. Brukes til oppgaver som objektgjenkjenning eller oversettelse.

    Uovervåket læring:     Finner mønstre uten merkede resultater. Brukes til klynger eller avviksregistrering.

    Forsterkende læring:     Lærer gjennom samhandling og tilbakemelding. Brukes til sekvensiell beslutningstaking.
  • Forsterkende læring hjelper modeller med å ta avgjørelser gjennom prøving og feiling. Den er utformet for å lære opp systemer som lærer ved å samhandle med miljøet, og som justerer atferden basert på belønninger eller straffetiltak over tid. Dette gjør det nyttig for oppgaver der resultatene avhenger av en serie med handlinger i stedet for én enkelt forutsigelse.
  • Forsterkende læring fra menneskelig tilbakemelding (RLHF) er en metode som forbedrer modellatferd ved hjelp av menneskelige inndata. RLHF er en metode for å lære opp modeller ved hjelp av preferanser, vurderinger eller sammenligninger fra personer i stedet for bare å stole på automatiserte belønninger. Dette bidrar til å veilede systemer mot resultater som passer bedre til menneskelige mål eller verdier – spesielt på områder som samtale, innholdsgenerering eller moderering.
  • Forsterkende læring fokuserer på beslutningstaking. Den lærer opp en modell til å utføre handlinger i et miljø og lære av tilbakemeldinger. I enkelte systemer brukes dyplæring i forsterkende læring for å hjelpe modellen med å behandle komplekse inndata som bilder eller tekst. Dyplæring bruker lagvise nevrale nettverk til å lære fra store mengder data og brukes ofte på oppgaver som bildegjenkjenning, talebehandling eller tekstgenerering.
  • Hentingsforsterket generering (RAG) og forsterkende læring fra menneskelig tilbakemelding (RLHF) er to forskjellige måter å forbedre KI-genererte svar på. RAG hjelper en modell med å få tilgang til ekstern informasjon, for eksempel dokumenter eller databaser samtidig som den genererer utdata, slik at svarene er mer nøyaktige og oppdaterte. RLHF forbedrer atferden til en modell ved å lære den opp på menneskelige preferanser eller tilbakemeldinger, noe som hjelper den med å produsere svar som er mer nyttige, passende eller i samsvar med brukerens hensikt. RAG støtter faktisk nøyaktighet; RLHF støtter kvalitet og samsvar.