This is the Trace Id: dcc0afadd309ef1b1310372507b8c917
Passa a contenuti principali
Azure

Che cos'è l'apprendimento per rinforzo?

Scopri cos'è l'apprendimento per rinforzo e come aiuta i sistemi IA ad adattarsi e migliorare nel corso del tempo.
Introduzione ad Azure

Panoramica dell'apprendimento per rinforzo

L'apprendimento per rinforzo è un metodo di Machine Learning in cui i sistemi imparano interagendo con il loro ambiente, ricevendo feedback e adattando il comportamento per migliorare il processo decisionale nel tempo.

Punti chiave

  • L'apprendimento per rinforzo addestra i modelli per tentativi ed errori, usando le ricompense per modellare il comportamento nel tempo.
  • È particolarmente adatto per attività che coinvolgono sequenze di decisioni, come la robotica, i giochi o la personalizzazione.
  • L'apprendimento per rinforzo da feedback umano (RLHF) migliora l'allineamento del modello usando l'input umano anziché solo segnali automatici.
  • L’RLHF aiuta i sistemi a produrre risposte che riflettano meglio gli obiettivi, i valori o le preferenze umane.
  • Entrambi gli approcci continuano a evolversi man mano che il Machine Learning assume un ruolo più ampio negli strumenti e nei sistemi assistiti dall’IA.

Definizione dell’apprendimento per rinforzo

L'apprendimento per rinforzo è un approccio di Machine Learning in cui i sistemi apprendono tramite l'esperienza. Un agente interagisce con un ambiente, esegue azioni, riceve feedback sotto forma di ricompense o penalità e modifica il comportamento futuro per migliorare le prestazioni. Nel corso del tempo, l'agente impara quali decisioni portano a risultati migliori, rendendo questo metodo particolarmente utile per attività dinamiche o sequenziali in cui la soluzione ottimale non è nota in anticipo. Viene usato in ambiti che vanno dalla robotica e dai giochi ai sistemi di raccomandazione e alla moderazione del contenuto.

Nozioni di base sull'apprendimento per rinforzo

Che cos'è l'apprendimento per rinforzo e come influisce sui sistemi IA?

Il Machine Learning aiuta i computer ad apprendere schemi dalle informazioni nel corso del tempo senza essere programmati in modo esplicito. È alla base di tutto, dal filtro delle email al rilevamento delle frodi, fino alla traduzione assistita dall’IA. All'interno di questo ampio campo, l'apprendimento per rinforzo è un approccio specifico che insegna ai sistemi a prendere decisioni tramite l'esperienza.

Un altro tipo di ciclo di apprendimento

A differenza dell'apprendimento supervisionato, che usa dati etichettati, l'apprendimento per rinforzo funziona per tentativi ed errori. Un sistema - detto agente - interagisce con il proprio ambiente, esegue azioni e riceve ricompense o penalità. Nel corso del tempo, apprende quali azioni portano a risultati migliori.

Il ciclo di feedback funziona così:
  • L'agente esegue un'azione.
  • L'ambiente risponde.
  • L'agente ottiene una ricompensa o una penalità.
  • L'agente modifica la propria strategia in base a questo feedback.
Questa configurazione è particolarmente utile quando la risposta corretta non è nota in anticipo, ma il successo può essere misurato in base ai risultati. Rispecchia il modo in cui le persone apprendono, ovvero provando, osservando il risultato e modificando lo spostamento successivo.

Come l'apprendimento per rinforzo supporta sistemi più intelligenti
L'apprendimento per rinforzo è ideale per i sistemi che devono prendere una sequenza di decisioni in cui ogni azione influenza la successiva. Viene spesso usato in ambienti dinamici in cui la ripetizione del training di un modello da zero non è pratica.

Le applicazioni comuni includono:
 
  • Robotica: insegnare ai robot a camminare, afferrare o spostarsi
  • Giochi:sviluppare strategie competitive
  • Automazione industriale: ottimizzare e adattare i sistemi di controllo
  • Raccomandazioni di contenuti: adattarsi in base al comportamento degli utenti
  • Ottimizzazione delle risorse: migliorare l'efficienza in aree come le operazioni dei data center

In tutti questi casi, l'apprendimento per rinforzo aiuta i sistemi a migliorare tramite l'esperienza, non solo i dati.

Un passo avanti: Apprendimento per rinforzo da feedback umano

L'apprendimento per rinforzo tradizionale usa ricompense definite dai tecnici. Però alcuni obiettivi, come scrivere una spiegazione chiara o allinearsi alle norme sociali, sono difficili da quantificare. È qui che l'apprendimento per rinforzo da feedback umano (RLHF) entra in gioco.

Che cos'è l’RLHF? Con l’RLHF, i revisori umani forniscono input tramite valutazioni, preferenze o confronti. Questo feedback aiuta a guidare i modelli verso risultati che riflettono meglio i valori e le aspettative umani.

L’RLHF è diventato particolarmente importante nell’addestrare i modelli linguistici di grandi dimensioni (LLM) e i sistemi generativi. Aiuta a garantire che i risultati siano non solo funzionali, ma anche utili, appropriati e allineati alle finalità dell'utente.

Comprendere i punti di forza e i compromessi

L'apprendimento per rinforzo e l’RLHF offrono vantaggi reali, soprattutto in ambienti complessi o imprevedibili. Ma introducono anche nuove sfide. Avere una comprensione chiara di entrambi aiuta i team a scegliere lo strumento giusto per l'attività.

Vantaggi
  • Adattabile in contesti imprevedibili
    Molti sistemi reali - robot, giochi, logistica - operano in condizioni mutevoli. L'apprendimento per rinforzo aiuta questi sistemi ad adattarsi e migliorare nel tempo.
  • Sistemi più sicuri e controllati
    Per i campi critici per la sicurezza, come l’industria manifatturiera o i veicoli autonomi, l'apprendimento per rinforzo consente un perfezionamento graduale. Se associato al feedback umano, può promuovere un comportamento più sicuro e stabile.
  • Allineato agli obiettivi umani
    L’RLHF addestra modelli a dare priorità a ciò che le persone apprezzano, non solo a ciò che è facile da misurare. Ciò porta a risultati più significativi in aree come la moderazione del contenuto, le conversazioni con chatbot e i motori di raccomandazione.
Sfide
  • L'input umano non è agevolmente scalabile
    La raccolta di feedback umani strutturati richiede tempo. Man mano che i modelli e le attività diventano più complessi, diventa più difficile da gestire.
  • Complessità e costi elevati
    L’RLHF aggiunge passaggi aggiuntivi al processo di addestramento. I team devono addestrare un modello di base, quindi ottimizzarlo con i dati umani, il che richiede più risorse di calcolo, coordinamento e valutazione.
  • Difficile da stabilizzare e riprodurre
    Poiché l'apprendimento per rinforzo dipende dal suo ambiente, piccole modifiche possono produrre risultati imprevedibili. Ottenere prestazioni coerenti richiede test, ottimizzazione e un'attenta progettazione.
Casi d'uso

Applicazioni reali

L'apprendimento per rinforzo e l’RLHF sono già usati nei sistemi che devono adattarsi, personalizzare o rispondere con sfumature.

Intelligenza artificiale conversazionale

I modelli linguistici di grandi dimensioni - e sempre più anche i piccoli modelli linguistici (SLM) - usano l’RLHF per perfezionare il modo in cui rispondono agli utenti. I revisori umani aiutano a definire il tono, ridurre la distorsione e guidare i modelli verso risposte utili e pertinenti.

Robotica

I robot operano spesso in condizioni imprevedibili, nei reparti di fabbrica, nelle case o sul campo. L'apprendimento per rinforzo li aiuta ad adattare le azioni in base ai risultati, ad esempio imparando a raccogliere oggetti di forma irregolare o ad attraversare un terreno irregolare.

Raccomandazioni e personalizzazione dei contenuti

Questi sistemi si evolvono in base al comportamento dell'utente. L'apprendimento per rinforzo consente ai feed di contenuti, alle piattaforme di streaming e alle app di apprendimento di adattarsi nel tempo, migliorando la pertinenza. L'input umano può anche aiutare a indirizzare le raccomandazioni verso contenuti diversi o di alta qualità.

Moderazione del contenuto

Nelle aree in cui gli standard della community o il contesto sociale sono importanti, l’RLHF aiuta i sistemi a prendere decisioni migliori. Valutazioni e feedback umani aiutano i modelli a imparare cosa è appropriato, anche nei casi che non sono chiaramente definiti.

Gioco

I giochi vengono spesso usati come ambienti di training perché offrono regole strutturate e obiettivi misurabili. L'apprendimento per rinforzo aiuta gli agenti a sviluppare nuove strategie tramite il gioco ripetuto e l'iterazione, spesso in simulazioni prima di passare ad applicazioni reali.

Modellazione finanziaria e trading

I modelli adattivi usano l'apprendimento per rinforzo per esplorare strategie di mercato, gestire portafogli o testare scenari di rischio. Questi sistemi imparano da ambienti sintetici e dati storici, migliorando nel tempo e al contempo restando basati sulle metriche reali.

Prepararsi alle novità dell'IA

Il Machine Learning è alla base di molte delle odierne innovazioni dell’IA. Dalla visione artificiale ai modelli linguistici alla robotica, l'apprendimento dai dati guida l'innovazione moderna. L'apprendimento per rinforzo - e in particolare l’RLHF - svolgono un ruolo crescente nei sistemi che imparano dall'interazione, non solo dalle istruzioni.

Sistemi più intelligenti, basati sull'esperienza
I modelli di apprendimento per rinforzo si evolvono attraverso l'esperienza, il che li rende più adatti per attività incerte o sequenziali. Invece di imparare dai dati fissi, si adattano in tempo reale, migliorando i risultati in più passaggi.

Man mano che questi sistemi vengono applicati a domini più ampi - inclusa l'IA multimodale che combina testo, immagini, audio o video - il feedback umano aggiunge un livello essenziale. Aiuta a guidare decisioni non facilmente misurabili, ad esempio se un chatbot ha dato una risposta soddisfacente, o se una raccomandazione è stata effettivamente utile.

La prossima fase per l’RLHF
Man mano che sempre più organizzazioni adottano strumenti assistiti dall’IA, l’RLHF sta diventando centrale per uno sviluppo responsabile, specialmente nelle applicazioni di elaborazione del linguaggio naturale (NLP) in cui il tono, il contesto e la pertinenza sono importanti. Ma non è facile da scalare. Raccogliere input umani utili è dispendioso in termini di tempo e denaro.

Per risolvere questo problema, i ricercatori stanno esplorando:
  • Cicli di feedback più efficienti, incluso il feedback sintetico che imita le risposte umane.
  • Strumenti di valutazione migliori per misurare come i modelli si allineano bene agli obiettivi o ai valori.
  • Applicazioni multi-dominio che combinano l'apprendimento per rinforzo con altre forme di Machine Learning per sistemi più flessibili.
C'è anche un crescente interesse nell'uso dell’RLHF per aumentare la trasparenza e la responsabilità. Rinforzando il comportamento desiderato con l'input umano, i team ottengono un maggiore controllo su come evolvono i sistemi IA.

Un campo in evoluzione
L'apprendimento per rinforzo e l’RLHF non sono soluzioni valide per tutti i casi. Ma sono potenti se usati per il problema giusto. Man mano che i sistemi IA diventano più capaci - sempre più importanti in aree come l’IA cognitiva che mirano a imitare il ragionamento umano - la necessità di metodi che supportano l'adattamento, la supervisione e l'allineamento non potrà che aumentare.

Per i leader aziendali così come per gli sviluppatori, comprendere come funzionano queste tecniche può portare ad applicazioni dell’IA più concrete e ponderate. L'apprendimento per rinforzo non è sempre la risposta - ma, quando si adatta al problema, apre nuove vie per creare sistemi che apprendono nel mondo reale.
Risorse

Scopri di più su Azure

Uomo che sorride e guarda la videocamera.
Risorse di Azure

Visita il centro risorse di Azure

Accedi a video, report degli analisti, formazione, case study, esempi di codice e architetture di soluzioni.
Scopri di più
Formazione e certificazione

Esplora i percorsi di apprendimento di Azure

Sviluppa competenze cloud per generare impatto, dalla crescita personale a risultati aziendali più solidi.
Scopri di più
Due persone che sorridono mentre guardano un tablet.
Eventi e webinar

Scopri eventi e corsi di formazione imminenti

Esplora le nuove innovazioni, sviluppa le tue competenze ed entra in contatto con la community, virtualmente o di persona.
Scopri di più
Domande frequenti

 Domande frequenti

  • I sistemi IA in genere apprendono usando uno dei tre metodi seguenti:

    Apprendimento supervisionato:     apprende da dati etichettati. Usato per attività come il riconoscimento di oggetti o la traduzione.

    Apprendimento non supervisionato:     trova schemi senza risultati etichettati. Utilizzato per il clustering o il rilevamento di anomalie.

    Apprendimento per rinforzo:     apprende tramite interazione e feedback. Usato per il processo decisionale sequenziale.
  • L'apprendimento per rinforzo aiuta i modelli a prendere decisioni per tentativi ed errori. È progettato per addestrare sistemi che imparano interagendo con l’ambiente, adattando il proprio comportamento in base a ricompense o penalità nel corso del tempo. Ciò lo rende utile per le attività in cui i risultati dipendono da una serie di azioni anziché da una singola previsione.
  • L'apprendimento per rinforzo da feedback umano (RLHF) è un metodo che migliora il comportamento del modello usando l'input umano. L’RLHF è un modo per addestrare i modelli usando preferenze, valutazioni o confronti da parte delle persone invece di basarsi solo su ricompense automatiche. Questo aiuta a guidare i sistemi verso risultati che rispecchiano meglio gli obiettivi o i valori umani, in particolare in ambiti come la conversazione, la generazione di contenuti o la moderazione.
  • L'apprendimento per rinforzo è incentrato sul processo decisionale. Addestra un modello per compiere azioni in un ambiente e imparare dal feedback. In alcuni sistemi, il Deep Learning viene usato nell'apprendimento per rinforzo per aiutare il modello a elaborare input complessi come immagini o testo. Il Deep Learning usa reti neurali a più livelli per imparare da grandi quantità di dati e viene spesso applicato ad attività come il riconoscimento delle immagini, l'elaborazione vocale o la generazione di testo.
  • La generazione potenziata dal recupero (RAG) e l'apprendimento per rinforzo da feedback umano (RLHF) sono due modi diversi di migliorare le risposte generate dall'IA. La RAG aiuta un modello ad accedere a informazioni esterne - come documenti o database - mentre genera output, in modo che le risposte siano più accurate e aggiornate. L’RLHF migliora il comportamento di un modello addestrandolo su preferenze o feedback umani, aiutandolo a produrre risposte più utili, appropriate o in linea con le finalità dell'utente. La RAG supporta l'accuratezza fattuale; l’RLHF supporta la qualità e l’allineamento.