La valutazione di un modello linguistico di grandi dimensioni (LLM) è la pratica di valutare sistematicamente gli output dei LLM, creati con il Deep Learning (un sottoinsieme del Machine Learning), rispetto a criteri di qualità definiti, come correttezza, pertinenza, coerenza e sicurezza.
Quando si valuta un LLM, in genere si risponde a domande quali:
Piccole modifiche - un ritocco al prompt, un cambio di versione del modello o nuovi dati in un flusso di lavoro - possono modificare la qualità dell'output. La valutazione aiuta i team a notare queste modifiche e rispondere prima che si traducano in problemi visibili agli utenti.
La valutazione di modelli linguistici di grandi dimensioni combina in genere metriche automatizzate, test di benchmark e revisione umana per identificare punti di forza, punti deboli e regressioni. Può verificarsi in varie fasi in più ambienti di produzione.
Approcci di valutazione comuni
Queste valutazioni possono avere luogo in una o tutte le fasi seguenti:
La valutazione LLM aiuta le organizzazioni a verificare se le risposte generate dall'IA sono accurate, attendibili e in linea con le finalità dell'utente, il che è la cosa più importante quando questi sistemi supportano il lavoro reale in contesti aziendali.
In pratica, aiuta i team a:
La valutazione LLM svolge un ruolo cruciale in varie fasi e vari casi d'uso all'interno degli ambienti aziendali. Le organizzazioni possono mantenere in modo proattivo gli standard di accuratezza, sicurezza e allineamento con i requisiti aziendali valutando sistematicamente le prestazioni degli LLM in diversi scenari, che possono includere la gestione delle richieste degli utenti, l'integrazione delle informazioni recuperate e la chiamata di servizi cognitivi come API per il linguaggio o la visione.
Convalida dei chatbot
I team spesso testano i chatbot creati con modelli trasformatori generativi pre-addestrati (GPT) per verificare che le risposte:
Monitoraggio dei sistemi RAG
Per le esperienze RAG, la valutazione LLM aiuta a verificare che i sistemi:
Rilevamento di allucinazioni o distorsioni nelle applicazioni aziendali
Nei flussi di lavoro aziendali i team spesso cercano schemi come:
Confronto dei modelli e iterazione sicura
Quando si sceglie tra i modelli, o si rivedono i prompt, una valutazione LLM coerente offre ai team un modo per confrontare i risultati e apportare aggiornamenti con maggiore sicurezza. Valutazioni regolari aiutano a identificare quale modello fornisce gli output più affidabili per attività specifiche. Questo processo inoltre consente ai team di individuare rapidamente i problemi e implementare miglioramenti senza rischiare conseguenze indesiderate.
Con gli LLM che compaiono sempre più spesso nei flussi di lavoro critici e nelle applicazioni di IA cognitiva, la valutazione sta diventando una parte fondamentale delle operazioni IA quotidiane. Invece di considerare la valutazione come un passaggio una tantum, molti team stanno passando a procedure che si adattano al modo in cui i sistemi LLM cambiano effettivamente nel tempo, come:
Una tendenza in crescita è l'uso di LLM per aiutare a dare punteggi o rivedere gli output su larga scala, specialmente per le attività in cui un giudizio "buono" è difficile da definire con semplici regole di superamento/non superamento. Questo approccio può integrare la revisione umana e altri controlli, in particolare quando i team vogliono cicli di feedback più rapidi.
I test offline restano comunque importanti, ma non rilevano tutto ciò che accade dopo il rilascio di un sistema. È per questo che la valutazione continua in produzione sta diventando sempre più comune. In pratica, significa controllare regolarmente gli output dopo i rilasci, le modifiche ai dati o gli aggiornamenti dei flussi di lavoro, in modo che i problemi di qualità emergano subito.
Scarica l’app per dispositivi mobili di Azure 
