Trace Id is missing
Passa a contenuti principali
Azure

Che cosa sono i modelli di linguaggio di grandi dimensioni (LLM)?

Ottieni una panoramica del funzionamento degli LLM ed esplora il modo in cui vengono usati per creare soluzioni basate su intelligenza artificiale.

Significato di LLM

I modelli di linguaggio di grandi dimensioni (LLM) sono sistemi avanzati di intelligenza artificiale che comprendono e generano il linguaggio naturale, o testo simile a quello umano, usando i dati su cui sono stati sottoposti a training tramite tecniche di apprendimento automatico. I LLM possono generare automaticamente contenuti basati su testo, che possono essere applicati a una grande quantità di casi d'uso in diversi settori, con conseguente maggiore efficienza e risparmi sui costi per le organizzazioni in tutto il mondo. 

Risultati principali

  • I LLM sono sistemi avanzati di intelligenza artificiale in grado di comprendere e generare il linguaggio naturale.
  • I LLM si basano su architetture di Deep Learning e tecniche di apprendimento automatico per elaborare e incorporare informazioni da origini dati diverse.
  • I LLM offrono vantaggi importanti, ad esempio la generazione della lingua e la traduzione, in un set di campi diversi.
  • Anche se sono all'avanguardia, i LLM devono affrontare sfide che possono includere requisiti di calcolo, problemi etici e limitazioni nel contesto di comprensione.
  • Nonostante queste difficoltà, le organizzazioni usano già la serie di trasformatori generativi pre-addestrati (GPT) e le rappresentazioni encoder bidirezionali da trasformatori (BERT) per attività quali creazione di contenuto, chatbot, traduzione e analisi del sentiment.

Funzionamento dei LLM

Breve storia di LLM

I LLM sono uno sviluppo moderno, ma lo studio dell'elaborazione del linguaggio naturale (NLP) risale al 1950, quando Alan Turing lanciò il test di Turing per misurare il comportamento intelligente tra le macchine. Nel test, un giudice umano parla con un computer usando una serie di domande e deve determinare se sta parlando con un computer o un essere umano.
Negli anni '80 e '90, la prevenzione della perdita di dati si è spostata dagli esperimenti logici a un approccio più basato sui dati. Con la possibilità di prevedere quali parole in una frase sarebbero state più probabili in base alle parole precedenti, i modelli linguistici statistici, ad esempio n-grammi, hanno portato a una nuova era. Tra il 2010 e il 2013, le reti neurali più recenti hanno ampliato ulteriormente le funzionalità di questi modelli linguistici, consentendo loro di andare oltre la determinazione dell'ordine delle parole verso una comprensione più approfondita della rappresentazione e del significato delle parole.
Questi nuovi sviluppi hanno portato a un successo nel 2018, quando otto scienziati di Google hanno scritto e pubblicato “Attention is All You Need,” uno studio fondamentale sull'apprendimento automatico. In particolare, il documento ha introdotto l'architettura del trasformatore, un framework di rete neurale innovativo in grado di gestire e comprendere informazioni testuali complesse con maggiore accuratezza e scalabilità. I trasformatori sono ora fondamentali per alcuni dei LLM più potenti di oggi’, tra cui la serie GPT e BERT.

Architettura di base

Oggi i LLM all'avanguardia usano architetture di deep learning come i trasformatori e altri framework di rete neurale profonda per elaborare informazioni da origini dati diverse. I trasformatori sono particolarmente efficaci nella gestione dei dati sequenziali, ad esempio il testo, che consente loro di comprendere e generare il linguaggio naturale per attività quali la generazione e la traduzione del linguaggio. 
I trasformatori sono costituiti da due componenti principali: codificatori e decodificatori. Questi componenti spesso interagiscono per elaborare e generare sequenze. Il codificatore accetta dati testuali non elaborati e trasforma l'input in elementi discreti che possono essere analizzati dal modello. Il decodificatore elabora quindi i dati tramite una serie di livelli per produrre l'output finale, che può, ad esempio, essere costituito da una frase generata. I trasformatori possono anche essere costituiti solo da codificatori o decodificatori, a seconda del tipo di modello o attività.

Processo di training

Il processo di training per LLM è costituito da tre fasi principali: raccolta dei dati, training del modello e ottimizzazione. 
Durante la fase di raccolta dei dati, il modello viene esposto a grandi volumi di dati testuali provenienti da un'ampia gamma di origini, tra cui risorse Internet, libri, articoli e database. I dati vengono inoltre puliti, elaborati, standardizzati e archiviati in un database NoSQL in modo che possano essere usati per eseguire il training del modello su modelli linguistici, grammatica, informazioni e contesto. 
Nella fase di pre-training, il modello inizia a comprendere il linguaggio nei dati. Questa operazione viene eseguita tramite attività non supervisionate su larga scala in cui il modello apprende a stimare il testo in base al contesto. Alcune tecniche includono la modellazione autoregressiva, in cui il modello apprende a stimare la parola successiva in una sequenza, nonché la modellazione del linguaggio mascherato, in cui il modello riempie le parole mascherate per comprendere il contesto. 
Infine, durante la fase di ottimizzazione, viene eseguito un ulteriore training del modello su un set di dati più piccolo e specifico delle attività. Questo processo perfeziona le conoscenze del modello e ne migliora le prestazioni per attività specifiche, ad esempio l'analisi del sentiment o la traduzione, in modo che possa essere usato per un'ampia gamma di applicazioni.

Componenti chiave

Il modello trasformatore suddivide il testo non elaborato in unità di testo di base più piccole denominate token. I token possono essere costituiti da parole, parti di parole o persino singoli caratteri, a seconda del caso d'uso. Questi token vengono quindi convertiti in rappresentazioni numeriche ad alta densità che acquisiscono ordine, significato semantico e contesto. Queste rappresentazioni, denominate incorporamenti, vengono quindi passate attraverso uno stack di livelli costituito da due sotto-livelli: l'auto-attenzione e le reti neurali.
Anche se entrambi i livelli facilitano la conversione del testo in un formato che il modello può elaborare in modo efficace, il meccanismo di auto-attenzione è un componente chiave per l'architettura del trasformatore. Il meccanismo di auto-attenzione è ciò che consente al modello di ospitare parti diverse di una sequenza di testo e di valutare dinamicamente il valore delle informazioni rispetto ad altri token nella sequenza, indipendentemente dalla loro posizione. Questo meccanismo offre anche ai LLM la capacità di acquisire le dipendenze complicate, le relazioni e le sfumature contestuali del linguaggio scritto.

Vantaggi e problematiche

Vantaggi

I LLM offrono molti vantaggi che hanno contribuito a progressi significativi nel lavoro e nella società.

Miglioramento della generazione e della traduzione della lingua

Poiché i LLM possono comprendere e acquisire le relazioni sfumate tra le parole, eccellono nel produrre testo naturale simile a quello umano, con conseguente miglioramento della generazione del linguaggio. Possono generare risposte creative e contestualmente appropriate in modo fluente e coerente e possono farlo in vari formati, inclusi i romanzi.
Poiché possono contestualizzare e trovare sottigliezze nel significato, anche i LLM sottoposti a training su dati multilingue possono eseguire traduzioni estremamente accurate. Il training di un modello in un set specifico di lingue può aiutarli a ottimizzare la loro capacità di gestire idiomi, espressioni e altre funzionalità linguistiche complesse, generando traduzioni percepite come organiche e fluenti.

Applicazioni in campi diversi

I LLM sono strumenti versatili che hanno molte applicazioni in molti campi, tra cui assistenza sanitaria, finanza e assistenza clienti.
 
Nel settore sanitario i LLM possono: 
  • analizzare i report dei pazienti per individuare possibili condizioni e fornire diagnosi preliminari. 
  • Generare note sui pazienti e riepiloghi delle dimissioni, semplificando a loro volta le attività amministrative. 
  • Suggerire piani di trattamento personalizzati e assistenza sanitaria in base alla cronologia dei pazienti.  
  Nel settore finanziario, i LLM possono:
  • identificare le attività insolite nei dati finanziari che potrebbero far pensare a frodi. 
  • Valutare i rischi finanziari analizzando le tendenze di mercato e i report finanziari. 
  • Suggerire raccomandazioni personalizzate in base alla tua storia finanziaria e ai tuoi obiettivi specifici.  
  Nel servizio clienti, i LLM possono:
  • ottenere supporto clienti automatizzato tramite agenti di conversazione e chatbot. 
  • Espandere l'ambito del servizio di un'organizzazione fornendo ai clienti supporto giornaliero.
  • Consentire di creare e aggiornare la documentazione generando contenuto in base a domande comuni.  

Problematiche

I LLM offrono vantaggi cruciali, ma comportano anche difficoltà da considerare.

Requisiti di calcolo ed energia

Anche se le unità LLM sono potenti, richiedono una notevole quantità di risorse di calcolo, risorse di archiviazione e consumo energetico per funzionare. Durante il training, i trasformatori vengono ridimensionati in base alla lunghezza della sequenza di input, quindi più lungo è il testo, maggiore è la quantità di memoria necessaria. Non solo queste richieste sono costose, ma emettono anche una quantità significativa di carbonio nell'ambiente.
Le piattaforme diIl cloud computing è la distribuzione di servizi di calcolo, compresi server, risorse di archiviazione, database, rete, software, analisi e intelligencecloud computing possono supportare il carico di calcolo elevato delle unità LLM fornendo un'infrastruttura flessibile e scalabile, rendendola più accessibile alle organizzazioni per iniziare a sviluppare modelli personalizzati. Tuttavia, l'impatto ambientale dei LLM rappresenta una sfida ed è indicativo della necessità di modelli e tecniche più efficienti a livello energetico.

Problemi etici (ad esempio distorsione, informazioni errate)

I LLM sono validi solo quanto i dati su cui vengono sottoposti a traning. Se si verifica una distorsione discriminante nei confronti di determinati gruppi nei dati di training, il modello evidenzierà questi comportamenti. L'identificazione e la mitigazione di queste deviazioni in modo che il modello rimanga corretto è un'attività continuativa che richiede un monitoraggio umano frequente e coerente.
I messaggi LLM possono anche produrre informazioni accattivanti ma effettivamente fuorvianti, con conseguente diffusione di informazioni errate, fake news, messaggi di posta elettronica di phishing e altre forme di contenuto dannoso. Le linee guida per la moderazione del contenuto possono anche variare in diverse aree, il che le rende difficili da esplorare. Di conseguenza, molte organizzazioni potrebbero trovare difficile creare e mantenere la fiducia nei propri utenti quando introducono IPM nelle operazioni aziendali.

Limitazioni nella comprensione del contesto e delle sfumature

Anche se i LLM eccellono nell'identificazione dei modelli nel linguaggio, possono comunque avere difficoltà con contesti nuovi o sconosciuti che richiedono una comprensione più sfumata. Di conseguenza, i LLM sottoposti a training su dati sensibili e proprietari potrebbero accidentalmente generare o rivelare informazioni riservate dai dati di training. 
La risoluzione di questo problema può rappresentare una sfida significativa, soprattutto perché il funzionamento interno dei moduli LLM spesso non è trasparente. Ciò può contribuire a una mancanza complessiva di responsabilità, nonché a problemi relativi alla creazione di attendibilità. 

Funzionalità e casi d'uso

Serie GPT

Sviluppata per la prima volta da OpenAI nel 2018, la serie GPT ha introdotto il concetto fondamentale di raccolta dei dati, pre-training e ottimizzazione per LLM. GPT-2, rilasciato nel 2019, ha aumentato significativamente le funzionalità del modello e ne ha migliorato la capacità di generare un linguaggio più pertinente dal punto di vista contestuale. GPT-3 ha migliorato la capacità del modello di gestire richieste e attività complesse. L'iterazione più recente, GPT-4, è stata rilasciata nel 2023 e fornisce risposte ancora più accurate e sfumate alle richieste, risolvendo al tempo stesso alcune delle sfide precedenti del modello, tra cui la distorsione. 
Oggi GPT continua a spingersi oltre i confini del possibile nel campo della generazione del linguaggio naturale. Ogni modello della serie si basa sul precedente, portando avanti l'innovazione basata sull'intelligenza artificiale. 

BERT e le relative varianti

Sviluppato da Google nel 2018, BERT è un modello innovativo che ha impostato lo standard per ciò che è possibile con LLM. A differenza della serie GPT, che elabora il testo in modo unidirezionale (da sinistra a destra o da destra a sinistra), BERT adotta un approccio bidirezionale. Un modello bidirezionale elabora contemporaneamente il contesto di ogni parola da entrambe le direzioni, consentendo a BERT di eseguire la modellazione del linguaggio mascherato oltre alle stime delle frasi successive. I ricercatori hanno anche contribuito ad altri progressi sul campo ottimizzando BERT su attività come l'analisi del sentiment, impostando di conseguenza nuovi benchmark.  

Altri modelli rilevanti

Sviluppato da Facebook per intelligenza artificiale nel 2019, l'approccio BERT (RoBERTa) ottimizzato in modo affidabile è una variante del modello BERT che si espande sull'architettura dei trasformatori bidirezionali di BERT ottimizzando il processo di pre-training. RoBERTa viene sottoposto a training con un set di dati più grande e più a lungo. Si concentra anche esclusivamente sulla modellazione del linguaggio mascherato. Ciò consente a RoBERTa di dimostrare la sua solida capacità di acquisire contesto e sfumature. 
Text-To-Text Transfer Transformer (T5), elaborato da Google Research, è un altro LLM significativo. Analogamente ai modelli tradizionali, T5 si basa sull'architettura del trasformatore e usa codificatori e decodificatori per elaborare il testo durante la fase di pre-training. A differenza dei modelli tradizionali, T5 considera sia gli input sia gli output come stringhe di testo, semplificando l'architettura e il processo di training. I modelli T5 sono un modello adattabile per utilizzo generico in grado di gestire una gamma versatile di attività.

Creazione e riepilogo del contenuto

I LLM possono generare contenuto accattivante, informativo e contestualmente appropriato in un'ampia gamma di stili e formati. Quando richiesto, possono generare articoli, report, post di blog, messaggi di posta elettronica, copie di marketing e persino frammenti di codice.   
Per quanto riguarda i riepiloghi, le unità LLM si distinguono per la capacità esclusiva di estrarre grandi volumi di testo in snapshot concisi e accurati. Possono presentare punti chiave mantenendo comunque il contesto originale e il significato del contenuto originale. I ricercatori stanno già risparmiando tempo e incrementando la produttività usando LLM per riepilogare documenti di ricerca, articoli, presentazioni e note delle riunioni.

Agenti conversazionali e chatbot

Gli agenti conversazionali e i chatbot si basano sulle funzionalità avanzate di elaborazione del linguaggio naturale di LLM per generare interazioni di tipo umano. Interpretano gli input degli utenti e rispondono in modo fluente, naturale e contestualmente pertinente. Non solo possono rispondere alle domande, ma possono anche partecipare a dialoghi lunghi e complessi. 
Con l'aggiunta di chatbot e assistenti virtuali, le aziende possono ora fornire supporto continuo ai clienti, espandendo a loro volta la disponibilità dei servizi, migliorando i tempi di risposta e aumentando la soddisfazione complessiva dei clienti.

Traduzione della lingua e analisi del sentiment

I LLM con training esteso su set di dati multilingue producono traduzioni estremamente accurate in diverse lingue. A differenza dei modelli tradizionali, i LLM possono acquisire le sottigliezze e le complessità del linguaggio, ad esempio le espressioni idiomatiche, generando traduzioni appropriate sia per il linguaggio fluente sia per il contesto. 
I LLM sono anche in grado di eseguire l'analisi del sentiment, che analizza il tono emotivo sottostante di un testo. L'elaborazione e l'interpretazione delle sottigliezze del linguaggio consentono di eseguire valutazioni del sentiment più precise e dettagliate. Possono anche rilevare sentiment più sfumati, ad esempio il sarcasmo. 

Consigli personalizzati

I LLM possono analizzare i dati degli utenti, inclusa la cronologia e le preferenze degli utenti, e generare raccomandazioni personalizzate e su misura che riflettono gli interessi e le esigenze dell'utente, migliorando a loro volta l'esperienza utente complessiva. 
Questa funzionalità è ampiamente usata nell'e-commerce, nello streaming di contenuti e nei social media, dove la distribuzione di raccomandazioni personalizzate favorisce interazioni più significative. I LLM possono anche essere usati come strumento didattico fornendo esperienze di apprendimento personalizzate agli studenti.

Novità

A mano a mano che i ricercatori continuano a migliorare la comprensione, l'efficienza e la scalabilità, si prevede che i LLM diventino ancora più abili nella gestione di attività complesse del linguaggio. Con l'adozione di LLM in aumento, sempre più organizzazioni adotteranno un'automazione semplificata, una maggiore personalizzazione e processi decisionali nel complesso migliori. 
I ricercatori continuano a esplorare nuovi modi per affrontare la distorsione, un problema ancora presente. Questi includono algoritmi di debiasing che affrontano la distorsione durante il training, incorporando dati sintetici in grado di ribilanciare i set di dati per riflettere l'equità, strumenti di spiegazione per comprendere meglio le decisioni del modello e benchmark di rilevamento che consentono di identificare e quantificare la distorsione in modo più preciso. 
Anche i modelli multimodali, che elaborano dati di testo, immagini, audio e video, stanno diventando sempre più sofisticati. Mentre i LLM elaborano i dati testuali valutando la sintassi e il significato, i modelli multimodali analizzano i dati visivi tramite tecniche di visione artificiale, nonché i dati audio tramite l'elaborazione temporale. I modelli multimodalTop of Form stanno migliorando le tecnologie attuali, aprendo al tempo stesso la strada alle innovazioni di domani.
RISORSE

Scopri di più su Azure per intelligenza artificiale

Una persona seduta davanti a un computer
Risorse

Risorse di sviluppo per studenti

Sfrutta i materiali e i programmi di apprendimento che ti aiuteranno a iniziare subito la tua carriera.
Un gruppo di persone sedute in cerchio
Risorse

Risorse di Azure

Accedi a tutte le risorse di Azure necessarie, incluse esercitazioni, white paper ed esempi di codice.
Una persona che sorride di fronte a un computer
Risorse

Hub di apprendimento di Azure

Sviluppa le tue competenze di intelligenza artificiale con una formazione personalizzata in base al tuo ruolo o a tecnologie specifiche.
Domande frequenti

Domande frequenti

  • LLM è l'acronimo di Large Language Model.
  • L'intelligenza artificiale è un campo ampio che copre un'ampia gamma di applicazioni oltre alla semplice lingua. Include tutte le tecnologie che puntano a replicare l'intelligenza umana. Come tipo specifico di modello di intelligenza artificiale, i LLM sono un sottoinsieme del più ampio panorama di intelligenza artificiale, incentrato sull'elaborazione e la generazione di testo in linguaggio naturale.
  • L'elaborazione del linguaggio naturale (NLP) fa riferimento al campo generale incentrato sull'elaborazione del linguaggio, mentre i modelli di linguaggio di grandi dimensioni (LLM) sono un tipo specifico e avanzato di modello all'interno del campo della prevenzione della perdita dei dati che usa tecniche di deep learning per gestire le attività relative al linguaggio.
  • GPT (Generative Pre-Trained Transformer) fa riferimento a una serie specifica di modelli LLM (Large Language Model) sviluppati da OpenAI. Si tratta di un tipo di LLM, con particolare attenzione alla generazione del linguaggio.