Que sont les grands modèles linguistiques (LLM) ?

Les LLM sont une évolution moderne, mais l’étude du traitement du langage naturel (NLP) remonte à 1950, lorsqu’Alan Turing a lancé le test de Turing pour évaluer le comportement intelligent des machines. Lors du test, un juge humain parle à un ordinateur en utilisant une série de questions et doit déterminer s’il parle à une machine ou à un humain.

Dans les années 1980 et 1990, la PNL s’est éloignée des expériences logiques pour adopter une approche davantage axée sur les données. Grâce à leur capacité à prédire quels mots d’une phrase étaient susceptibles d’apparaître ensuite en fonction des mots qui les précèdent, les modèles statistiques de langage, tels que les n-grammes, ont ouvert la voie à une nouvelle ère. Au début des années 2010, de nouveaux réseaux neuronaux ont encore étendu les capacités de ces modèles linguistiques, leur permettant d’aller au-delà de la détermination de l’ordre des mots vers une compréhension plus approfondie de la représentation et de la signification des mots.

Ces nouveaux développements ont abouti à une avancée décisive en 2018, lorsque huit scientifiques de Google ont rédigé et publié « Attention is All You Need », une étude historique sur l’apprentissage automatique. L’article présente notamment l’architecture du transformateur, un cadre de réseau neuronal innovant capable de gérer et de comprendre des informations textuelles complexes avec une plus grande précision et une plus grande échelle. Les transformateurs sont désormais essentiels à certains des LLM les plus puissants d’aujourd’hui, notamment la série GPT, ainsi que BERT.

Les LLM de pointe d’aujourd’hui utilisent des architectures d’apprentissage profond comme les transformateurs et d’autres cadres de réseaux neuronaux profonds pour traiter les informations provenant de différentes sources de données. Les transformateurs sont particulièrement efficaces dans la gestion de données séquentielles, telles que du texte, ce qui leur permet de comprendre et de générer un langage naturel pour des tâches telles que la génération et la traduction de langage. 

Les transformateurs se composent de deux composants principaux : les encodeurs et les décodeurs. Ces composants fonctionnent souvent ensemble pour traiter et générer des séquences. L'encodeur prend des données textuelles brutes et transforme cette entrée en éléments discrets qui peuvent être analysés par le modèle. Le décodeur traite ensuite ces données à travers une série de couches pour produire le résultat final, qui peut, par exemple, consister en une phrase générée. Les transformateurs peuvent également être constitués uniquement d'encodeurs ou de décodeurs, selon le type de modèle ou de tâche.

Le processus de formation des LLM comprend trois étapes principales : la collecte de données, la formation du modèle et la mise au point. 

Au cours de la phase de collecte de données, le modèle est exposé à de grands volumes de données textuelles provenant d’une grande variété de sources, notamment des ressources Internet, des livres, des articles et des bases de données. Les données sont également nettoyées, traitées, standardisées et stockées dans une base de données NoSQL afin qu'elles puissent être utilisées pour former le modèle sur les modèles linguistiques, la grammaire, les informations et le contexte. 

Dans la phase de pré-formation, le modèle commence à développer une compréhension du langage des données. Cela est accompli grâce à des tâches à grande échelle, non supervisées, où le modèle apprend à prédire le texte en fonction de son contexte. Certaines techniques incluent la modélisation autorégressive, où le modèle apprend à prédire le mot suivant dans une séquence, ainsi que la modélisation du langage masqué, où le modèle remplit les mots masqués pour comprendre le contexte. 

Enfin, pendant la phase de réglage fin, le modèle est davantage entraîné sur un ensemble de données plus petit et plus spécifique à la tâche. Ce processus affine les connaissances du modèle et améliore ses performances pour des tâches spécifiques, telles que l’analyse des sentiments ou la traduction, afin qu’il puisse être utilisé pour une variété d’applications.

Le modèle de transformateur décompose le texte brut en unités de texte de base plus petites, appelées jetons. Les jetons peuvent être constitués de mots, de parties de mots ou même de caractères individuels, selon le cas d'utilisation. Ces jetons sont ensuite convertis en représentations numériques denses qui capturent l’ordre, la signification sémantique et le contexte. Ces représentations, appelées plongements, sont ensuite transmises à travers une pile de couches composée de deux sous-couches : l'auto-attention et les réseaux neuronaux.

Bien que les deux couches aident à convertir le texte en un format que le modèle peut traiter efficacement, le mécanisme d’auto-attention est un élément clé de l’architecture du transformateur. Le mécanisme d’auto-attention permet au modèle de se concentrer sur différentes parties d’une séquence de texte et de peser dynamiquement la valeur des informations par rapport aux autres jetons de la séquence, quelle que soit leur position. Ce mécanisme est également ce qui donne aux LLM la capacité de saisir les dépendances, les relations et les nuances contextuelles complexes du langage écrit.

Développée pour la première fois par OpenAI en 2018, la série GPT a introduit le concept fondamental de collecte de données, de pré-formation et de réglage fin des LLM. GPT-2, publié en 2019, a considérablement amélioré les capacités du modèle et sa capacité à générer un langage plus pertinent en fonction du contexte. GPT-3 a amélioré la capacité du modèle à gérer des invites et des tâches complexes. La dernière itération, GPT-4, a été publiée en 2023 et fournit des réponses encore plus précises et nuancées aux questions, tout en abordant certains des défis précédents du modèle, notamment les biais. 

Aujourd’hui, GPT continue de repousser les limites de ce qui est possible dans le domaine de la génération de langage naturel. Chaque modèle de la série s'appuie sur le précédent, faisant ainsi progresser l'innovation basée sur l'IA. 

Développé par Google en 2018, BERT est un modèle révolutionnaire qui a établi la norme de ce qui est possible avec les LLM. Contrairement à la série GPT, qui traite le texte de manière unidirectionnelle (de gauche à droite ou de droite à gauche), BERT adopte une approche bidirectionnelle. Un modèle bidirectionnel traite le contexte de chaque mot dans les deux sens simultanément, ce qui permet à BERT d'effectuer une modélisation du langage masqué en plus des prédictions de la phrase suivante. Les chercheurs ont également contribué à de nouvelles avancées dans le domaine en affinant BERT sur des tâches telles que l'analyse des sentiments, établissant ainsi de nouvelles références.  

Développée par Facebook AI en 2019, l'approche BERT robuste et optimisée (RoBERTa) est une variante du modèle BERT qui étend l'architecture du transformateur bidirectionnel de BERT en optimisant le processus de pré-formation. RoBERTa est formé avec un ensemble de données plus large et pendant plus longtemps. Il se concentre également uniquement sur la modélisation du langage masqué. Cela permet à RoBERTa de démontrer sa solide capacité à saisir le contexte et les nuances. 

Text-To-Text Transfer Transformer (T5), inventé par Google Research, est un autre LLM notable. Comme les modèles traditionnels, T5 est construit sur l'architecture du transformateur et utilise des encodeurs et des décodeurs pour traiter le texte pendant la phase de pré-formation. Contrairement aux modèles traditionnels, T5 traite à la fois les entrées et les sorties comme des chaînes de texte, simplifiant ainsi l'architecture et rationalisant le processus de formation. Les modèles T5 sont des modèles polyvalents adaptables qui peuvent gérer une gamme polyvalente de tâches.

Les LLM peuvent générer du contenu engageant, informatif et contextuellement adapté dans une variété de styles et de formats. Lorsqu'ils y sont invités, ils peuvent générer des articles, des rapports, des billets de blog, des e-mails, des textes marketing et même des extraits de code.   

En matière de résumés, les LLM se distinguent par leur capacité unique à distiller de grands volumes de texte en instantanés concis et précis. Ils peuvent présenter des points clés tout en conservant le contexte et le sens d’origine du contenu original. Les chercheurs gagnent déjà du temps et augmentent leur productivité en utilisant les LLM pour résumer des articles de recherche, des articles, des présentations et des notes de réunion.

Les agents conversationnels et les chatbots s'appuient sur les capacités avancées de traitement du langage naturel des LLM pour générer des interactions de type humain. Ils interprètent les entrées des utilisateurs et répondent de manière fluide, naturelle et contextuellement pertinente. Non seulement ils peuvent répondre à des questions, mais ils peuvent également s’engager dans un dialogue long et complexe. 

Avec l’ajout de chatbots et d’assistants virtuels, les entreprises peuvent désormais fournir une assistance 24 heures sur 24 à leurs clients, augmentant ainsi la disponibilité de leurs services, améliorant les temps de réponse et augmentant la satisfaction globale des clients.

Les LLM qui sont largement formés sur des ensembles de données multilingues produisent des traductions très précises dans différentes langues. Contrairement aux modèles traditionnels, les LLM peuvent saisir les subtilités et les complexités de la langue, telles que les expressions idiomatiques, ce qui donne lieu à des traductions à la fois fluides et adaptées au contexte. 

Les LLM sont également capables d’effectuer une analyse des sentiments, qui analyse le ton émotionnel sous-jacent d’un texte. En traitant et en interprétant les subtilités du langage, les LLM fournissent des évaluations de sentiments plus précises et plus perspicaces. Ils peuvent même détecter des sentiments plus nuancés, comme le sarcasme. 

Les LLM peuvent analyser les données des utilisateurs, y compris l'historique et les préférences des utilisateurs, et générer des recommandations personnalisées et adaptées qui reflètent les intérêts et les besoins de l'utilisateur, améliorant ainsi l'expérience globale de l'utilisateur. 

Cette capacité est largement utilisée dans le commerce électronique, le streaming de contenu et les médias sociaux, où la fourniture de recommandations personnalisées génère des interactions plus significatives. Les LLM peuvent également être utilisés comme outil pédagogique en offrant des expériences d’apprentissage personnalisées aux étudiants.