Lorsque vous évaluez un LLM, vous répondez généralement à des questions telles que :
Les petites modifications—apportées à une modification de l’invite, à la modification de la version du modèle ou aux nouvelles données d’un flux de travail—peuvent modifier la qualité de sortie. L’évaluation aide les équipes à remarquer ces shifts et à répondre avant qu’ils ne s’affichent en tant que problèmes rencontrés par l’utilisateur.
L’évaluation de modèles de langage volumineux combine généralement des métriques automatisées, des tests d’évaluation et une révision humaine pour identifier les forces, les faiblesses et les régressions. Cela peut se produire à différentes étapes dans les environnements de production.
Approches d’évaluation courantes
Ces évaluations peuvent se produire à n’importe quelle étape ou à l’ensemble de ces étapes :
L’évaluation LLM aide les organisations à vérifier si les réponses générées par l’IA sont exactes, fiables et alignées sur l’intention—de l’utilisateur, ce qui est le plus important lorsque ces systèmes prennent en charge le travail réel dans les paramètres d’entreprise.
Dans la pratique, il aide les équipes :
L’évaluation LLM joue un rôle essentiel dans différentes étapes et cas d’usage au sein des environnements d’entreprise. Les organisations peuvent maintenir de manière proactive des normes de précision, de sécurité et d'alignement avec les exigences commerciales en évaluant systématiquement les performances des LLM dans différents scénarios, qui peuvent inclure le traitement des requêtes des utilisateurs, l'intégration des informations récupérées et l'appel de services cognitifs tels que les API de langage ou de vision.
Validation des chatbots
Les équipes testent souvent les chatbots construits avec des modèles de transformateurs pré-entraînés génératifs (GPT) pour confirmer que leurs réponses :
Surveillance des systèmes DENS
Pour les expériences DENS, l’évaluation LLM permet de vérifier que les systèmes :
Détection des tendances ou des biais dans les applications d’entreprise
Dans les flux de travail métier, les équipes recherchent souvent des modèles tels que :
Comparaison des modèles et itération en toute sécurité
Lorsque vous choisissez entre des modèles—ou si vous modifiez des invites, une—évaluation LLM cohérente permet aux équipes de comparer les résultats et d’effectuer des mises à jour en toute confiance. Les évaluations régulières permettent d’identifier le modèle qui fournit les sorties les plus fiables pour des tâches spécifiques. Ce processus permet également aux équipes de repérer rapidement les problèmes et d’implémenter des améliorations sans risque de conséquences inattendues.
À mesure que les LLM apparaissent plus fréquemment dans les flux de travail critiques des entreprises et les applications d'IA cognitive, l'évaluation devient une partie essentielle des opérations quotidiennes d'IA. Plutôt que de traiter l’évaluation comme une étape unique, de nombreuses équipes s’inscrivent dans des pratiques qui correspondent à la façon dont les systèmes LLM évoluent réellement au fil du temps, par exemple :
Une tendance croissante consiste à utiliser les LLM pour aider à évaluer ou à examiner les résultats à grande échelle, en particulier pour les tâches où une évaluation « bonne » est difficile à saisir avec de simples règles de réussite/échec. Cette approche peut compléter la révision humaine et d’autres vérifications, en particulier lorsque les équipes souhaitent accélérer les cycles de commentaires.
Les tests hors ligne restent importants, mais ils ne permettent pas de détecter tout ce qui se passe après la livraison d'un système. C’est pourquoi l’évaluation continue en production est de plus en plus courante. Dans la pratique, cela implique de vérifier régulièrement les sorties après les mises en production, les modifications des données ou les mises à jour—de flux de travail afin que les problèmes de qualité apparaissent en avant-première.
Obtenez l'application mobile Azure 
