Évaluation des LLM
L’évaluation des LLM teste les sorties selon des tâches et critères définis. Un bon exemple isolé ne prouve pas la qualité générale.
Examiner la qualité sur des cas définis
L’évaluation des LLM vérifie systématiquement les sorties d’un modèle de langage selon des tâches et critères précis. Elle peut examiner l’exactitude, l’appui sur les sources fournies ou le respect des limites attendues.
Dans un test fictif, un modèle répond à des questions de livraison. Un cas contient une date confirmée ; un autre n’en contient pas. Dans le second, reconnaître l’information manquante fait partie du résultat attendu. Une date inventée dans une phrase fluide serait une erreur.
Une reformulation valable ne doit pas être automatiquement jugée fausse parce qu’elle diffère du texte de référence. Inversement, une ressemblance linguistique ne prouve pas l’exactitude. Consignez modèle, entrées et configuration. L’évaluation d’un périmètre limité ne démontre pas la qualité de tous les cas futurs.
Sources
Termes associés
- Grand modèle de langageUn grand modèle de langage traite la langue à partir de motifs appris. Un texte fluide ne prouve ni son exactitude ni l’accès aux données à jour.
- Hallucination de l’IAUne hallucination de l’IA est un contenu plausible mais faux ou inventé. La fluidité du langage ne prouve pas son exactitude.
- Fiche de modèleUne fiche de modèle documente l’objectif, les bases, les conditions d’évaluation et les limites connues d’une version donnée d’un modèle d’IA.
- Préparation à l’IALa préparation à l’IA porte sur les prérequis d’un projet : objectif, données utilisables, compétences, responsabilités et fonctionnement quotidien.
- Ingénierie du contexteL’ingénierie du contexte prépare les informations de chaque appel au modèle : instructions, messages, sources et état actuel pertinents.
- Détection d’anomaliesDes méthodes qui signalent des observations inhabituelles par rapport à une référence définie ou à un schéma appris.
Articles sur le sujet
IA & automatisation avec ASES
Assistants IA et processus automatisés