Matrice de confusion
Un tableau comparant les classes de référence aux prédictions du modèle et comptant les affectations correctes et incorrectes.
Quelles confusions le tableau montre-t-il ?
Une matrice de confusion compare les classes de référence aux prédictions du modèle. Ici, les lignes contiennent les cas affectés selon une règle métier définie et les colonnes la prédiction du modèle. L’exemple fictif porte sur 50 demandes de service ; la classe positive est destinée au service technique. Le sens de lecture et les noms des classes doivent être clairs, sinon les mêmes chiffres peuvent être mal interprétés.
Classe de référence | Modèle : service technique | Modèle : autre demande |
|---|---|---|
Service technique | 18 | 2 |
Autre demande | 6 | 24 |
Les 18 cas en haut à gauche sont de vrais positifs. Les 2 en haut à droite ont été manqués, les 6 en bas à gauche marqués positifs à tort et les 24 en bas à droite reconnus correctement comme autres demandes. Le tableau distingue ainsi les demandes qui n’atteignent pas l’équipe technique de celles qui lui parviennent en plus à tort. Il peut être étendu à d’autres classes. Son interprétation dépend aussi de la qualité des affectations de référence et de la couverture de l’usage prévu par les exemples choisis.
Sources
Termes associés
- Évaluation des LLML’évaluation des LLM teste les sorties selon des tâches et critères définis. Un bon exemple isolé ne prouve pas la qualité générale.
- Apprentissage superviséUne méthode qui utilise des entrées accompagnées de leurs valeurs ou classes cibles comme exemples d’entraînement.
- Données de test en apprentissage automatiqueDes données réservées à l’évaluation finale dont les résultats n’ont pas servi à sélectionner la variante évaluée.
- PrécisionLa part des cas réellement positifs parmi tous les cas que le modèle marque comme positifs.
- RappelLa part des cas réellement positifs que le modèle reconnaît correctement comme positifs.
- Score F1La moyenne harmonique de la précision et du rappel pour une même classe positive.
Votre projet avec ASES
Décrivez-nous votre projet. Nous revenons vers vous avec une première évaluation.