Précision
La part des cas réellement positifs parmi tous les cas que le modèle marque comme positifs.
Quelle est la fiabilité du marquage positif ?
La précision mesure la part des cas marqués positifs qui le sont réellement selon la référence définie. La formule est TP / (TP + FP) : TP désigne les vrais positifs et FP les faux positifs. La mesure concerne la classe et l’évaluation choisies. Si aucun cas n’a été marqué positif, le dénominateur est nul ; le rapport doit indiquer clairement le traitement de cette valeur indéfinie.
Dans un exemple de calcul fictif portant sur 50 demandes de service, un modèle en marque 24 comme destinées au service technique. Selon la règle d’affectation convenue à l’avance, 18 lui appartiennent réellement et 6 ont été marquées à tort. La précision vaut 18 / 24 = 75 %. Pour l’activité, cette lecture rend visibles les dossiers supplémentaires mal orientés. Elle ne montre pas à elle seule si des demandes techniques ont aussi été manquées ; le rappel est également examiné.
Sources
Termes associés
- Évaluation des LLML’évaluation des LLM teste les sorties selon des tâches et critères définis. Un bon exemple isolé ne prouve pas la qualité générale.
- Données de test en apprentissage automatiqueDes données réservées à l’évaluation finale dont les résultats n’ont pas servi à sélectionner la variante évaluée.
- RappelLa part des cas réellement positifs que le modèle reconnaît correctement comme positifs.
- Score F1La moyenne harmonique de la précision et du rappel pour une même classe positive.
- Matrice de confusionUn tableau comparant les classes de référence aux prédictions du modèle et comptant les affectations correctes et incorrectes.
- Reclassement des résultatsLe reclassement réévalue les résultats déjà trouvés. Leur pertinence dépend de la question et des limites de la sélection initiale.
Votre projet avec ASES
Décrivez-nous votre projet. Nous revenons vers vous avec une première évaluation.