Score F1
La moyenne harmonique de la précision et du rappel pour une même classe positive.
Que combine le score F1 ?
Le score F1 combine la précision et le rappel pour une même classe positive sous forme de moyenne harmonique. Une formule est 2 × TP / (2 × TP + FP + FN). TP désigne les vrais positifs, FP les faux positifs et FN les positifs manqués. Les vrais négatifs n’entrent pas dans cette formule. Si TP, FP et FN sont tous nuls, le quotient est indéfini ; le rapport doit indiquer clairement la présentation de ce cas particulier.
Dans l’exemple fictif avec 50 demandes de service, il y a 18 vrais positifs, 6 faux positifs et 2 demandes techniques manquées. La précision vaut 75 % et le rappel 90 %. Cela donne 36 / 44, soit environ 81,8 % après arrondi. Le score F1 synthétise les deux mesures sans pondérer les conséquences opérationnelles des demandes mal orientées ou manquées. Les nombres d’erreurs séparés et le travail de traitement qui en découle restent donc visibles pour décider.
Sources
Termes associés
- Évaluation des LLML’évaluation des LLM teste les sorties selon des tâches et critères définis. Un bon exemple isolé ne prouve pas la qualité générale.
- Données de test en apprentissage automatiqueDes données réservées à l’évaluation finale dont les résultats n’ont pas servi à sélectionner la variante évaluée.
- PrécisionLa part des cas réellement positifs parmi tous les cas que le modèle marque comme positifs.
- RappelLa part des cas réellement positifs que le modèle reconnaît correctement comme positifs.
- Matrice de confusionUn tableau comparant les classes de référence aux prédictions du modèle et comptant les affectations correctes et incorrectes.
- Reclassement des résultatsLe reclassement réévalue les résultats déjà trouvés. Leur pertinence dépend de la question et des limites de la sélection initiale.
Votre projet avec ASES
Décrivez-nous votre projet. Nous revenons vers vous avec une première évaluation.