F1-score
Het harmonisch gemiddelde van precisie en recall voor dezelfde positieve klasse.
Wat combineert de F1-score?
De F1-score combineert precisie en recall voor dezelfde positieve klasse als harmonisch gemiddelde. Een formule is 2 × TP / (2 × TP + FP + FN). TP zijn terecht positieve, FP onterecht positieve en FN gemiste positieve gevallen. Terecht negatieve gevallen tellen in deze formule niet mee. Als TP, FP en FN elk nul zijn, is de verhouding ongedefinieerd; de weergave van dat bijzondere geval moet duidelijk zijn in het verslag.
In het fictieve voorbeeld met 50 servicevragen zijn er 18 terecht positieve, 6 onterecht positieve en 2 gemiste technische vragen. Precisie is 75 % en recall 90 %. Dat geeft 36 / 44, afgerond 81,8 %. De F1-score vat beide maten samen, maar weegt niet de gevolgen van verkeerd doorgestuurde en gemiste vragen voor de bedrijfsvoering. Bij de beslissing blijven daarom ook de afzonderlijke foutaantallen en het benodigde afhandelwerk zichtbaar.
Bronnen
Verwante begrippen
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- Testgegevens bij machine learningGegevens voor de eindbeoordeling waarvan de resultaten niet zijn gebruikt om de beoordeelde modelvariant te kiezen.
- PrecisieHet aandeel werkelijk positieve gevallen onder alle gevallen die het model als positief markeert.
- RecallHet aandeel werkelijk positieve gevallen dat het model terecht als positief herkent.
- VerwarringsmatrixEen tabel die referentieklassen en modelvoorspellingen vergelijkt en juiste en onjuiste toewijzingen telt.
- Herordening van zoekresultatenHerordening beoordeelt gevonden zoekkandidaten opnieuw. De aansluiting op de vraag en de grenzen van de eerste selectie blijven bepalend.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.