F1-poäng
Det harmoniska medelvärdet av precision och recall för samma positiva klass.
Vad sammanfattar F1-poängen?
F1-poängen sammanfattar precision och recall för samma positiva klass som ett harmoniskt medelvärde. En formel är 2 × TP / (2 × TP + FP + FN). TP är sant positiva, FP falskt positiva och FN missade positiva fall. Sant negativa fall ingår inte i formeln. Om TP, FP och FN alla är noll är kvoten odefinierad; rapporten behöver tydliggöra hur detta specialfall visas.
I det fiktiva exemplet med 50 serviceärenden finns 18 sant positiva, 6 falskt positiva och 2 missade tekniska ärenden. Precision är 75 % och recall 90 %. Det ger 36 / 44, avrundat 81,8 %. F1-poängen sammanfattar båda måtten men väger inte de verksamhetsmässiga följderna av felriktade och missade ärenden. Vid beslutet är därför även de separata felantalen och det efterföljande handläggningsbehovet synliga.
Källor
Relaterade begrepp
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- Testdata inom maskininlärningData för slutbedömning vars resultat inte har använts för att välja den modellvariant som bedöms.
- PrecisionAndelen faktiskt positiva fall bland alla fall som modellen markerar som positiva.
- RecallAndelen faktiskt positiva fall som modellen korrekt känner igen som positiva.
- FörväxlingsmatrisEn tabell som jämför referensklasser med modellens förutsägelser och räknar rätt och fel tilldelningar.
- Omrankning av sökresultatOmrankning bedömer redan hittade sökkandidater på nytt. Relevansen för frågan och det första urvalets begränsningar är avgörande.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.