Precision
Andelen faktiskt positiva fall bland alla fall som modellen markerar som positiva.
Hur tillförlitlig är den positiva markeringen?
Precision mäter hur stor andel av de positivt markerade fallen som faktiskt är positiva enligt den fastställda referensen. Formeln är TP / (TP + FP): TP är sant positiva och FP falskt positiva tilldelningar. Måttet hör till vald klass och bedömning. Om inget fall har markerats positivt är nämnaren noll; rapporteringen behöver visa hur ett sådant odefinierat värde hanteras.
I ett fiktivt räkneexempel med 50 serviceärenden markerar en modell 24 som avsedda för teknisk service. Enligt den i förväg överenskomna tilldelningsregeln hör 18 faktiskt dit och 6 har markerats felaktigt. Precisionen är 18 / 24 = 75 %. I verksamheten synliggör detta de extra felriktade fallen. Måttet visar inte ensamt om tekniska ärenden också har missats; då granskas även recall.
Källor
Relaterade begrepp
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- Testdata inom maskininlärningData för slutbedömning vars resultat inte har använts för att välja den modellvariant som bedöms.
- RecallAndelen faktiskt positiva fall som modellen korrekt känner igen som positiva.
- F1-poängDet harmoniska medelvärdet av precision och recall för samma positiva klass.
- FörväxlingsmatrisEn tabell som jämför referensklasser med modellens förutsägelser och räknar rätt och fel tilldelningar.
- Omrankning av sökresultatOmrankning bedömer redan hittade sökkandidater på nytt. Relevansen för frågan och det första urvalets begränsningar är avgörande.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.