Recall
Andelen faktiskt positiva fall som modellen korrekt känner igen som positiva.
Hur många relevanta fall känns igen?
Recall mäter hur stor andel av de enligt referensen faktiskt positiva fallen som korrekt känns igen som positiva. Formeln är TP / (TP + FN): TP är korrekt identifierade positiva och FN missade positiva fall. Den positiva klassen behöver vara bestämd. Om bedömningen saknar faktiskt positiva fall är nämnaren noll och kvoten odefinierad. Det behöver framgå i rapporteringen.
I det fiktiva räkneexemplet med 50 serviceärenden hör 20 till teknisk service enligt den överenskomna tilldelningsregeln. Modellen identifierar 18 korrekt och missar 2. Recall är 18 / 20 = 90 %. För arbetsplaneringen visar detta luckan bland de fall som borde nå det tekniska teamet. Hur många andra ärenden som också skickas dit felaktigt framgår inte; precision granskar den sidan. En inställnings användbarhet bedöms utifrån båda feltyperna och deras följder i det konkreta flödet.
Källor
Relaterade begrepp
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- Testdata inom maskininlärningData för slutbedömning vars resultat inte har använts för att välja den modellvariant som bedöms.
- PrecisionAndelen faktiskt positiva fall bland alla fall som modellen markerar som positiva.
- F1-poängDet harmoniska medelvärdet av precision och recall för samma positiva klass.
- FörväxlingsmatrisEn tabell som jämför referensklasser med modellens förutsägelser och räknar rätt och fel tilldelningar.
- Omrankning av sökresultatOmrankning bedömer redan hittade sökkandidater på nytt. Relevansen för frågan och det första urvalets begränsningar är avgörande.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.