Recall
Andelen faktisk positive tilfeller som modellen gjenkjenner riktig som positive.
Hvor mange relevante tilfeller gjenkjennes?
Recall måler hvor stor andel av de faktisk positive tilfellene etter referansen som gjenkjennes riktig som positive. Formelen er TP / (TP + FN): TP er riktig gjenkjente positive og FN oversette positive tilfeller. Den positive klassen må være fastsatt. Hvis vurderingen ikke inneholder faktisk positive tilfeller, er nevneren null og brøken udefinert. Dette må være synlig i rapporteringen.
I det fiktive regneeksemplet med 50 servicehenvendelser hører 20 til teknisk service etter den avtalte tilordningsregelen. Modellen gjenkjenner 18 riktig og overser 2. Recall er 18 / 20 = 90 %. For arbeidsplanleggingen viser dette gapet blant tilfellene som burde nå det tekniske teamet. Hvor mange andre henvendelser som også feilaktig sendes dit, fremgår ikke; presisjon undersøker den siden. Om en innstilling er nyttig, vurderes ut fra begge feiltypene og følgene i den konkrete prosessen.
Kilder
Beslektede begreper
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- Testdata i maskinlæringData til avsluttende vurdering der resultatene ikke er brukt til å velge modellvarianten som vurderes.
- PresisjonAndelen faktisk positive tilfeller blant alle tilfellene modellen markerer som positive.
- F1-skårDet harmoniske gjennomsnittet av presisjon og recall for samme positive klasse.
- KonfusjonsmatriseEn tabell som sammenligner referanseklasser og modellprediksjoner og teller riktige og gale tilordninger.
- Omrangering av søkeresultaterOmrangering vurderer allerede funne søkekandidater på nytt. Relevans for spørsmålet og begrensningene i det første utvalget er avgjørende.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.