F1-skår
Det harmoniske gjennomsnittet av presisjon og recall for samme positive klasse.
Hva oppsummerer F1-skåren?
F1-skåren oppsummerer presisjon og recall for samme positive klasse som et harmonisk gjennomsnitt. En formel er 2 × TP / (2 × TP + FP + FN). TP er sanne positive, FP falske positive og FN oversette positive tilfeller. Sanne negative inngår ikke i formelen. Hvis TP, FP og FN alle er null, er brøken udefinert; rapporten må tydeliggjøre hvordan dette særtilfellet vises.
I det fiktive eksemplet med 50 servicehenvendelser er det 18 sanne positive, 6 falske positive og 2 oversette tekniske henvendelser. Presisjon er 75 % og recall 90 %. Det gir 36 / 44, avrundet 81,8 %. F1-skåren oppsummerer begge målene, men vekter ikke de driftsmessige følgene av feil videresendte og oversette henvendelser. Ved beslutningen forblir derfor også de separate feiltallene og det videre behandlingsbehovet synlige.
Kilder
Beslektede begreper
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- Testdata i maskinlæringData til avsluttende vurdering der resultatene ikke er brukt til å velge modellvarianten som vurderes.
- PresisjonAndelen faktisk positive tilfeller blant alle tilfellene modellen markerer som positive.
- RecallAndelen faktisk positive tilfeller som modellen gjenkjenner riktig som positive.
- KonfusjonsmatriseEn tabell som sammenligner referanseklasser og modellprediksjoner og teller riktige og gale tilordninger.
- Omrangering av søkeresultaterOmrangering vurderer allerede funne søkekandidater på nytt. Relevans for spørsmålet og begrensningene i det første utvalget er avgjørende.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.