Presisjon
Andelen faktisk positive tilfeller blant alle tilfellene modellen markerer som positive.
Hvor pålitelig er den positive markeringen?
Presisjon måler hvor stor andel av de positivt markerte tilfellene som faktisk er positive etter den fastsatte referansen. Formelen er TP / (TP + FP): TP er sanne positive og FP falske positive tilordninger. Målet gjelder den valgte klassen og vurderingen. Hvis ingen tilfeller ble markert positive, er nevneren null; rapporteringen må vise hvordan en slik udefinert verdi håndteres.
I et fiktivt regneeksempel med 50 servicehenvendelser markerer en modell 24 som tilhørende teknisk service. Etter den på forhånd avtalte tilordningsregelen hører 18 faktisk til der, mens 6 er feilaktig markert. Presisjonen er 18 / 24 = 75 %. I driften synliggjør dette de ekstra feil videresendte tilfellene. Målet viser ikke alene om tekniske henvendelser også ble oversett; det undersøkes med recall.
Kilder
Beslektede begreper
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- Testdata i maskinlæringData til avsluttende vurdering der resultatene ikke er brukt til å velge modellvarianten som vurderes.
- RecallAndelen faktisk positive tilfeller som modellen gjenkjenner riktig som positive.
- F1-skårDet harmoniske gjennomsnittet av presisjon og recall for samme positive klasse.
- KonfusjonsmatriseEn tabell som sammenligner referanseklasser og modellprediksjoner og teller riktige og gale tilordninger.
- Omrangering av søkeresultaterOmrangering vurderer allerede funne søkekandidater på nytt. Relevans for spørsmålet og begrensningene i det første utvalget er avgjørende.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.