Precision
Andelen af reelt positive tilfælde blandt alle de tilfælde, modellen markerer som positive.
Hvor pålidelig er den positive markering?
Precision måler, hvor stor en andel af de positivt markerede tilfælde der faktisk er positive ifølge den fastlagte reference. Formlen er TP / (TP + FP): TP er sande positive og FP falske positive tilordninger. Målet hører til den valgte klasse og vurdering. Hvis intet tilfælde blev markeret positivt, er nævneren nul; rapporteringen skal vise, hvordan en sådan udefineret værdi håndteres.
I et fiktivt regneeksempel med 50 servicehenvendelser markerer en model 24 som tilhørende teknisk service. Efter den på forhånd aftalte tilordningsregel hører 18 faktisk til dér, mens 6 er markeret forkert. Precision er 18 / 24 = 75 %. I driften synliggør dette de ekstra forkert videresendte tilfælde. Målet viser ikke alene, om tekniske henvendelser også er overset; det undersøges med recall.
Kilder
Relaterede begreber
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- Testdata i maskinlæringData til afsluttende vurdering, hvis resultater ikke er brugt til at vælge den vurderede modelvariant.
- RecallAndelen af reelt positive tilfælde, som modellen korrekt genkender som positive.
- F1-scoreDet harmoniske gennemsnit af precision og recall for samme positive klasse.
- ForvekslingsmatrixEn tabel, der sammenholder referenceklasser og modellens forudsigelser og tæller korrekte og forkerte tilordninger.
- Omrangering af søgeresultaterOmrangering vurderer allerede fundne søgeresultater igen. Relevansen for spørgsmålet og den første udvælgelses grænser er afgørende.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.