Recall
Andelen af reelt positive tilfælde, som modellen korrekt genkender som positive.
Hvor mange relevante tilfælde genkendes?
Recall måler, hvor stor en andel af de faktisk positive tilfælde ifølge referencen der genkendes korrekt som positive. Formlen er TP / (TP + FN): TP er korrekt genkendte positive og FN oversete positive tilfælde. Den positive klasse skal være fastlagt. Hvis vurderingen ikke indeholder reelt positive tilfælde, er nævneren nul, og brøken er udefineret. Det skal være synligt i rapporteringen.
I det fiktive regneeksempel med 50 servicehenvendelser hører 20 til teknisk service efter den aftalte tilordningsregel. Modellen genkender 18 korrekt og overser 2. Recall er 18 / 20 = 90 %. For arbejdsplanlægningen viser det hullet blandt de tilfælde, der burde nå det tekniske team. Hvor mange andre henvendelser der også sendes forkert dertil, fremgår ikke; precision undersøger den side. En indstillings anvendelighed vurderes ud fra begge fejltyper og deres følger i det konkrete forløb.
Kilder
Relaterede begreber
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- Testdata i maskinlæringData til afsluttende vurdering, hvis resultater ikke er brugt til at vælge den vurderede modelvariant.
- PrecisionAndelen af reelt positive tilfælde blandt alle de tilfælde, modellen markerer som positive.
- F1-scoreDet harmoniske gennemsnit af precision og recall for samme positive klasse.
- ForvekslingsmatrixEn tabel, der sammenholder referenceklasser og modellens forudsigelser og tæller korrekte og forkerte tilordninger.
- Omrangering af søgeresultaterOmrangering vurderer allerede fundne søgeresultater igen. Relevansen for spørgsmålet og den første udvælgelses grænser er afgørende.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.