Forvekslingsmatrix
En tabel, der sammenholder referenceklasser og modellens forudsigelser og tæller korrekte og forkerte tilordninger.
Hvilke forvekslinger viser tabellen?
En forvekslingsmatrix sammenholder referenceklasser med modellens forudsigelser. Her indeholder rækkerne tilfælde tilordnet efter en fastlagt forretningsregel, og kolonnerne modellens forudsigelse. Det fiktive eksempel omfatter 50 servicehenvendelser; den positive klasse er tiltænkt teknisk service. Retning og klassenavne skal være tydelige, da de samme tal ellers kan fortolkes forkert.
Referenceklasse | Model: teknisk service | Model: anden henvendelse |
|---|---|---|
Teknisk service | 18 | 2 |
Anden henvendelse | 6 | 24 |
De 18 tilfælde øverst til venstre er sande positive. De 2 øverst til højre er overset, de 6 nederst til venstre markeret falsk positive og de 24 nederst til højre korrekt genkendt som andre henvendelser. Tabellen skelner dermed mellem henvendelser, der ikke når det tekniske team, og ekstra henvendelser, der fejlagtigt når dertil. Den kan udvides med flere klasser. Fortolkningen afhænger også af referencetilordningernes kvalitet og af, hvor godt de valgte eksempler dækker den planlagte brug.
Kilder
Relaterede begreber
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- Superviseret læringEn læringsmetode, der bruger input sammen med tilhørende målværdier eller klasser som træningseksempler.
- Testdata i maskinlæringData til afsluttende vurdering, hvis resultater ikke er brugt til at vælge den vurderede modelvariant.
- PrecisionAndelen af reelt positive tilfælde blandt alle de tilfælde, modellen markerer som positive.
- RecallAndelen af reelt positive tilfælde, som modellen korrekt genkender som positive.
- F1-scoreDet harmoniske gennemsnit af precision og recall for samme positive klasse.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.