Konfusjonsmatrise
En tabell som sammenligner referanseklasser og modellprediksjoner og teller riktige og gale tilordninger.
Hvilke forvekslinger viser tabellen?
En konfusjonsmatrise sammenligner referanseklasser med modellprediksjoner. Her inneholder radene tilfeller tilordnet etter en fastsatt virksomhetsregel, og kolonnene modellens prediksjon. Det fiktive eksemplet omfatter 50 servicehenvendelser; den positive klassen er tiltenkt teknisk service. Retning og klassenavn må være tydelige, ellers kan de samme tallene tolkes feil.
Referanseklasse | Modell: teknisk service | Modell: annen henvendelse |
|---|---|---|
Teknisk service | 18 | 2 |
Annen henvendelse | 6 | 24 |
De 18 tilfellene øverst til venstre er sanne positive. De 2 øverst til høyre er oversett, de 6 nederst til venstre er markert falskt positive, og de 24 nederst til høyre er riktig gjenkjent som andre henvendelser. Tabellen skiller dermed henvendelser som ikke når det tekniske teamet, fra ekstra henvendelser som feilaktig havner der. Den kan utvides med flere klasser. Tolkningen avhenger også av kvaliteten på referansetilordningen og hvor godt de valgte eksemplene dekker den tiltenkte bruken.
Kilder
Beslektede begreper
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- Veiledet læringEn læringsmetode som bruker inndata sammen med tilhørende målverdier eller klasser som treningseksempler.
- Testdata i maskinlæringData til avsluttende vurdering der resultatene ikke er brukt til å velge modellvarianten som vurderes.
- PresisjonAndelen faktisk positive tilfeller blant alle tilfellene modellen markerer som positive.
- RecallAndelen faktisk positive tilfeller som modellen gjenkjenner riktig som positive.
- F1-skårDet harmoniske gjennomsnittet av presisjon og recall for samme positive klasse.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.