Förväxlingsmatris
En tabell som jämför referensklasser med modellens förutsägelser och räknar rätt och fel tilldelningar.
Vilka förväxlingar visar tabellen?
En förväxlingsmatris jämför referensklasser med modellens förutsägelser. Här innehåller raderna fall tilldelade enligt en fastställd verksamhetsregel och kolumnerna modellens förutsägelse. Det fiktiva exemplet omfattar 50 serviceärenden; den positiva klassen är avsedd för teknisk service. Riktning och klassnamn behöver vara tydliga, annars kan samma siffror misstolkas.
Referensklass | Modell: teknisk service | Modell: annat ärende |
|---|---|---|
Teknisk service | 18 | 2 |
Annat ärende | 6 | 24 |
De 18 fallen överst till vänster är sant positiva. De 2 överst till höger har missats, de 6 nederst till vänster har markerats falskt positiva och de 24 nederst till höger har korrekt känts igen som andra ärenden. Tabellen skiljer därmed ärenden som inte når det tekniska teamet från extra ärenden som felaktigt hamnar där. Den kan utökas med fler klasser. Tolkningen beror också på referenstilldelningens kvalitet och på hur väl de valda exemplen täcker den avsedda användningen.
Källor
Relaterade begrepp
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- Övervakad inlärningEn inlärningsmetod som använder indata tillsammans med tillhörande målvärden eller klasser som träningsexempel.
- Testdata inom maskininlärningData för slutbedömning vars resultat inte har använts för att välja den modellvariant som bedöms.
- PrecisionAndelen faktiskt positiva fall bland alla fall som modellen markerar som positiva.
- RecallAndelen faktiskt positiva fall som modellen korrekt känner igen som positiva.
- F1-poängDet harmoniska medelvärdet av precision och recall för samma positiva klass.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.