Verwarringsmatrix
Een tabel die referentieklassen en modelvoorspellingen vergelijkt en juiste en onjuiste toewijzingen telt.
Welke verwarringen toont de tabel?
Een verwarringsmatrix vergelijkt referentieklassen met modelvoorspellingen. Hier bevatten de rijen gevallen die volgens een vastgelegde bedrijfsregel zijn toegewezen en de kolommen de modelvoorspelling. Het fictieve voorbeeld omvat 50 servicevragen; de positieve klasse is bestemd voor technische service. Richting en klassenamen moeten duidelijk zijn, omdat dezelfde getallen anders verkeerd kunnen worden uitgelegd.
Referentieklasse | Model: technische service | Model: andere vraag |
|---|---|---|
Technische service | 18 | 2 |
Andere vraag | 6 | 24 |
De 18 gevallen linksboven zijn terecht positief. De 2 rechtsboven zijn gemist, de 6 linksonder onterecht positief gemarkeerd en de 24 rechtsonder terecht als andere vraag herkend. De tabel scheidt zo vragen die het technische team niet bereiken van extra vragen die daar onterecht terechtkomen. Uitbreiding naar meer klassen is mogelijk. De betekenis hangt ook af van de kwaliteit van de referentietoewijzing en van hoe goed de gekozen voorbeelden het beoogde gebruik afdekken.
Bronnen
Verwante begrippen
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- Supervised learningEen leermethode die invoer samen met de bijbehorende doelwaarden of klassen als trainingsvoorbeelden gebruikt.
- Testgegevens bij machine learningGegevens voor de eindbeoordeling waarvan de resultaten niet zijn gebruikt om de beoordeelde modelvariant te kiezen.
- PrecisieHet aandeel werkelijk positieve gevallen onder alle gevallen die het model als positief markeert.
- RecallHet aandeel werkelijk positieve gevallen dat het model terecht als positief herkent.
- F1-scoreHet harmonisch gemiddelde van precisie en recall voor dezelfde positieve klasse.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.