Konfusionsmatrix
Tabelle, die Referenzklassen und Modellvorhersagen gegenüberstellt und richtige sowie falsche Zuordnungen zählt.
Welche Verwechslungen zeigt die Tabelle?
Eine Konfusionsmatrix stellt Referenzklassen und Modellvorhersagen gegenüber. Hier enthalten die Zeilen die nach einer festgelegten Regel fachlich zugeordneten Fälle, die Spalten die Modellvorhersage. Das erfundene Beispiel umfasst 50 Serviceanfragen; die positive Klasse ist für den technischen Service bestimmt. Die Richtung und die Klassenbezeichnungen müssen erkennbar sein, weil sonst dieselben Zahlen falsch interpretiert werden können.
Referenzklasse | Modell: technischer Service | Modell: andere Anfrage |
|---|---|---|
Technischer Service | 18 | 2 |
Andere Anfrage | 6 | 24 |
Die 18 Fälle links oben sind richtig positiv. Die 2 rechts oben wurden übersehen, die 6 links unten fälschlich positiv markiert und die 24 rechts unten richtig als andere Anfrage erkannt. Damit zeigt die Tabelle getrennt, welche Anfragen das technische Team nicht erreichen und welche zusätzlich falsch dorthin gelangen. Sie kann für weitere Klassen erweitert werden. Ihre Aussage hängt auch von der Qualität der Referenzzuordnung und davon ab, wie gut die ausgewählten Beispiele den vorgesehenen Einsatz abdecken.
Quellen
Verwandte Begriffe
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- Überwachtes LernenEin Lernverfahren, das Eingaben mit zugehörigen Zielwerten oder Klassen als Trainingsbeispiele verwendet.
- Testdaten im maschinellen LernenFür eine abschließende Bewertung vorgesehene Daten, deren Ergebnisse nicht zur Auswahl der geprüften Modellvariante verwendet wurden.
- PrecisionAnteil der tatsächlich positiven Fälle unter allen vom Modell positiv markierten Fällen.
- RecallAnteil der tatsächlich positiven Fälle, die das Modell richtig als positiv erkennt.
- F1-ScoreHarmonisches Mittel aus Precision und Recall für dieselbe positive Klasse.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.