Precision
Anteil der tatsächlich positiven Fälle unter allen vom Modell positiv markierten Fällen.
Wie zuverlässig ist die positive Markierung?
Precision misst, welcher Anteil der positiv markierten Fälle nach der festgelegten Referenz tatsächlich positiv ist. Die Formel lautet TP / (TP + FP): TP sind richtig positive und FP falsch positive Zuordnungen. Die Kennzahl gehört zur gewählten Klasse und Auswertung. Wenn kein Fall positiv markiert wurde, ist der Nenner null; wie ein solcher undefinierter Wert berichtet wird, muss erkennbar sein.
In einem erfundenen Rechenbeispiel mit 50 Serviceanfragen markiert ein Modell 24 als für den technischen Service bestimmt. Nach der vorher vereinbarten Zuordnungsregel gehören 18 davon tatsächlich dorthin, 6 wurden fälschlich markiert. Die Precision beträgt 18 / 24 = 75 %. Für den Betrieb macht diese Sicht die zusätzlichen falsch zugeordneten Fälle sichtbar. Ob zugleich technische Anfragen übersehen wurden, zeigt die Kennzahl allein nicht; dafür wird auch der Recall betrachtet.
Quellen
Verwandte Begriffe
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- Testdaten im maschinellen LernenFür eine abschließende Bewertung vorgesehene Daten, deren Ergebnisse nicht zur Auswahl der geprüften Modellvariante verwendet wurden.
- RecallAnteil der tatsächlich positiven Fälle, die das Modell richtig als positiv erkennt.
- F1-ScoreHarmonisches Mittel aus Precision und Recall für dieselbe positive Klasse.
- KonfusionsmatrixTabelle, die Referenzklassen und Modellvorhersagen gegenüberstellt und richtige sowie falsche Zuordnungen zählt.
- Re-RankingRe-Ranking bewertet bereits gefundene Suchkandidaten erneut. Entscheidend sind die Passung zur Frage und die Grenzen der Vorauswahl.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.