Recall
Anteil der tatsächlich positiven Fälle, die das Modell richtig als positiv erkennt.
Wie viele relevante Fälle werden erkannt?
Recall misst, welcher Anteil der nach der Referenz tatsächlich positiven Fälle richtig positiv erkannt wird. Die Formel lautet TP / (TP + FN): TP sind richtig erkannte positive und FN übersehene positive Fälle. Die Wahl der positiven Klasse muss feststehen. Wenn die Auswertung keinen tatsächlich positiven Fall enthält, ist der Nenner null und der Quotient nicht definiert. Diese Situation muss im Bericht erkennbar bleiben.
Im erfundenen Rechenbeispiel mit 50 Serviceanfragen gehören nach der vereinbarten Zuordnungsregel 20 zum technischen Service. Das Modell erkennt 18 davon richtig und übersieht 2. Der Recall beträgt 18 / 20 = 90 %. Für die Arbeitsplanung zeigt dies die Lücke bei den Fällen, die das technische Team erreichen sollten. Wie viele andere Anfragen zusätzlich fälschlich dorthin gelangen, lässt sich daraus nicht ablesen; diese Seite wird mit Precision betrachtet. Ob eine Einstellung brauchbar ist, wird anhand beider Fehlerarten und ihrer Folgen im konkreten Ablauf beurteilt.
Quellen
Verwandte Begriffe
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- Testdaten im maschinellen LernenFür eine abschließende Bewertung vorgesehene Daten, deren Ergebnisse nicht zur Auswahl der geprüften Modellvariante verwendet wurden.
- PrecisionAnteil der tatsächlich positiven Fälle unter allen vom Modell positiv markierten Fällen.
- F1-ScoreHarmonisches Mittel aus Precision und Recall für dieselbe positive Klasse.
- KonfusionsmatrixTabelle, die Referenzklassen und Modellvorhersagen gegenüberstellt und richtige sowie falsche Zuordnungen zählt.
- Re-RankingRe-Ranking bewertet bereits gefundene Suchkandidaten erneut. Entscheidend sind die Passung zur Frage und die Grenzen der Vorauswahl.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.