F1-Score
Harmonisches Mittel aus Precision und Recall für dieselbe positive Klasse.
Was fasst der F1-Score zusammen?
Der F1-Score fasst Precision und Recall für dieselbe positive Klasse als harmonisches Mittel zusammen. Eine Formel lautet 2 × TP / (2 × TP + FP + FN). Dabei sind TP richtig positive, FP falsch positive und FN übersehene positive Fälle. Richtig negative Fälle gehen in diese Formel nicht ein. Sind TP, FP und FN jeweils null, ist der Quotient nicht definiert; die Darstellung dieses Sonderfalls muss im Bericht erkennbar sein.
Im erfundenen Beispiel mit 50 Serviceanfragen gibt es 18 richtig positive, 6 falsch positive und 2 übersehene technische Anfragen. Precision beträgt 75 % und Recall 90 %. Daraus ergibt sich 36 / 44, gerundet 81,8 %. Der F1-Score verdichtet beide Kennzahlen, gewichtet aber nicht die betrieblichen Folgen falsch weitergeleiteter und übersehener Anfragen. Für die Entscheidung bleiben deshalb auch die getrennten Fehlerzahlen und der daraus entstehende Bearbeitungsbedarf sichtbar.
Quellen
Verwandte Begriffe
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- Testdaten im maschinellen LernenFür eine abschließende Bewertung vorgesehene Daten, deren Ergebnisse nicht zur Auswahl der geprüften Modellvariante verwendet wurden.
- PrecisionAnteil der tatsächlich positiven Fälle unter allen vom Modell positiv markierten Fällen.
- RecallAnteil der tatsächlich positiven Fälle, die das Modell richtig als positiv erkennt.
- KonfusionsmatrixTabelle, die Referenzklassen und Modellvorhersagen gegenüberstellt und richtige sowie falsche Zuordnungen zählt.
- Re-RankingRe-Ranking bewertet bereits gefundene Suchkandidaten erneut. Entscheidend sind die Passung zur Frage und die Grenzen der Vorauswahl.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.