Konfidenzwert
Ein Konfidenzwert bewertet die Sicherheit einer Modellvorhersage nach dem jeweiligen Verfahren. Er erteilt keine fachliche Freigabe.
Die Bezugsgröße eines Scores verstehen
Ein Konfidenzwert beschreibt, wie sicher ein Modell eine bestimmte Vorhersage nach seinem Verfahren einschätzt. Skala und Bedeutung müssen für das konkrete System geklärt sein. Bei Dokumentenerkennung können sich etwa die Werte für ein Wort und für ein zugeordnetes Feld unterscheiden.
In einem erfundenen Beispiel wird der Preis 24 EUR mit dem Feldwert 0,98 erkannt. Das bewertet die betreffende Erkennung. Es bestätigt nicht, dass 24 EUR zum gültigen Vertrag passen oder dass die gesamte Rechnung korrekt ist.
Ein Schwellenwert kann Ergebnisse zur Prüfung weiterleiten. Seine Eignung muss mit passenden Beispielen und den Folgen von Fehlern untersucht werden. Der Score ist auch kein statistisches Konfidenzintervall und keine allgemeine Garantie für eine bestimmte Fehlerquote in Ihrem Betrieb.
Quellen
Verwandte Begriffe
- Optische ZeichenerkennungOptische Zeichenerkennung macht Schrift aus Bildern maschinell verarbeitbar. Das Lesen eines Betrags ist noch keine fachliche Rechnungsprüfung.
- Re-RankingRe-Ranking bewertet bereits gefundene Suchkandidaten erneut. Entscheidend sind die Passung zur Frage und die Grenzen der Vorauswahl.
- Chunking von DokumentenAufteilen eines Dokuments in kleinere zusammenhängende Abschnitte für Suche und Modellkontext.
- Hybride SucheVerbindung von wortbasierter Suche und Vektorsuche zu einer gemeinsamen Trefferliste.
- Semantische SucheSuche, die Treffer nach inhaltlicher Nähe zur Anfrage ermittelt und einordnet.
- Modell-RoutingAuswahl eines geeigneten Modells pro Anfrage aus einer festgelegten erlaubten Auswahl.
Beiträge zum Thema
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.