Punteggio F1
La media armonica di precision e recall per la stessa classe positiva.
Che cosa combina il punteggio F1?
Il punteggio F1 combina precision e recall per la stessa classe positiva come media armonica. Una formula è 2 × TP / (2 × TP + FP + FN). TP indica veri positivi, FP falsi positivi e FN positivi mancati. I veri negativi non entrano in questa formula. Se TP, FP e FN sono tutti zero, il rapporto non è definito; nel resoconto deve essere chiaro come viene presentato questo caso particolare.
Nell’esempio fittizio con 50 richieste di assistenza ci sono 18 veri positivi, 6 falsi positivi e 2 richieste tecniche mancate. La precision è 75 % e la recall 90 %. Si ottiene 36 / 44, pari a circa 81,8 % dopo l’arrotondamento. Il punteggio F1 riassume entrambe le misure, ma non pesa le conseguenze operative delle richieste instradate male e di quelle perse. Per decidere restano quindi visibili i conteggi separati degli errori e il lavoro di gestione che ne deriva.
Fonti
Termini correlati
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Dati di test nell’apprendimento automaticoDati riservati alla valutazione finale i cui risultati non sono stati usati per scegliere la variante valutata.
- PrecisionLa quota di casi realmente positivi tra tutti quelli che il modello contrassegna come positivi.
- RecallLa quota di casi realmente positivi che il modello riconosce correttamente come positivi.
- Matrice di confusioneUna tabella che confronta classi di riferimento e previsioni del modello contando assegnazioni corrette e scorrette.
- Re-rankingIl re-ranking rivaluta i candidati già trovati. Contano la pertinenza rispetto alla domanda e i limiti della selezione iniziale.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.