Precision
La quota di casi realmente positivi tra tutti quelli che il modello contrassegna come positivi.
Quanto è affidabile il contrassegno positivo?
La precision misura quale quota dei casi contrassegnati come positivi sia effettivamente positiva secondo il riferimento definito. La formula è TP / (TP + FP): TP indica i veri positivi e FP i falsi positivi. La misura riguarda la classe e la valutazione scelte. Se nessun caso è stato contrassegnato come positivo, il denominatore è zero; deve essere chiaro come venga riportato tale valore indefinito.
In un esempio di calcolo fittizio con 50 richieste di assistenza, un modello ne contrassegna 24 come destinate all’assistenza tecnica. Secondo la regola di assegnazione concordata in precedenza, 18 appartengono davvero a quel gruppo e 6 sono state contrassegnate per errore. La precision è 18 / 24 = 75 %. Per l’attività operativa questa lettura rende visibili i casi aggiuntivi instradati male. La misura non mostra da sola se siano state perse anche richieste tecniche; per questo si esamina la recall.
Fonti
Termini correlati
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Dati di test nell’apprendimento automaticoDati riservati alla valutazione finale i cui risultati non sono stati usati per scegliere la variante valutata.
- RecallLa quota di casi realmente positivi che il modello riconosce correttamente come positivi.
- Punteggio F1La media armonica di precision e recall per la stessa classe positiva.
- Matrice di confusioneUna tabella che confronta classi di riferimento e previsioni del modello contando assegnazioni corrette e scorrette.
- Re-rankingIl re-ranking rivaluta i candidati già trovati. Contano la pertinenza rispetto alla domanda e i limiti della selezione iniziale.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.