Recall
La quota di casi realmente positivi che il modello riconosce correttamente come positivi.
Quanti casi pertinenti vengono riconosciuti?
La recall misura quale quota dei casi realmente positivi secondo il riferimento venga riconosciuta correttamente come positiva. La formula è TP / (TP + FN): TP indica i positivi riconosciuti correttamente e FN i positivi mancati. La classe positiva deve essere definita. Se la valutazione non contiene casi realmente positivi, il denominatore è zero e il rapporto non è definito. Questa situazione deve restare visibile nel rapporto di valutazione.
Nell’esempio di calcolo fittizio con 50 richieste di assistenza, 20 appartengono all’assistenza tecnica secondo la regola di assegnazione concordata. Il modello ne riconosce correttamente 18 e ne perde 2. La recall è 18 / 20 = 90 %. Per la pianificazione del lavoro questo mostra la lacuna nei casi che dovrebbero raggiungere il gruppo tecnico. Non indica quante altre richieste vi arrivino per errore; la precision esamina quel lato. L’utilità di un’impostazione viene valutata considerando entrambi i tipi di errore e le loro conseguenze nel flusso concreto.
Fonti
Termini correlati
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Dati di test nell’apprendimento automaticoDati riservati alla valutazione finale i cui risultati non sono stati usati per scegliere la variante valutata.
- PrecisionLa quota di casi realmente positivi tra tutti quelli che il modello contrassegna come positivi.
- Punteggio F1La media armonica di precision e recall per la stessa classe positiva.
- Matrice di confusioneUna tabella che confronta classi di riferimento e previsioni del modello contando assegnazioni corrette e scorrette.
- Re-rankingIl re-ranking rivaluta i candidati già trovati. Contano la pertinenza rispetto alla domanda e i limiti della selezione iniziale.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.