Matrice di confusione
Una tabella che confronta classi di riferimento e previsioni del modello contando assegnazioni corrette e scorrette.
Quali confusioni mostra la tabella?
Una matrice di confusione confronta le classi di riferimento con le previsioni del modello. Qui le righe contengono i casi assegnati secondo una regola operativa definita e le colonne la previsione del modello. L’esempio fittizio comprende 50 richieste di assistenza; la classe positiva è destinata all’assistenza tecnica. Orientamento e nomi delle classi devono essere chiari, altrimenti gli stessi numeri possono essere interpretati male.
Classe di riferimento | Modello: assistenza tecnica | Modello: altra richiesta |
|---|---|---|
Assistenza tecnica | 18 | 2 |
Altra richiesta | 6 | 24 |
I 18 casi in alto a sinistra sono veri positivi. I 2 in alto a destra sono stati persi, i 6 in basso a sinistra contrassegnati positivi per errore e i 24 in basso a destra riconosciuti correttamente come altre richieste. La tabella distingue così le richieste che non raggiungono il gruppo tecnico da quelle aggiuntive che vi arrivano per errore. Può essere ampliata ad altre classi. La sua interpretazione dipende anche dalla qualità delle assegnazioni di riferimento e dalla copertura dell’uso previsto offerta dagli esempi scelti.
Fonti
Termini correlati
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Apprendimento supervisionatoUn metodo che usa ingressi insieme ai relativi valori o classi obiettivo come esempi di addestramento.
- Dati di test nell’apprendimento automaticoDati riservati alla valutazione finale i cui risultati non sono stati usati per scegliere la variante valutata.
- PrecisionLa quota di casi realmente positivi tra tutti quelli che il modello contrassegna come positivi.
- RecallLa quota di casi realmente positivi che il modello riconosce correttamente come positivi.
- Punteggio F1La media armonica di precision e recall per la stessa classe positiva.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.