Scegliere test IA con decisioni attese chiare

Concordare il compito e l’instradamento atteso

Un’azienda di software fittizia progetta un pilota IA per i messaggi di assistenza. L’IA deve suggerire un instradamento: bug, access, review oppure out-of-scope. Concessioni di accesso, modifiche di stato e chiusure dei ticket restano compiti dell’assistenza. La valutazione riguarda quindi il suggerimento, non un servizio di assistenza completato automaticamente.

Definisca la decisione attesa con i responsabili del lavoro prima di conoscere l’output del modello. Se i responsabili non concordano, va chiarita prima la regola. Il NIST AI RMF raccomanda condizioni di test documentate e una valutazione in condizioni simili all’impiego.

Selezionare esempi con obiettivi di verifica diversi

La selezione seguente è fittizia. I testi illustrano i casi; per il pilota reale si registreranno ingressi originali approvati con lingua e provenienza.

Nell’esempio l’ultima etichetta non provoca una cancellazione. La selezione rende visibili decisioni diverse; non dimostra la frequenza dei casi né una dimensione sufficiente del dataset di test. La raccolta successiva dovrebbe includere anche lingue, forme di ingresso e informazioni mancanti effettivamente necessarie.

Separare i casi di sviluppo dal controllo successivo

Gli esempi usati dal gruppo per cambiare prompt o regole di instradamento sono casi di sviluppo. Riservi per un controllo successivo altri casi che non abbiano già guidato l’ottimizzazione. Copie e riformulazioni vicine dello stesso messaggio iniziale non vanno distribuite sui due lati come prove indipendenti.

Google spiega come il riuso dei dati di test e i duplicati possano alterare la valutazione nell’apprendimento automatico. Ne deriva una precauzione pratica per i prompt: gli esempi noti aiutano a cercare errori, ma il controllo successivo dovrebbe includere altri casi non ancora visti. Modificare un prompt non equivale ad addestrare un modello.

Registrare i risultati per caso e tipo di errore

Nel test successivo annoti versioni di modello, prompt e dataset, instradamento atteso, output effettivo e valutazione del lavoro. Una verifica umana prevista è un risultato appropriato per un caso ambiguo. Un’assegnazione definitiva affrettata può invece essere un errore.

Riporti separatamente ingressi ordinari, ambigui e fuori compito. Se un errore viene usato per adattare la soluzione, il riscontro iniziale resta nel rapporto; il caso serve poi allo sviluppo e al controllo del ritorno di quell’errore noto. Un nuovo controllo indipendente richiede altri esempi riservati adatti. La tabella è un inizio motivato per la selezione, non un test eseguito né una prova di idoneità alla produzione.

Fonti

• NIST · AI Risk Management Framework 1.0

• Google · Dividing the original dataset