Una demo IA mostra il comportamento in condizioni scelte

Esaminare la selezione prima del risultato

Una presentazione IA riuscita può mostrare che un compito funziona nelle condizioni dimostrate. Per parlare dell’impiego successivo, il gruppo deve anche esaminare quali ingressi, ambiguità e limiti siano stati coperti. Il NIST AI RMF raccomanda di documentare prestazioni in condizioni simili all’impiego e limiti della generalizzazione.

In un pilota di assistenza occorre distinguere, per esempio, tra casi con segnalazioni chiare di errore e casi che includono anche richieste miste. Una formulazione chiara richiede una decisione diversa da un messaggio il cui significato va prima chiarito. Un buon risultato su un tipo di caso non risponde alla domanda sull’altro.

Confrontare due elenchi di casi con scopi diversi

Un’azienda di software fittizia confronta due selezioni previste. I messaggi chiari della demo devono rendere comprensibile il flusso. Il successivo insieme di valutazione include volutamente difficoltà aggiuntive.

I totali sono 12 e 50. Questi numeri descrivono una nostra selezione inventata; tassi di successo e frequenze operative andrebbero misurati separatamente. I gruppi vuoti nella demo rendono visibili le domande che la presentazione lascia aperte.

Anche l’insieme più grande è costruito per uno scopo. Includere appositamente casi difficili non fa sì che la loro quota rispecchi automaticamente i messaggi quotidiani. È utile per cercare errori. Stimare la loro proporzione nell’impiego richiederebbe una selezione e un’analisi coerenti con la distribuzione reale.

Usare la demo per la decisione adatta

Se il gruppo deve prima comprendere un flusso ben delimitato e la sua interfaccia, una demo può essere un utile esercizio di fattibilità. Se soltanto ingressi chiaramente definiti appartengono al primo perimetro, la presentazione non deve già coprire ogni immaginabile estensione futura. Il passo successivo di impiego deve allora rispettare quel perimetro limitato.

Gli esempi usati continuamente per migliorare i prompt aiutano poi a riconoscere il ritorno di errori noti. Una valutazione indipendente di nuovi casi richiede altri esempi riservati. Google descrive come decisioni ripetute basate sugli stessi dati di test ne cambino il valore probatorio nell’apprendimento automatico. Applicato ai prompt, significa che la demo resta utile, ma i suoi casi noti non svolgono anche il ruolo di controllo finale indipendente.

Fonti

• NIST · AI Risk Management Framework 1.0

• Google · Dividing the original dataset