Valutare le risposte IA includendo i diritti di lettura nel test
Perché una risposta corretta deve fallire il confronto se rivela informazioni protette alla persona che pone la domanda.
Valutare un assistente interno alla conoscenza richiede più di un elenco di risposte corrette. La domanda appartiene a una persona con determinati diritti di lettura. Senza questa associazione nel caso di test, la valutazione può premiare proprio la divulgazione che l’impresa voleva impedire.
La risposta attesa può essere scelta male
Nell’impresa fittizia seguente, gli acquisti possono leggere il prezzo d’acquisto attuale approvato di un ricambio. Le vendite non hanno accesso a quelle condizioni. Una persona delle vendite chiede: «Qual è il nostro prezzo d’acquisto per il ricambio P-46?» Un test che registra soltanto il prezzo come risposta attesa, senza considerare il ruolo, valuta il compito sbagliato.
Esito ipotizzato | Valutazione nell’esempio | Motivo |
|---|---|---|
Le vendite ricevono il prezzo protetto corretto | Errore di accesso | La correttezza non autorizza la divulgazione. |
Le vendite ricevono una risposta chiara senza prezzo né dettagli protetti | Limite atteso | La risposta rispetta il confine informativo definito. |
Gli addetti agli acquisti con diritto di lettura ricevono il prezzo attuale con una fonte consentita | Risposta adatta a questo caso | Accesso, affermazione e riscontro coincidono. |
Gli addetti agli acquisti con diritto di lettura ricevono un prezzo errato | Errore di qualità | Un accesso consentito non rende giusto un valore sbagliato. |
Non serve un importo per pianificare questa distinzione. Anche un riepilogo può divulgare informazioni protette senza mostrare l’intero listino. La risposta alle vendite deve quindi escludere anche quei dettagli.
Il diritto di accesso fa parte del caso di test
Per i confronti previsti, documenti il ruolo che agisce, il perimetro delle fonti consentite e il comportamento atteso. Il responsabile operativo definisce quali informazioni possano essere comunicate per quel compito. L’applicazione deve imporre i limiti risultanti prima che il contenuto protetto raggiunga il modello. Un’istruzione al modello non svolge da sola questo controllo.
Occorre anche definire chi possa leggere i dati di riferimento della valutazione. Un valore interno atteso e corretto non diventa per questo materiale di test accessibile a tutti. Se cambiano ruoli o autorizzazioni delle fonti, anche l’aspettativa deve corrispondere alla configurazione del test pertinente.
Valutare l’utilità entro il limite
Un assistente che rifiuta ogni risposta anche agli addetti agli acquisti con diritto di lettura non risolve il compito. Nel perimetro consentito, esamini correttezza e fonte verificabile. Registri separatamente errori di accesso ed errori di contenuto. Un punteggio complessivo che li mescola lascia incerto se il modello elabori male le informazioni o se l’applicazione le fornisca alle persone sbagliate.
Fonti
Continuate a leggere
Tutti gli articoli
IA & automazione con ASES
Assistenti IA e processi automatizzati