IA spiegabile

Che cosa deve far comprendere una spiegazione?

L’IA spiegabile comprende approcci che rendono comprensibili i risultati o il funzionamento di un sistema di IA. Una spiegazione deve rispondere alla domanda e alle conoscenze dei destinatari e rispecchiare fedelmente il comportamento effettivo del sistema. Un gruppo di sviluppo ha spesso bisogno di dettagli diversi da chi esamina il piano degli interventi. La correttezza della spiegazione e quella della previsione rispetto al compito operativo sono questioni distinte. Occorre comprendere anche i limiti della spiegazione.

In un sistema di pianificazione fittizio, un modello stima la durata di un intervento. La spiegazione mostrata indica il tipo di lavoro e una sostituzione di pezzo prevista come dati in ingresso influenti. Nella verifica si esamina se tali indicazioni provengano da un metodo di spiegazione adatto a quella precisa previsione e corrispondano alla versione del modello utilizzata. Una motivazione scritta in modo scorrevole non basta a dimostrarlo. La pianificazione considera anche la plausibilità operativa della durata stimata e i dati incerti o mancanti. La spiegazione indica su che cosa concentrare la verifica; non la sostituisce.

Fonti

• NIST · Four Principles of Explainable Artificial Intelligence