Forklarbar KI

Hva skal en forklaring gjøre forståelig?

Forklarbar KI omfatter tilnærminger som gjør et KI-systems resultater eller virkemåte forståelige. En forklaring må passe til mottakernes spørsmål og forkunnskaper og gjengi systemets faktiske atferd riktig. Et utviklingsteam trenger ofte andre detaljer enn personen som gjennomgår en serviceplan. Om forklaringen stemmer, og om prediksjonen er innholdsmessig riktig, er separate spørsmål. Også forklaringens begrensninger må forstås.

I et fiktivt planleggingssystem anslår en modell varigheten av et servicebesøk. En vist forklaring nevner arbeidstypen og et planlagt bytte av en reservedel som innflytelsesrike inndata. Ved gjennomgangen undersøkes det om opplysningene stammer fra en egnet forklaringsmetode for akkurat denne prediksjonen og passer til modellversjonen som brukes. En velformulert begrunnelse beviser ikke dette alene. Planleggingen vurderer også om den anslåtte varigheten er rimelig ut fra fagkunnskap, og om inndata er usikre eller mangler. Forklaringen viser hva en gjennomgang kan rette seg mot; den erstatter ikke gjennomgangen.

Kilder

• NIST · Four Principles of Explainable Artificial Intelligence