IA explicable

Que doit faire comprendre une explication ?

L’IA explicable regroupe des approches qui rendent les résultats ou le fonctionnement d’un système d’IA compréhensibles. Une explication doit correspondre à la question et aux connaissances de ses destinataires et refléter fidèlement le comportement réel du système. Une équipe de développement a souvent besoin d’autres détails que la personne qui examine un planning de service. L’exactitude de l’explication et la justesse métier de la prédiction sont des questions distinctes. Il faut aussi comprendre les limites de l’explication.

Dans un système de planification fictif, un modèle estime la durée d’une intervention. L’explication affichée cite le type de travail et un remplacement de pièce prévu comme entrées influentes. L’examen recherche si ces indications proviennent d’une méthode d’explication adaptée à cette prédiction précise et correspondent à la version du modèle utilisée. Une justification bien rédigée ne le prouve pas à elle seule. La planification considère aussi la plausibilité métier de la durée estimée et les entrées incertaines ou manquantes. L’explication indique sur quoi porter l’examen ; elle ne le remplace pas.

Sources

• NIST · Four Principles of Explainable Artificial Intelligence