Erklärbare KI

Was soll eine Erklärung verständlich machen?

Erklärbare KI umfasst Ansätze, die Ergebnisse oder Arbeitsweisen eines KI-Systems nachvollziehbar machen. Eine Erklärung muss zur Frage und zum Vorwissen ihrer Empfänger passen und das tatsächliche Systemverhalten zutreffend wiedergeben. Ein Entwicklungsteam benötigt dafür oft andere Details als die Person, die eine Serviceplanung prüft. Ob die Erklärung stimmt und ob die Vorhersage fachlich richtig ist, sind getrennte Fragen. Auch die Grenzen der Erklärung gehören zu ihrem Verständnis.

In einem fiktiven Planungssystem schätzt ein Modell die Dauer eines Serviceeinsatzes. Eine angezeigte Erklärung nennt die Arbeitsart und einen geplanten Teiletausch als einflussreiche Eingaben. Bei der Prüfung wird untersucht, ob diese Angaben für genau diese Vorhersage aus einer geeigneten Erklärungsmethode stammen und zur verwendeten Modellversion passen. Ein flüssig formulierter Begründungstext allein belegt das nicht. Für die Einsatzplanung werden zusätzlich die fachliche Plausibilität der geschätzten Dauer und unsichere oder fehlende Eingaben betrachtet. Die Erklärung macht sichtbar, worauf sich eine Prüfung richten kann; sie ersetzt diese Prüfung nicht.

Quellen

• NIST · Four Principles of Explainable Artificial Intelligence