Forklarlig AI

Hvad skal en forklaring gøre forståeligt?

Forklarlig AI omfatter tilgange, der gør et AI-systems resultater eller virkemåde forståelige. En forklaring skal passe til modtagernes spørgsmål og forhåndsviden og gengive den faktiske systemadfærd korrekt. Et udviklingsteam har ofte brug for andre detaljer end den person, der gennemgår en serviceplan. Om forklaringen er korrekt, og om forudsigelsen er fagligt rigtig, er separate spørgsmål. Også forklaringens begrænsninger skal forstås.

I et fiktivt planlægningssystem anslår en model varigheden af et servicebesøg. En vist forklaring nævner arbejdstypen og en planlagt udskiftning af en reservedel som indflydelsesrige input. Ved gennemgangen undersøges det, om oplysningerne stammer fra en egnet forklaringsmetode for netop denne forudsigelse og passer til den anvendte modelversion. En flydende begrundelsestekst beviser ikke dette alene. Planlægningen tager også hensyn til, om den anslåede varighed er fagligt plausibel, og om input er usikre eller mangler. Forklaringen viser, hvad en gennemgang kan fokusere på; den erstatter ikke gennemgangen.

Kilder

• NIST · Four Principles of Explainable Artificial Intelligence