Förklarbar AI

Vad ska en förklaring göra begripligt?

Förklarbar AI omfattar metoder som gör ett AI-systems resultat eller arbetssätt begripliga. En förklaring behöver passa mottagarnas fråga och förkunskaper och återge systemets faktiska beteende korrekt. Ett utvecklingsteam behöver ofta andra detaljer än den som granskar en serviceplan. Om förklaringen stämmer och om förutsägelsen är sakligt riktig är skilda frågor. Även förklaringens begränsningar behöver förstås.

I ett fiktivt planeringssystem uppskattar en modell hur lång tid ett servicebesök tar. En visad förklaring anger arbetstypen och ett planerat byte av en reservdel som inflytelserika indata. Vid granskningen undersöks om uppgifterna kommer från en lämplig förklaringsmetod för just denna förutsägelse och stämmer med den modellversion som används. En välformulerad motivering bevisar inte detta i sig. Planeringen tar också hänsyn till om den uppskattade tiden är sakligt rimlig och om indata är osäkra eller saknas. Förklaringen visar vad en granskning kan inriktas på; den ersätter inte granskningen.

Källor

• NIST · Four Principles of Explainable Artificial Intelligence