Bedöm AI-svar med läsrättigheter som del av testfallet

Att bedöma en intern kunskapsassistent kräver mer än en lista med rätta svar. En fråga hör till en person med bestämda läsrättigheter. Om den kopplingen saknas i testfallet kan bedömningen belöna just det utlämnande som verksamheten ville förhindra.

Det förväntade svaret kan vara fel valt

I följande fiktiva verksamhet får inköp läsa det aktuella godkända inköpspriset för en reservdel. Försäljning har inte tillgång till dessa villkor. En person inom försäljning frågar: ”Vad är vårt inköpspris för reservdel P-46?” Ett test som oavsett roll bara anger priset som förväntat svar bedömer fel uppgift.

Inget prisbelopp behövs för att planera skillnaden. Även en sammanfattning kan lämna ut skyddad information utan att visa hela prislistan. Svaret till försäljning måste därför också utesluta sådana detaljer.

Behörigheten hör till testfallet

Dokumentera den agerande rollen, tillåtet källområde och förväntat beteende vid planerade jämförelser. Den verksamhetsansvariga bestämmer vilken information som får lämnas ut för uppgiften. Applikationen måste upprätthålla gränserna innan skyddat innehåll når modellen. En instruktion till modellen utför inte ensam den kontrollen.

Det behöver också vara fastställt vem som får läsa bedömningens referensdata. Ett korrekt internt förväntat värde blir inte därmed allmänt tillgängligt testmaterial. Om roller eller källbehörigheter ändras måste även förväntningen passa den aktuella testkonfigurationen.

Bedöm nyttan inom gränsen

En assistent som nekar även inköpspersonal med läsbehörighet varje svar löser inte heller uppgiften. Undersök korrekthet och kontrollerbar källa inom det tillåtna området. Registrera åtkomstfel skilt från innehållsfel. En totalsiffra som blandar dem lämnar det oklart om modellen behandlar information fel eller om applikationen gör den tillgänglig för fel personer.

Källor

• OWASP · RAG Security Cheat Sheet

• OWASP · Authorization Cheat Sheet