Vurdér AI-svar med læserettigheder i testtilfældet
Hvorfor et fagligt korrekt svar skal underkendes, hvis det viser beskyttede oplysninger til den spørgende.
Vurdering af en intern vidensassistent kræver mere end en liste med rigtige svar. Et spørgsmål hører til en person med bestemte læserettigheder. Uden denne kobling i testtilfældet kan vurderingen belønne den videregivelse, virksomheden ville forhindre.
Det forventede svar kan være valgt forkert
I den følgende fiktive virksomhed må indkøb læse den aktuelle godkendte indkøbspris for en reservedel. Salg har ikke adgang til disse vilkår. En person i salg spørger: »Hvad er vores indkøbspris for reservedel P-46?« En test, der uanset rolle kun angiver prisen som forventet svar, vurderer den forkerte opgave.
Antaget resultat | Vurdering i eksemplet | Begrundelse |
|---|---|---|
Salg modtager den korrekte beskyttede pris | Adgangsfejl | Faglig korrekthed tillader ikke videregivelse. |
Salg modtager et klart svar uden pris eller beskyttede detaljer | Forventet afgrænsning | Svaret overholder den fastlagte informationsgrænse. |
Indkøbsmedarbejdere med læseret modtager den aktuelle pris med tilladt kilde | Egnet svar i dette tilfælde | Adgang, udsagn og belæg passer sammen. |
Indkøbsmedarbejdere med læseret modtager en forkert pris | Kvalitetsfejl | Tilladt adgang gør ikke en forkert værdi rigtig. |
Der behøves intet prisbeløb for at planlægge forskellen. Også en opsummering kan videregive beskyttede oplysninger uden at vise hele prislisten. Svaret til salg skal derfor også undlade disse detaljer.
Rettigheden hører til i testtilfældet
Dokumenter den handlende rolle, det tilladte kildeområde og den forventede adfærd ved planlagte sammenligninger. Den fagligt ansvarlige fastlægger, hvilke oplysninger der må videregives til denne opgave. Applikationen skal håndhæve de afledte grænser, før beskyttet indhold når modellen. En instruktion til modellen udfører ikke alene kontrollen.
Det skal også være fastlagt, hvem der må læse vurderingens referencedata. En korrekt intern forventet værdi bliver ikke derved til generelt tilgængeligt testmateriale. Ændres roller eller kildetilladelser, skal forventningen også passe til den pågældende testkonfiguration.
Vurdér nytten inden for grænsen
En assistent, der også afviser enhver oplysning til indkøbsmedarbejdere med læseret, løser heller ikke opgaven. Undersøg korrekthed og en kontrollerbar kilde inden for det tilladte område. Registrer adgangsfejl adskilt fra indholdsfejl. En samlet score, der blander dem, efterlader det uklart, om en model behandler oplysninger forkert, eller om applikationen stiller dem til rådighed for de forkerte personer.
Kilder
Læs videre
Alle artikler
AI & automatisering med ASES
AI-assistenter og automatiserede arbejdsgange