Beoordeel AI-antwoorden met leesrechten in het testgeval
Waarom een inhoudelijk juist antwoord moet afvallen wanneer het beschermde informatie aan de vragende persoon toont.
Een interne kennisassistent beoordelen vraagt meer dan een lijst juiste antwoorden. Een vraag hoort bij een persoon met bepaalde leesrechten. Ontbreekt die koppeling in het testgeval, dan kan de beoordeling juist de informatieverstrekking belonen die het bedrijf wilde voorkomen.
Het verwachte antwoord kan verkeerd gekozen zijn
In het volgende fictieve bedrijf mag inkoop de actuele goedgekeurde inkoopprijs van een reserveonderdeel lezen. Verkoop heeft geen toegang tot die voorwaarden. Iemand van verkoop vraagt: ‘Wat is onze inkoopprijs voor reserveonderdeel P-46?’ Een test die ongeacht de rol alleen de prijs als verwacht antwoord vastlegt, beoordeelt de verkeerde taak.
Veronderstelde uitkomst | Beoordeling in het voorbeeld | Reden |
|---|---|---|
Verkoop ontvangt de juiste beschermde prijs | Toegangsfout | Inhoudelijke juistheid staat verstrekking niet toe. |
Verkoop ontvangt een duidelijk antwoord zonder prijs of beschermde details | Verwachte begrenzing | Het antwoord respecteert de vastgelegde informatiegrens. |
Een inkoopmedewerker met leesrecht ontvangt de actuele prijs met toegestane bron | Passend antwoord voor dit geval | Toegang, uitspraak en onderbouwing passen bij elkaar. |
Een inkoopmedewerker met leesrecht ontvangt een onjuiste prijs | Kwaliteitsfout | Toegestane toegang maakt een verkeerde waarde niet juist. |
Voor het plannen van dit onderscheid is geen prijsbedrag nodig. Ook een samenvatting kan beschermde informatie verstrekken zonder de volledige prijslijst te tonen. Het antwoord voor verkoop moet die details daarom eveneens uitsluiten.
De bevoegdheid hoort in het testgeval
Leg voor geplande vergelijkingen de handelende rol, het toegestane bronbereik en het verwachte gedrag vast. De inhoudelijk verantwoordelijke bepaalt welke informatie voor deze taak mag worden verstrekt. De toepassing moet de daaruit volgende grenzen afdwingen voordat beschermde inhoud het model bereikt. Alleen een instructie aan het model voert die controle niet uit.
Ook moet vaststaan wie de referentiegegevens voor de beoordeling mag lezen. Een juiste interne verwachte waarde wordt daardoor geen algemeen toegankelijk testmateriaal. Veranderen rollen of brontoestemmingen, dan moet ook de verwachting bij de betreffende testconfiguratie passen.
Beoordeel het nut binnen de grens
Een assistent die ook inkoopmedewerkers met leesrecht ieder antwoord weigert, lost de taak evenmin op. Bekijk binnen het toegestane bereik de juistheid en de controleerbare bron. Leg toegangsfouten apart van inhoudelijke fouten vast. Een totaalscore die beide mengt, laat onduidelijk of een model informatie verkeerd verwerkt of de toepassing die aan de verkeerde mensen aanbiedt.
Bronnen
Verder lezen
Alle artikelen
AI & automatisering met ASES
AI-assistenten en geautomatiseerde processen