Een AI-demo toont gedrag onder geselecteerde omstandigheden
Een demo helpt een idee te beoordelen. Voor latere inzet tellen ook de gevallen mee die in de presentatie ontbreken.
De selectie vóór de uitkomst bekijken
Een geslaagde AI-presentatie kan laten zien dat een taak werkt onder de getoonde omstandigheden. Voor een uitspraak over latere inzet moet het team ook nagaan welke invoer, onduidelijkheden en grenzen zijn afgedekt. Het NIST AI RMF adviseert om zowel de prestaties onder omstandigheden die lijken op de latere inzet als de beperkingen van generalisatie vast te leggen.
Bij een supportpilot moet bijvoorbeeld onderscheid worden gemaakt tussen duidelijke foutmeldingen en gevallen met gemengde verzoeken. Een duidelijke formulering vraagt om een andere beslissing dan een bericht waarvan de betekenis eerst moet worden opgehelderd. Een goede uitkomst bij het ene gevalstype beantwoordt de vraag over het andere nog niet.
Twee lijsten met verschillende doelen vergelijken
Een fictief softwarebedrijf zet twee geplande selecties naast elkaar. Duidelijke berichten in de demo moeten het proces begrijpelijk tonen. De latere beoordelingsset bevat bewust extra moeilijkheden.
Type geval | Demoselectie | Geplande beoordelingsset |
|---|---|---|
Duidelijk beschreven softwarefout | 8 | 16 |
Eenduidig toegangsverzoek | 4 | 14 |
Onduidelijk of gemengd bericht | 0 | 12 |
Bericht buiten de taak | 0 | 8 |
De totalen zijn 12 en 50. Deze aantallen beschrijven onze verzonnen selectie; succespercentages en frequenties in de bedrijfsvoering moeten afzonderlijk worden gemeten. De lege groepen in de demo maken zichtbaar welke vragen de presentatie openlaat.
Ook de grotere set is voor een bepaald doel samengesteld. Doordat moeilijke gevallen bewust zijn opgenomen weerspiegelt hun aandeel niet automatisch de dagelijkse berichtenstroom. Voor foutonderzoek is dat nuttig. Een schatting van het foutaandeel bij gebruik vraagt om selectie en analyse die aansluiten bij de werkelijke verdeling.
De demo voor de passende beslissing gebruiken
Wil het team eerst een nauw afgebakend proces en de interface begrijpen, dan kan een demo een nuttige haalbaarheidsoefening zijn. Behoren alleen duidelijk omschreven invoeren tot die eerste scope, dan hoeft de presentatie nog niet iedere denkbare latere uitbreiding te dekken. De volgende stap naar inzet moet die beperkte scope dan respecteren.
Voorbeelden die voortdurend worden gebruikt om prompts te verbeteren helpen daarna bij het herkennen van terugkerende bekende fouten. Een onafhankelijke beoordeling van nieuwe gevallen vraagt om aanvullende gereserveerde voorbeelden. Google beschrijft hoe herhaalde beslissingen op basis van dezelfde testdata de bewijskracht daarvan bij machine learning veranderen. Toegepast op promptkeuze blijft de demo nuttig, maar haar bekende gevallen vervullen niet tegelijk de rol van onafhankelijke eindcontrole.
Bronnen
Verder lezen
Alle artikelen
AI & automatisering met ASES
AI-assistenten en geautomatiseerde processen