Datadrift
Een verandering in de verdeling van modelinvoer ten opzichte van een uitdrukkelijk gekozen referentie.
Wat is er aan de binnenkomende gegevens veranderd?
Datadrift betekent dat de verdeling van modelinvoer verandert ten opzichte van een gekozen referentie. Trainingsgegevens of een eerdere gebruiksperiode kunnen als vergelijking dienen; de gebruikte referentie moet vaststaan. Eigenschappen zoals categoriefrequenties of waardebereiken worden bekeken. Een driftsignaal wijst op een mogelijke verandering. Of daardoor meer onjuiste voorspellingen ontstaan, moet apart worden beoordeeld. Ook een veranderde relatie tussen invoer en doel kan niet uit het signaal alleen worden afgeleid.
In een fictief systeem voor beeldclassificatie neemt na de invoering van een nieuw opnameapparaat het aandeel slecht belichte foto’s toe. Voor de vergelijking worden de referentieperiode en de waargenomen opnameomstandigheden vastgelegd. Vervolgens worden betrokken beelden en hun inhoudelijk gecontroleerde klassetoewijzingen bekeken om mogelijke veranderingen in fouten te onderzoeken. Ook wordt nagegaan of de opnamepraktijk werkelijk is veranderd of dat er een overdrachts- of verwerkingsfout is. Een opvallende gegevensvergelijking is aanleiding voor dat onderzoek; zij bewijst geen apparaatdefect of noodzaak voor een nieuw model.
Bronnen
Verwante begrippen
- Machine learningModellen leren patronen uit gegevens en passen ze op nieuwe invoer toe.
- Computer visionMethoden om informatie uit beelden en video te halen, bijvoorbeeld door objecten te classificeren, te lokaliseren of beeldgebieden te onderscheiden.
- TrainingsgegevensDe voorbeelden waaruit een model tijdens de training verbanden of parameters leert.
- Testgegevens bij machine learningGegevens voor de eindbeoordeling waarvan de resultaten niet zijn gebruikt om de beoordeelde modelvariant te kiezen.
- AI-biasSystematische vertekeningen in AI-systemen die bepaalde gevallen of groepen mensen kunnen benadelen.
- ModeldriftAfnemende voorspelkwaliteit van een model doordat gegevens of verbanden tijdens het gebruik veranderen.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.