Modeldrift
Afnemende voorspelkwaliteit van een model doordat gegevens of verbanden tijdens het gebruik veranderen.
Waarom kan een ongewijzigd model minder passend worden?
Modeldrift betekent afnemende voorspelkwaliteit wanneer gegevens of verbanden tijdens het gebruik veranderen. Daarvoor hoeven de opgeslagen modelgewichten niet te veranderen. Conceptdrift beschrijft specifieker een verandering in de relatie tussen invoer en het te voorspellen doel; datadrift gaat over de verdeling van de invoer. Die verschillen helpen oorzaken te onderzoeken. Een veranderde gegevensmix bewijst op zichzelf nog geen verlies aan voorspelkwaliteit.
In een fictief servicebedrijf verkort een nieuwe onderhoudsmethode de werkelijke werktijd bij dezelfde tot dan toe vastgelegde taakkenmerken. Een ouder voorspelmodel zou daardoor steeds vaker te lange bezoeken kunnen voorspellen. Bij de beoordeling worden actuele voorspellingen vergeleken met inhoudelijk gecontroleerde werkelijke tijden, met aandacht voor de betrokken taaksoorten. Voor een aanpassing worden ook onjuiste tijdseenheden, onvolledige werkmeldingen en gewijzigde registratieregels onderzocht. Als een nieuwe modelvariant wordt getraind, wordt die beoordeeld met actuele apart gehouden voorbeelden en vóór ingebruikname afzonderlijk goedgekeurd. De reactie hangt af van de vastgestelde oorzaak.
Bronnen
Verwante begrippen
- Machine learningModellen leren patronen uit gegevens en passen ze op nieuwe invoer toe.
- VoorspellingsmodelEen model dat met beschikbare informatie een toekomstige grootheid voor een vastgestelde periode schat.
- TrainingsgegevensDe voorbeelden waaruit een model tijdens de training verbanden of parameters leert.
- Testgegevens bij machine learningGegevens voor de eindbeoordeling waarvan de resultaten niet zijn gebruikt om de beoordeelde modelvariant te kiezen.
- Uitlegbare AIBenaderingen die resultaten of de werking van een AI-systeem begrijpelijk maken voor de beoogde ontvangers.
- DatadriftEen verandering in de verdeling van modelinvoer ten opzichte van een uitdrukkelijk gekozen referentie.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.