Overfitting
Te sterke aanpassing aan bijzonderheden van trainingsgegevens, waardoor een model minder goed naar nieuwe voorbeelden generaliseert.
Wat gebeurt er bij overfitting?
Overfitting betekent dat een model bijzonderheden van trainingsgegevens zo sterk overneemt dat het onvoldoende naar nieuwe passende voorbeelden generaliseert. Het kan gaan om toevallige patronen of details die weinig over de werkelijke taak zeggen. Goede resultaten met alleen trainingsvoorbeelden zijn daarom onvoldoende voor beoordeling. Onderzoek bekijkt onder meer resultaten op afzonderlijke gegevens, de gegevensverdeling en het verloop van het leren.
In een fictief onderdelenproject staan bepaalde artikelklassen op trainingsfoto’s vaak voor dezelfde achtergrondkleur. Het model kan die achtergrond als kortere weg gebruiken in plaats van belangrijke eigenschappen van de onderdelen te leren. Het team plant daarom controles met nog niet gebruikte beelden en andere achtergronden. Het onderzoekt ook of de gegevens het beoogde gebruik afdekken en hoe verschillende modelvarianten generaliseren. Eén verkeerde toewijzing bij ander licht bewijst nog geen overfitting; ook andere oorzaken moeten worden onderzocht.
Bronnen
Verwante begrippen
- Machine learningModellen leren patronen uit gegevens en passen ze op nieuwe invoer toe.
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- TrainingsgegevensDe voorbeelden waaruit een model tijdens de training verbanden of parameters leert.
- ValidatiegegevensGegevens om modelvarianten tijdens de ontwikkeling te beoordelen en te selecteren.
- Testgegevens bij machine learningGegevens voor de eindbeoordeling waarvan de resultaten niet zijn gebruikt om de beoordeelde modelvariant te kiezen.
- UnderfittingEen model legt de voor zijn taak benodigde verbanden onvoldoende vast en doet daardoor zwakke voorspellingen.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.