Validatiegegevens

Waarvoor dienen validatiegegevens?

Validatiegegevens helpen modelvarianten of instellingen tijdens de ontwikkeling te beoordelen en te selecteren. Ze hebben een andere rol dan de voorbeelden waaruit het model zijn parameters leert. Ze kunnen als afzonderlijke gereserveerde verzameling of via wisselende verdelingen worden gebruikt. Welke verdeling past, hangt ook af van tijdsgebonden of andere afhankelijkheden tussen voorbeelden. Bij het organiseren van een onafhankelijke eindbeoordeling moet rekening worden gehouden met de modelselectie.

In een fictief project voor classificatie van onderdelenfoto’s plant het team een vergelijking van varianten met validatiebeelden. Het bekijkt fouten per artikelklasse en opnameomstandigheid, in plaats van alleen op een totaalscore te kiezen. In dit project blijven de beelden voor de eindtest buiten die selectie. Varianten steeds op dezelfde validatiegevallen afstemmen kan ook daar een te gunstig beeld geven. Het team legt daarom de rollen van de beelden en de selectiebeslissingen vast. Een goede validatiescore alleen bewijst nog geen even goede prestaties op latere productfoto’s.

Bronnen

• Google · Datasets: Dividing the original dataset

• scikit-learn · Cross-validation