Testgegevens bij machine learning

Wat moeten testgegevens laten zien?

Testgegevens dienen om een gekozen model te beoordelen met voorbeelden die de ontwikkeling en selectie niet hebben gestuurd. Ze moeten passen bij het beoogde gebruik en op passende wijze gescheiden zijn van ontwikkelgegevens. De verdeling hangt ook af van groepen en tijdsrelaties. De naam testverzameling bewijst geen onafhankelijkheid of voldoende dekking. De uitkomst geldt voor de gegevens en omstandigheden die werkelijk zijn beoordeeld.

In een fictief onderdelenproject worden foto’s van andere fysieke exemplaren uit dezelfde artikelklassen voor de eindtest gereserveerd. Sterk gelijkende opnamen van hetzelfde exemplaar mogen niet ongemerkt over training en test worden verdeeld. Ook de geplande licht- en opnameomstandigheden worden meegenomen. Het team legt vast welke variant en gegevens worden beoordeeld. Als het daarna de testresultaten gebruikt om de volgende variant te kiezen, heeft die test de ontwikkeling beïnvloed. Een nieuwe onafhankelijke eindbeoordeling vraagt dan opnieuw om een passende controle buiten die selectie. Een gunstig resultaat met de eerdere beelden garandeert geen even goede prestaties onder andere omstandigheden.

Bronnen

• Google · Datasets: Dividing the original dataset

• scikit-learn · Cross-validation