Testdata inom maskininlärning

Vad ska testdata visa?

Testdata används för att bedöma en vald modell med exempel som inte har styrt utvecklingen eller valet av modellen. De ska passa den avsedda användningen och vara lämpligt åtskilda från utvecklingsdata. Uppdelningen beror också på grupper och tidsrelationer. Namnet testdatamängd bevisar varken oberoende eller tillräcklig täckning. Resultatet gäller de data och förhållanden som faktiskt har bedömts.

I ett fiktivt reservdelsprojekt avsätts foton av andra fysiska exemplar från samma artikelklasser för sluttestet. Mycket likartade bilder av samma exemplar får inte obemärkt fördelas mellan träning och test. Även planerade ljus- och fotograferingsförhållanden beaktas. Teamet dokumenterar vilken variant och vilka data som bedöms. Om det sedan använder testresultaten för att välja nästa variant har testet påverkat utvecklingen. En ny oberoende slutbedömning kräver då åter en lämplig kontroll utanför detta val. Ett gynnsamt resultat med de tidigare bilderna garanterar inte lika bra prestanda under andra förhållanden.

Källor

• Google · Datasets: Dividing the original dataset

• scikit-learn · Cross-validation