Testdaten im maschinellen Lernen

Was sollen Testdaten zeigen?

Testdaten dienen dazu, ein ausgewähltes Modell mit Beispielen zu bewerten, die seine Entwicklung und Auswahl nicht gesteuert haben. Sie sollen zur beabsichtigten Nutzung passen und eine geeignete Trennung von den Entwicklungsdaten aufweisen. Wie getrennt wird, hängt auch von Gruppen und zeitlichen Beziehungen ab. Der Name Testdatensatz allein belegt weder Unabhängigkeit noch ausreichende Abdeckung. Das Ergebnis gilt für die tatsächlich geprüften Daten und Bedingungen.

In einem erfundenen Ersatzteilprojekt werden für den Abschlusstest Fotos anderer physischer Exemplare derselben Artikelklassen vorgesehen. Sehr ähnliche Aufnahmen desselben Exemplars sollen nicht unbemerkt auf Training und Test verteilt werden. Zusätzlich werden die geplanten Licht- und Aufnahmesituationen berücksichtigt. Das Team hält fest, welche Variante und welche Daten geprüft werden. Wenn es anhand der Testergebnisse anschließend die nächste Variante auswählt, hat dieser Test die Entwicklung beeinflusst. Für eine neue unabhängige Schlussbewertung braucht es dann wieder eine geeignete Prüfung außerhalb dieser Auswahl. Ein günstiges Ergebnis mit den bisherigen Bildern garantiert keine gleich gute Leistung unter anderen Bedingungen.

Quellen

• Google · Datasets: Dividing the original dataset

• scikit-learn · Cross-validation