Validierungsdaten
Daten zur Bewertung und Auswahl von Modellvarianten während der Entwicklung.
Wofür dienen Validierungsdaten?
Validierungsdaten helfen während der Entwicklung, Modellvarianten oder Einstellungen zu beurteilen und auszuwählen. Sie haben damit eine andere Rolle als die Beispiele, aus denen das Modell seine Parameter lernt. Die Nutzung kann über einen eigenen zurückgehaltenen Datenbestand oder über wechselnde Aufteilungen erfolgen. Welche Aufteilung geeignet ist, hängt auch von zeitlichen oder anderen Abhängigkeiten der Beispiele ab. Für eine abschließende unabhängige Bewertung muss die Modellauswahl berücksichtigt werden.
In einem erfundenen Projekt zur Klassifizierung von Ersatzteilfotos plant das Team, mehrere Varianten anhand von Validierungsbildern zu vergleichen. Es betrachtet Fehler je Artikelklasse und Aufnahmesituation, statt ausschließlich nach einem Gesamtwert zu entscheiden. Die für den abschließenden Test vorgesehene Bildmenge bleibt in diesem Vorhaben außerhalb dieser Auswahl. Werden Varianten immer wieder auf dieselben Validierungsfälle zugeschnitten, kann auch dort ein zu günstiges Bild entstehen. Das Team dokumentiert deshalb die Rollen der Bilder und die Auswahlentscheidungen. Ein guter Validierungswert allein belegt noch keine gleich gute Leistung mit späteren Produktfotos.
Quellen
Verwandte Begriffe
- Maschinelles LernenModelle lernen Muster aus Daten und nutzen sie für neue Eingaben.
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- TrainingsdatenDie Beispiele, aus denen ein Modell während des Trainings Zusammenhänge oder Parameter lernt.
- Testdaten im maschinellen LernenFür eine abschließende Bewertung vorgesehene Daten, deren Ergebnisse nicht zur Auswahl der geprüften Modellvariante verwendet wurden.
- OverfittingEine zu starke Anpassung an Besonderheiten der Trainingsdaten, durch die ein Modell auf neuen Beispielen schlechter verallgemeinert.
- UnderfittingEin Modell erfasst die für seine Aufgabe nötigen Zusammenhänge nicht ausreichend und liefert deshalb schwache Vorhersagen.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.