Overfitting
Eine zu starke Anpassung an Besonderheiten der Trainingsdaten, durch die ein Modell auf neuen Beispielen schlechter verallgemeinert.
Was passiert bei Overfitting?
Overfitting bedeutet, dass ein Modell Besonderheiten der Trainingsdaten so stark übernimmt, dass es auf neuen passenden Beispielen nicht ausreichend verallgemeinert. Dazu können zufällige Muster oder Details gehören, die für die eigentliche Aufgabe wenig aussagen. Gute Ergebnisse mit den Trainingsbeispielen allein reichen deshalb zur Bewertung nicht aus. Für die Untersuchung werden unter anderem Ergebnisse auf getrennten Daten, die Datenaufteilung und der Verlauf des Lernens betrachtet.
In einem erfundenen Ersatzteilprojekt sind bestimmte Artikelklassen auf Trainingsfotos häufig vor derselben Hintergrundfarbe aufgenommen. Das Modell könnte diesen Hintergrund als Abkürzung nutzen, statt die wichtigen Merkmale der Teile zu lernen. Das Team plant deshalb Prüfungen mit bisher nicht verwendeten Bildern und veränderten Hintergründen. Es untersucht auch, ob die Daten die vorgesehene Nutzung abdecken und wie verschiedene Modellvarianten verallgemeinern. Eine einzelne falsche Zuordnung bei anderer Beleuchtung beweist noch kein Overfitting; auch andere Ursachen müssen geprüft werden.
Quellen
Verwandte Begriffe
- Maschinelles LernenModelle lernen Muster aus Daten und nutzen sie für neue Eingaben.
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- TrainingsdatenDie Beispiele, aus denen ein Modell während des Trainings Zusammenhänge oder Parameter lernt.
- ValidierungsdatenDaten zur Bewertung und Auswahl von Modellvarianten während der Entwicklung.
- Testdaten im maschinellen LernenFür eine abschließende Bewertung vorgesehene Daten, deren Ergebnisse nicht zur Auswahl der geprüften Modellvariante verwendet wurden.
- UnderfittingEin Modell erfasst die für seine Aufgabe nötigen Zusammenhänge nicht ausreichend und liefert deshalb schwache Vorhersagen.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.