Modelldrift

Warum kann ein unverändertes Modell unpassender werden?

Modelldrift bezeichnet nachlassende Vorhersagegüte, wenn sich die Daten oder die Zusammenhänge im Einsatz verändern. Dafür müssen sich die gespeicherten Modellgewichte nicht ändern. Concept Drift beschreibt genauer eine Veränderung der Beziehung zwischen Eingaben und dem vorherzusagenden Ziel; Datendrift betrifft die Verteilung der Eingaben. Diese Unterschiede helfen bei der Ursachenprüfung. Ein veränderter Datenmix allein belegt noch keinen Verlust an Vorhersagegüte.

In einem fiktiven Servicebetrieb verkürzt ein neues Wartungsverfahren die tatsächliche Arbeitsdauer bei gleichen bisher erfassten Arbeitsmerkmalen. Ein älteres Prognosemodell könnte deshalb zunehmend zu lange Einsätze vorhersagen. Für die Prüfung werden aktuelle Vorhersagen mit fachlich geprüften tatsächlichen Dauern verglichen, einschließlich der betroffenen Arbeitsarten. Vor einer Anpassung werden auch falsche Zeiteinheiten, unvollständige Rückmeldungen und geänderte Erfassungsregeln untersucht. Wird eine neue Modellvariante trainiert, wird sie mit aktuellen zurückgehaltenen Beispielen bewertet und vor der Übernahme gesondert freigegeben. Die Reaktion richtet sich nach der ermittelten Ursache.

Quellen

• IBM · What is model drift?

• IBM · Data Science Best Practices: Monitoring

• Microsoft Learn · Azure Machine Learning model monitoring