Deriva del modelo

¿Por qué puede dejar de ser adecuado un modelo sin cambios?

La deriva del modelo describe una pérdida de calidad predictiva cuando cambian los datos o las relaciones durante el uso. No es necesario que cambien los pesos guardados del modelo. La deriva de concepto describe más concretamente un cambio en la relación entre las entradas y el objetivo que se predice; la deriva de datos afecta a la distribución de las entradas. Estas distinciones ayudan a investigar las causas. Una composición diferente de los datos no demuestra por sí sola una pérdida de calidad predictiva.

En una empresa ficticia de servicio, un nuevo procedimiento de mantenimiento acorta la duración real del trabajo con las mismas características registradas hasta entonces. Un modelo anterior podría prever cada vez más intervenciones demasiado largas. La revisión compara predicciones actuales con duraciones reales comprobadas operativamente, incluidos los tipos de trabajo afectados. Antes de adaptar el modelo, también se investigan unidades de tiempo incorrectas, partes incompletos y cambios en las reglas de registro. Si se entrena una nueva variante, se evalúa con ejemplos actuales reservados para evaluación y se aprueba por separado antes de adoptarla. La respuesta depende de la causa identificada.

Fuentes

• IBM · What is model drift?

• IBM · Data Science Best Practices: Monitoring

• Microsoft Learn · Azure Machine Learning model monitoring