Model kayması

Değişmeyen bir model neden daha az uygun hale gelebilir?

Model kayması, kullanım sırasındaki veriler veya ilişkiler değiştiğinde tahmin kalitesinin düşmesini anlatır. Bunun için kayıtlı model ağırlıklarının değişmesi gerekmez. Concept Drift, daha özel olarak girdilerle tahmin edilecek hedef arasındaki ilişkinin değişmesidir; veri kayması ise girdilerin dağılımıyla ilgilidir. Bu ayrımlar, nedeni araştırmaya yardımcı olur. Veri bileşiminin değişmesi tek başına tahmin kalitesinin düştüğünü kanıtlamaz.

Kurgusal bir servis işletmesinde yeni bakım yöntemi, o güne kadar kaydedilmiş iş özellikleri aynıyken gerçek çalışma süresini kısaltır. Eski bir tahmin modeli bu nedenle ziyaretler için giderek daha uzun süreler öngörebilir. İncelemede güncel tahminler, etkilenen iş türleri de ele alınarak iş açısından kontrol edilmiş gerçek sürelerle karşılaştırılır. Uyarlamadan önce yanlış zaman birimleri, eksik iş bildirimleri ve değişen kayıt kuralları da araştırılır. Yeni bir model seçeneği eğitilirse güncel, değerlendirme için ayrılmış örneklerle ölçülür ve kullanıma alınmadan önce ayrıca onaylanır. Müdahale, bulunan nedene göre belirlenir.

Kaynaklar

• IBM · What is model drift?

• IBM · Data Science Best Practices: Monitoring

• Microsoft Learn · Azure Machine Learning model monitoring