Bilgi damıtma

Küçük model öğretmenden ne öğrenir?

Bilgi damıtma, hedef modeli bir öğretmen modelin veya model grubunun davranış bilgileriyle eğitir. Bunlar çıktılar veya olasılık dağılımları olabilir. Öğrenci model de denen hedef model, çoğu zaman daha küçüktür ve gerekli işi daha düşük işletim yüküyle yapması amaçlanır. Aktarılan, seçilen eğitim görevlerindeki davranıştır; bununla tüm bilginin birebir aynı olduğu sonucu çıkmaz. Nicemlemede ise model değerlerinin sayısal temsili değiştirilir.

Kurgusal bir projede öğretmen modelin servis bildirimleri için talebi ve eksik bilgiyi içeren kısa yönlendirme notları üretmesi planlanır. Notlar eğitim malzemesi yapılmadan önce özgün bildirimlerle karşılaştırılıp kontrol edilir. Öğretmen bilgi uydurur veya var olan bir bilgiyi gözden kaçırırsa hedef model bu hatayı devralabilir. Sonraki değerlendirmede, iş açısından beklentileri belirlenmiş ve eğitimden ayrı tutulmuş başka bildirimler kullanılır. Böylece gerekli içeriğin korunup korunmadığı ve eksik bilginin eksik olarak ele alınıp alınmadığı incelenebilir.

Kaynaklar

• Hinton et al. · Distilling the Knowledge in a Neural Network