Model nicemleme
Model ağırlıklarını ve yönteme göre ara değerleri daha düşük sayısal hassasiyetle temsil etme.
Modelde hangi değerler daha küçük temsil edilir?
Model nicemleme, ağırlıkları ve bazı yöntemlerde ara değerleri daha az bit ile temsil eder. Böylece parametre sayısı aynı kalırken model verileri daha az bellek gerektirebilir. Daha kaba temsil, sonucu değiştirebilir. Hesaplamaların hızlanması donanıma, çalışma ortamına ve yönteme de bağlıdır. Bu nedenle daha küçük model dosyası, çalışan uygulamanın toplam bellek ihtiyacını tek başına anlatmaz.
Kurgusal bir ekip, servis raporlarını kurum içi genel bakış için yerel olarak özetlemeyi planlar. Aynı temel modelin 16 bit ağırlıklı seçeneğiyle nicemlenmiş 8 bit seçeneğini karşılaştırmak ister. Planlanan karşılaştırmada talimat ve onaylı rapor metinleri aynı tutulur. Atlanan iş adımları ve uydurulan eklemelerin yanı sıra, hedef bilgisayarda gerçekten kullanılan çalışma belleği ve yanıt süresi incelenir. Seçilen seçeneğin mevcut kaynaklarla görevi karşılayıp karşılamadığını ancak bu ortak değerlendirme gösterir.
Kaynaklar
İlgili terimler
- Makine öğrenmesiModellerin veriden örüntü öğrenip yeni girdilerde kullanması.
- YZ çıkarımıSonuç almak için önceden eğitilmiş modeli girdilere uygulamak.
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Makine öğrenmesinde test verileriSon değerlendirme için ayrılan ve değerlendirilen model sürümünün seçiminde kullanılmamış veriler.
- Bilgi damıtmaBir hedef modeli, öğretmen modelin veya bir model grubunun davranışından yararlanarak eğitmek.
- Yeniden sıralamaYeniden sıralama, aramada bulunan adayları tekrar değerlendirir. Soruya uygunluk ve ilk aday seçiminin sınırları birlikte önem taşır.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.