Dil modellerinde sıcaklık
Örnekleme sırasında olası sonraki tokenların dağılımını ve dolayısıyla seçimini etkileyen ayar.
Sıcaklık, üretilen metinde neyi değiştirir?
Sıcaklık, dil modelinde örnekleme yapılırken seçimin daha olası sonraki tokenlara ne kadar yoğunlaşacağını etkiler. Düşük değerler genellikle daha yoğun, yüksek değerler ise daha düz ve daha çeşitli seçime açık bir dağılım oluşturur. Bu, çıktının üretilmesiyle ilgilidir; yeniden eğitim anlamına gelmez. Desteklenen değerler ve diğer seçim kurallarıyla etkileşim modele bağlıdır. Düşük sıcaklık, iş açısından doğruluğu veya müşterinin güvenilir biçimde doğru eşleştirildiğini kanıtlamaz.
Kurgusal bir projede modelin servis açıklamasından kısa bir iç konu satırı önermesi planlanır. Planlanan karşılaştırmada model sürümü, talimat ve girdi aynı tutulur; başlangıçta yalnızca sıcaklık değiştirilir. Anlaşılabilirlik, taleple bağlantı ve dayanaksız eklemeler değerlendirilir. Daha çeşitli bir ifade yararlı olabilir; uydurulan bir arıza nedeni ise yararlı olmaz. Çok düşük sıcaklıkta bile tekrarlanan üretimlerde çıktılar farklılaşabilir. Bu nedenle seçilen ayar, diğer koşullarla ve kontrol sonuçlarıyla birlikte belgelenir.
Kaynaklar
İlgili terimler
- Prompt mühendisliğiÜretken bir model için görevi, bağlamı ve çıktı kurallarını bilinçli olarak tasarlayıp sınamak.
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Güven puanıGüven puanı, kullanılan yönteme göre model tahmininin güven düzeyini belirtir. İş açısından onay veya eylem yetkisi vermez.
- Top-p örneklemesiSonraki token’ı, toplam olasılığı belirli bir eşiğe ulaşan küçük bir aday kümesinden seçen örnekleme yöntemi.
- Yapay zekâ çıktılarının tekrarlanabilirliğiYapay zekâ üretimlerini belgelenmiş koşullarda tekrarlayıp sonuçlarını belirlenmiş ölçütlerle karşılaştırabilme.
- Yeniden sıralamaYeniden sıralama, aramada bulunan adayları tekrar değerlendirir. Soruya uygunluk ve ilk aday seçiminin sınırları birlikte önem taşır.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.