Top-p örneklemesi
Sonraki token’ı, toplam olasılığı belirli bir eşiğe ulaşan küçük bir aday kümesinden seçen örnekleme yöntemi.
Seçim için hangi tokenlar kalır?
Nucleus Sampling olarak da adlandırılan top-p örneklemesi, sonraki tokenın adaylarını ortak olasılıklarına göre sınırlar. En olası tokenlar, toplamları en az p eşiğine ulaşan en küçük ilgili küme oluşana kadar alınır. Bu kümeden yeniden ölçeklenmiş olasılıklarla seçim yapılır. Aday sayısı her adımda değişebilir. Sıcaklık veya diğer filtrelerle etkileşim uygulamaya bağlıdır; p, iş açısından doğru yanıtların oranı değildir.
Kurgusal bir hesap örneğinde yalnızca 0,5, 0,3 ve 0,2 olasılıklarına sahip A, B ve C adayları vardır. p = 0,75 olduğunda A ve B toplam 0,8 ile seçim kümesini oluşturur; C dışarıda kalır. Kalan adayların olasılıkları, seçim için toplamları bir olacak biçimde yeniden ölçeklenir. Bu, tek bir seçim anını anlatır. Sonraki adımda dağılım farklı olabilir. Bu nedenle işletmede kullanılacak bir metin önerisinde içerik, dayanaksız eklemeler ve istenen biçim yine kontrol edilir.
Kaynaklar
İlgili terimler
- Prompt mühendisliğiÜretken bir model için görevi, bağlamı ve çıktı kurallarını bilinçli olarak tasarlayıp sınamak.
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Güven puanıGüven puanı, kullanılan yönteme göre model tahmininin güven düzeyini belirtir. İş açısından onay veya eylem yetkisi vermez.
- Dil modellerinde sıcaklıkÖrnekleme sırasında olası sonraki tokenların dağılımını ve dolayısıyla seçimini etkileyen ayar.
- Yapay zekâ çıktılarının tekrarlanabilirliğiYapay zekâ üretimlerini belgelenmiş koşullarda tekrarlayıp sonuçlarını belirlenmiş ölçütlerle karşılaştırabilme.
- Yeniden sıralamaYeniden sıralama, aramada bulunan adayları tekrar değerlendirir. Soruya uygunluk ve ilk aday seçiminin sınırları birlikte önem taşır.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.