Yapay zekâ çıktılarının tekrarlanabilirliği
Yapay zekâ üretimlerini belgelenmiş koşullarda tekrarlayıp sonuçlarını belirlenmiş ölçütlerle karşılaştırabilme.
Tekrarda neyin aynı kalması bekleniyor?
Yapay zekâ çıktılarının tekrarlanabilirliği, üretim koşullarının belgelenmesini gerektirir. Model sürümü, eksiksiz talimatlar ve girdiler, kullanılan kaynaklar veya araç sonuçları ve çıktı ayarları buna dahildir. Tekrarda aynı metin veya iş açısından aynı sonuçlar aranabilir; bu hedefler ayrı belirlenmelidir. Model destekliyorsa sabit bir seed değeri karşılaştırmaya yardımcı olabilir. Ancak düşük sıcaklıkla birlikte kullanıldığında da aynı çıktıyı garanti etmez.
Kurgusal bir projede modelin servis raporundan cihaz kimliğini ve bildirim tarihini asset_id ve reported_date alanlarına aktarması planlanır. Planlanan tekrarlarda aynı rapor, kaynakların aynı sürümleri ve aynı model yapılandırması kullanılır. Doğru alan değerlerinin, eksik bilgilerin ve beklenen biçimin nasıl değerlendirileceği önceden belirlenir. Ek açıklama metnindeki farklı noktalama önemsiz olabilir; farklı bir cihaz kimliği ise iş açısından önem taşır. Sonuçlar üretim koşullarıyla birlikte saklanır; böylece sonraki model veya akış değişiklikleri hedefli olarak karşılaştırılabilir.
Kaynaklar
İlgili terimler
- Prompt mühendisliğiÜretken bir model için görevi, bağlamı ve çıktı kurallarını bilinçli olarak tasarlayıp sınamak.
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Makine öğrenmesinde test verileriSon değerlendirme için ayrılan ve değerlendirilen model sürümünün seçiminde kullanılmamış veriler.
- Dil modellerinde sıcaklıkÖrnekleme sırasında olası sonraki tokenların dağılımını ve dolayısıyla seçimini etkileyen ayar.
- Top-p örneklemesiSonraki token’ı, toplam olasılığı belirli bir eşiğe ulaşan küçük bir aday kümesinden seçen örnekleme yöntemi.
- Yeniden sıralamaYeniden sıralama, aramada bulunan adayları tekrar değerlendirir. Soruya uygunluk ve ilk aday seçiminin sınırları birlikte önem taşır.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.