LLM değerlendirmesi
LLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
Kaliteyi belirlenmiş örneklerle incelemek
LLM değerlendirmesi, dil modelinin sonuçlarını belirli görevler ve değerlendirme ölçütleriyle sistemli biçimde sınamaktır. Yanıtın doğru olup olmadığı, verilen kaynaklara dayanması veya beklenen sınırları koruması incelenebilir.
Varsayımsal bir testte model teslimat sorularını yanıtlar. Bir örnekte onaylı tarih vardır; diğerinde yoktur. İkinci örnekte eksik bilgiyi fark etmek beklenen sonucun parçasıdır. Akıcı biçimde uydurulmuş tarih hata sayılır.
Anlamca doğru farklı anlatımlar, yalnız referans metinden ayrıldığı için otomatik olarak yanlış sayılmamalıdır. Öte yandan dilsel benzerlik doğruluk kanıtı değildir. Modeli, girdileri ve yapılandırmayı kaydedin. Sınırlı test kapsamının değerlendirilmesi gelecekteki bütün örneklerin kalitesini kanıtlamaz.
Kaynaklar
İlgili terimler
- Büyük dil modeliBüyük dil modeli, öğrendiği örüntülerle dili işler. Akıcı metin, bilginin doğruluğunu veya güncel şirket verisine erişimi kanıtlamaz.
- Yapay zekâ halüsinasyonuYapay zekâ halüsinasyonu, inandırıcı görünen fakat yanlış veya uydurulmuş içeriktir. Akıcı anlatım doğruluk kanıtı değildir.
- Model kartıModel kartı; bir yapay zekâ modelinin amacını, dayanaklarını, değerlendirme koşullarını ve bilinen sınırlarını belirli sürüm için belgeler.
- Yapay zekâya hazırlıkYapay zekâya hazırlık; bir proje için amaç, kullanılabilir veri, yetkinlik, sorumluluk ve işletim sürecinin durumunu değerlendirir.
- Bağlam mühendisliğiBağlam mühendisliği, her model çağrısı için uygun talimatları, mesajları, kaynakları ve güncel durum bilgisini hazırlar.
- Anomali tespitiBelirlenmiş bir referansa veya öğrenilmiş örüntüye göre olağandışı gözlemleri işaretleyen yöntemler.
Bu konudaki yazılar
ASES ile Yapay zekâ ve otomasyon
Yapay zekâ asistanları ve otomatik iş akışları