Duyarlılık
Gerçekten pozitif olan durumlar içinde modelin doğru biçimde pozitif tanıdıklarının oranı.
İlgili durumların ne kadarı tanınıyor?
Duyarlılık, referansa göre gerçekten pozitif olan durumların ne kadarının doğru biçimde pozitif tanındığını ölçer. Formül TP / (TP + FN) şeklindedir: TP doğru tanınmış pozitifler, FN gözden kaçan pozitiflerdir. Pozitif sınıfın seçimi belirlenmiş olmalıdır. Değerlendirmede gerçekten pozitif hiçbir durum yoksa payda sıfırdır ve oran tanımsızdır. Bu durum raporda görünür kalmalıdır.
50 servis talebinden oluşan kurgusal hesap örneğinde, belirlenmiş atama kuralına göre 20 talep teknik servise aittir. Model bunların 18 tanesini doğru tanır, 2 tanesini kaçırır. Duyarlılık 18 / 20 = 90 % olur. İş planlaması açısından bu, teknik ekibe ulaşması gereken durumlardaki açığı gösterir. Başka taleplerin kaçının yanlışlıkla buraya yönlendirildiği buradan anlaşılamaz; bu yön, kesinlik ölçüsüyle incelenir. Bir ayarın uygunluğu, iki hata türü ve somut akıştaki sonuçları birlikte ele alınarak değerlendirilir.
Kaynaklar
İlgili terimler
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Makine öğrenmesinde test verileriSon değerlendirme için ayrılan ve değerlendirilen model sürümünün seçiminde kullanılmamış veriler.
- KesinlikModelin pozitif işaretlediği durumlar içinde gerçekten pozitif olanların oranı.
- F1 skoruAynı pozitif sınıf için kesinlik ve duyarlılığın harmonik ortalaması.
- Karışıklık matrisiReferans sınıflarıyla model tahminlerini karşılaştırıp doğru ve yanlış atamaları sayan tablo.
- Yeniden sıralamaYeniden sıralama, aramada bulunan adayları tekrar değerlendirir. Soruya uygunluk ve ilk aday seçiminin sınırları birlikte önem taşır.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.