Kesinlik
Modelin pozitif işaretlediği durumlar içinde gerçekten pozitif olanların oranı.
Pozitif işaretleme ne kadar güvenilir?
Kesinlik, pozitif işaretlenen durumların belirlenmiş referansa göre ne kadarının gerçekten pozitif olduğunu ölçer. Formül TP / (TP + FP) şeklindedir: TP doğru pozitif, FP yanlış pozitif atamalardır. Ölçü, seçilen sınıfa ve değerlendirmeye aittir. Hiçbir durum pozitif işaretlenmemişse payda sıfırdır; böyle bir tanımsız değerin nasıl raporlandığı görünür olmalıdır.
50 servis talebinden oluşan kurgusal bir hesap örneğinde model, 24 talebi teknik servise ait olarak işaretler. Önceden belirlenmiş atama kuralına göre bunların 18 tanesi gerçekten bu ekibe aittir, 6 tanesi yanlış işaretlenmiştir. Kesinlik 18 / 24 = 75 % olur. İşletme açısından bu bakış, yanlış yönlendirilen ek durumları görünür kılar. Teknik taleplerin gözden kaçıp kaçmadığını bu ölçü tek başına göstermez; bunun için duyarlılık da incelenir.
Kaynaklar
İlgili terimler
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Makine öğrenmesinde test verileriSon değerlendirme için ayrılan ve değerlendirilen model sürümünün seçiminde kullanılmamış veriler.
- DuyarlılıkGerçekten pozitif olan durumlar içinde modelin doğru biçimde pozitif tanıdıklarının oranı.
- F1 skoruAynı pozitif sınıf için kesinlik ve duyarlılığın harmonik ortalaması.
- Karışıklık matrisiReferans sınıflarıyla model tahminlerini karşılaştırıp doğru ve yanlış atamaları sayan tablo.
- Yeniden sıralamaYeniden sıralama, aramada bulunan adayları tekrar değerlendirir. Soruya uygunluk ve ilk aday seçiminin sınırları birlikte önem taşır.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.