F1 skoru
Aynı pozitif sınıf için kesinlik ve duyarlılığın harmonik ortalaması.
F1 skoru neyi bir araya getirir?
F1 skoru, aynı pozitif sınıf için kesinlik ve duyarlılığı harmonik ortalama olarak birleştirir. Formüllerden biri 2 × TP / (2 × TP + FP + FN) şeklindedir. Burada TP doğru pozitif, FP yanlış pozitif ve FN gözden kaçan pozitif durumlardır. Doğru negatifler bu formüle girmez. TP, FP ve FN sayılarının her biri sıfırsa oran tanımsızdır; bu özel durumun gösterimi raporda açık olmalıdır.
50 servis talebinin bulunduğu kurgusal örnekte 18 doğru pozitif, 6 yanlış pozitif ve 2 gözden kaçmış teknik talep vardır. Kesinlik %75, duyarlılık %90’dır. Sonuç 36 / 44, yuvarlandığında %81,8 olur. F1 skoru iki ölçüyü özetler, ancak yanlış yönlendirilen ve gözden kaçan taleplerin işletmeye etkilerini ağırlıklandırmaz. Bu nedenle karar verilirken ayrı hata sayıları ve doğan işlem ihtiyacı da görünür tutulur.
Kaynaklar
İlgili terimler
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Makine öğrenmesinde test verileriSon değerlendirme için ayrılan ve değerlendirilen model sürümünün seçiminde kullanılmamış veriler.
- KesinlikModelin pozitif işaretlediği durumlar içinde gerçekten pozitif olanların oranı.
- DuyarlılıkGerçekten pozitif olan durumlar içinde modelin doğru biçimde pozitif tanıdıklarının oranı.
- Karışıklık matrisiReferans sınıflarıyla model tahminlerini karşılaştırıp doğru ve yanlış atamaları sayan tablo.
- Yeniden sıralamaYeniden sıralama, aramada bulunan adayları tekrar değerlendirir. Soruya uygunluk ve ilk aday seçiminin sınırları birlikte önem taşır.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.