Karışıklık matrisi
Referans sınıflarıyla model tahminlerini karşılaştırıp doğru ve yanlış atamaları sayan tablo.
Tablo hangi karışıklıkları gösterir?
Karışıklık matrisi, referans sınıflarıyla model tahminlerini karşılaştırır. Burada satırlar belirlenmiş bir kurala göre iş açısından atanmış durumları, sütunlar modelin tahminini içerir. Kurgusal örnek 50 servis talebinden oluşur; pozitif sınıf teknik servise yönlendirilecek taleptir. Aynı sayılar aksi halde yanlış yorumlanabileceği için yön ve sınıf adları açık olmalıdır.
Referans sınıf | Model: teknik servis | Model: diğer talep |
|---|---|---|
Teknik servis | 18 | 2 |
Diğer talep | 6 | 24 |
Sol üstteki 18 durum doğru pozitiftir. Sağ üstteki 2 durum kaçırılmış, sol alttaki 6 durum yanlış pozitif işaretlenmiş ve sağ alttaki 24 durum doğru biçimde diğer talep olarak tanınmıştır. Böylece tablo, teknik ekibe ulaşmayan taleplerle buraya ek olarak yanlış gelenleri ayrı gösterir. Daha fazla sınıf için genişletilebilir. Ne anlattığı, referans atamasının kalitesine ve seçilen örneklerin planlanan kullanımı ne kadar kapsadığına da bağlıdır.
Kaynaklar
İlgili terimler
- LLM değerlendirmesiLLM değerlendirmesi, model sonuçlarını tanımlı görev ve ölçütlerle sınar. Başarılı tek örnek, genel kaliteyi kanıtlamaz.
- Gözetimli öğrenmeEğitim örneklerinde girdilerle bunlara karşılık gelen hedef değerleri veya sınıfları birlikte kullanan öğrenme yöntemi.
- Makine öğrenmesinde test verileriSon değerlendirme için ayrılan ve değerlendirilen model sürümünün seçiminde kullanılmamış veriler.
- KesinlikModelin pozitif işaretlediği durumlar içinde gerçekten pozitif olanların oranı.
- DuyarlılıkGerçekten pozitif olan durumlar içinde modelin doğru biçimde pozitif tanıdıklarının oranı.
- F1 skoruAynı pozitif sınıf için kesinlik ve duyarlılığın harmonik ortalaması.
Projeniz ASES ile
Projenizi bize anlatın. İlk değerlendirmemizle size dönelim.