Puntuación F1
La media armónica de precisión y exhaustividad para la misma clase positiva.
¿Qué combina la puntuación F1?
La puntuación F1 combina precisión y exhaustividad para la misma clase positiva mediante su media armónica. Una fórmula es 2 × TP / (2 × TP + FP + FN). TP son verdaderos positivos, FP falsos positivos y FN positivos omitidos. Los verdaderos negativos no entran en esta fórmula. Si TP, FP y FN son todos cero, el cociente es indefinido; el informe debe mostrar claramente cómo se presenta ese caso especial.
En el ejemplo ficticio con 50 solicitudes de servicio hay 18 verdaderos positivos, 6 falsos positivos y 2 solicitudes técnicas omitidas. La precisión es 75 % y la exhaustividad 90 %. Esto da 36 / 44, aproximadamente 81,8 % tras redondear. La puntuación F1 resume ambas medidas, pero no pondera las consecuencias operativas de solicitudes mal derivadas y omitidas. Para decidir siguen siendo visibles los recuentos de cada error y el trabajo de gestión resultante.
Fuentes
Términos relacionados
- Evaluación de LLMLa evaluación de LLM comprueba resultados según tareas y criterios definidos. Un buen caso aislado no demuestra calidad general.
- Datos de prueba en aprendizaje automáticoDatos reservados para la evaluación final cuyos resultados no se utilizaron para seleccionar la variante evaluada.
- PrecisiónLa proporción de casos realmente positivos entre todos los que el modelo marca como positivos.
- ExhaustividadLa proporción de casos realmente positivos que el modelo reconoce correctamente como positivos.
- Matriz de confusiónUna tabla que compara clases de referencia con predicciones del modelo y cuenta asignaciones correctas e incorrectas.
- Reordenación de resultadosLa reordenación vuelve a evaluar los candidatos encontrados. Importan la pertinencia para la consulta y los límites de la selección inicial.
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.