Precisión
La proporción de casos realmente positivos entre todos los que el modelo marca como positivos.
¿Qué fiabilidad tiene la marca positiva?
La precisión mide qué proporción de los casos marcados como positivos lo son realmente según la referencia definida. La fórmula es TP / (TP + FP): TP son verdaderos positivos y FP falsos positivos. La medida corresponde a la clase y evaluación elegidas. Si no se ha marcado ningún caso positivo, el denominador es cero; debe quedar claro cómo se informa de ese valor indefinido.
En un ejemplo de cálculo ficticio con 50 solicitudes de servicio, un modelo marca 24 como destinadas al servicio técnico. Según la regla de asignación acordada previamente, 18 pertenecen realmente a ese equipo y 6 se han marcado por error. La precisión es 18 / 24 = 75 %. En la operación, esta lectura hace visibles los casos adicionales mal derivados. La medida no indica por sí sola si también se omitieron solicitudes técnicas; para ello se examina la exhaustividad.
Fuentes
Términos relacionados
- Evaluación de LLMLa evaluación de LLM comprueba resultados según tareas y criterios definidos. Un buen caso aislado no demuestra calidad general.
- Datos de prueba en aprendizaje automáticoDatos reservados para la evaluación final cuyos resultados no se utilizaron para seleccionar la variante evaluada.
- ExhaustividadLa proporción de casos realmente positivos que el modelo reconoce correctamente como positivos.
- Puntuación F1La media armónica de precisión y exhaustividad para la misma clase positiva.
- Matriz de confusiónUna tabla que compara clases de referencia con predicciones del modelo y cuenta asignaciones correctas e incorrectas.
- Reordenación de resultadosLa reordenación vuelve a evaluar los candidatos encontrados. Importan la pertinencia para la consulta y los límites de la selección inicial.
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.