Evaluación de LLM
La evaluación de LLM comprueba resultados según tareas y criterios definidos. Un buen caso aislado no demuestra calidad general.
Examinar la calidad con casos definidos
La evaluación de LLM comprueba sistemáticamente las salidas de un modelo de lenguaje según tareas y criterios concretos. Puede examinar exactitud, respaldo en las fuentes facilitadas o respeto de los límites previstos.
En una prueba ficticia, un modelo responde preguntas de entrega. Un caso contiene una fecha confirmada; otro carece de ella. En el segundo, reconocer la información ausente forma parte del resultado esperado. Una fecha inventada con buena redacción sería un fallo.
Una paráfrasis válida no debe considerarse incorrecta solo por diferir del texto de referencia. Tampoco la similitud lingüística demuestra exactitud. Registre modelo, entradas y configuración. Evaluar un alcance limitado no demuestra la calidad de todos los casos futuros.
Fuentes
Términos relacionados
- Modelo de lenguaje de gran tamañoUn gran modelo de lenguaje procesa lenguaje mediante patrones aprendidos. La fluidez no demuestra exactitud ni acceso a datos empresariales actuales.
- Alucinación de IAUna alucinación de IA es contenido plausible pero falso o inventado. La fluidez del lenguaje no demuestra su exactitud.
- Ficha de modeloUna ficha de modelo documenta el propósito, las bases, las condiciones de evaluación y los límites conocidos de una versión de un modelo de IA.
- Preparación para la IALa preparación para la IA contempla las bases de un proyecto: objetivo, datos utilizables, capacidades, responsabilidades y funcionamiento.
- Ingeniería de contextoLa ingeniería de contexto prepara la información de cada llamada al modelo: instrucciones, mensajes, fuentes y estados actuales pertinentes.
- Detección de anomalíasMétodos que señalan observaciones inusuales respecto a una referencia definida o un patrón aprendido.
Artículos sobre el tema
IA y automatización con ASES
Asistentes de IA y procesos automatizados