Reproducibilidad de las salidas de IA
Poder repetir la generación de IA con condiciones documentadas y comparar los resultados según criterios definidos.
¿Qué debe mantenerse igual al repetir?
La reproducibilidad de las salidas de IA exige documentar las condiciones de generación. Incluyen la versión del modelo, instrucciones y entradas completas, fuentes o resultados de herramientas utilizados y ajustes de salida. Una repetición puede evaluarse por texto idéntico o por resultados operativos equivalentes; estos objetivos deben definirse por separado. Una semilla fija puede ayudar a comparar si el modelo la ofrece. No garantiza una salida idéntica, ni siquiera junto con una temperatura baja.
En un proyecto ficticio, un modelo debe trasladar el identificador de un equipo y la fecha del aviso desde un parte de servicio a los campos asset_id y reported_date. Las repeticiones previstas usan el mismo parte, las mismas versiones de las fuentes y la misma configuración del modelo. Se define de antemano cómo evaluar valores correctos, información ausente y formato esperado. Una puntuación diferente en un texto explicativo adicional puede ser irrelevante; un identificador de equipo distinto sí importaría para la tarea. Los resultados se conservan con sus condiciones de generación para comparar de forma precisa cambios posteriores del modelo o del proceso.
Fuentes
Términos relacionados
- Ingeniería de promptsDiseñar y comprobar tareas, contexto y reglas de salida para un modelo generativo.
- Evaluación de LLMLa evaluación de LLM comprueba resultados según tareas y criterios definidos. Un buen caso aislado no demuestra calidad general.
- Datos de prueba en aprendizaje automáticoDatos reservados para la evaluación final cuyos resultados no se utilizaron para seleccionar la variante evaluada.
- Temperatura en modelos de lenguajeAjuste que influye en la distribución de los posibles tokens siguientes durante el muestreo y, por tanto, en su selección.
- Muestreo top-pSelección del siguiente token entre un conjunto reducido de candidatos probables que, sumados, alcanzan un umbral de probabilidad.
- Reordenación de resultadosLa reordenación vuelve a evaluar los candidatos encontrados. Importan la pertinencia para la consulta y los límites de la selección inicial.
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.