Temperatura en modelos de lenguaje
Ajuste que influye en la distribución de los posibles tokens siguientes durante el muestreo y, por tanto, en su selección.
¿Qué cambia la temperatura en el texto generado?
Durante el muestreo de un modelo de lenguaje, la temperatura influye en cuánto se concentra la selección en los tokens siguientes más probables. Los valores bajos suelen producir una distribución más concentrada; los altos la aplanan y permiten mayor variedad. Esto afecta a la generación de la salida, sin volver a entrenar el modelo. Los valores admitidos y la interacción con otras reglas de selección dependen del modelo. Una temperatura baja no demuestra corrección operativa ni una correspondencia fiable con el cliente correcto.
En un proyecto ficticio, un modelo debe sugerir un breve asunto interno a partir de una descripción de servicio. En una comparación prevista se mantienen la versión del modelo, la instrucción y la entrada; al principio solo varía la temperatura. Se evalúan la claridad, la relación con la solicitud y los añadidos sin fundamento. Una redacción más variada puede ayudar; una causa de avería inventada no. Incluso con temperatura muy baja, las salidas pueden diferir entre repeticiones. Por eso se documenta el ajuste elegido junto con las demás condiciones y los resultados de revisión.
Fuentes
Términos relacionados
- Ingeniería de promptsDiseñar y comprobar tareas, contexto y reglas de salida para un modelo generativo.
- Evaluación de LLMLa evaluación de LLM comprueba resultados según tareas y criterios definidos. Un buen caso aislado no demuestra calidad general.
- Puntuación de confianzaUna puntuación de confianza evalúa una predicción según el método del modelo. No concede una aprobación de negocio.
- Muestreo top-pSelección del siguiente token entre un conjunto reducido de candidatos probables que, sumados, alcanzan un umbral de probabilidad.
- Reproducibilidad de las salidas de IAPoder repetir la generación de IA con condiciones documentadas y comparar los resultados según criterios definidos.
- Reordenación de resultadosLa reordenación vuelve a evaluar los candidatos encontrados. Importan la pertinencia para la consulta y los límites de la selección inicial.
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.