Muestreo top-p
Selección del siguiente token entre un conjunto reducido de candidatos probables que, sumados, alcanzan un umbral de probabilidad.
¿Qué tokens quedan disponibles para seleccionar?
El muestreo top-p, también llamado Nucleus Sampling, limita los candidatos al siguiente token por su probabilidad conjunta. Se incluyen los tokens más probables hasta que el conjunto mínimo correspondiente cubra al menos el umbral p. Después se muestrea dentro de ese conjunto con probabilidades reescaladas. El número de candidatos puede cambiar en cada paso. La interacción con la temperatura u otros filtros depende de la implementación; p no es la proporción de respuestas correctas operativamente.
Un cálculo ficticio considera solo los candidatos A, B y C con probabilidades de 0,5, 0,3 y 0,2. Con p = 0,75, A y B cubren juntos 0,8 y forman el conjunto de selección; C queda fuera. Las probabilidades de los candidatos restantes se normalizan para que sumen uno antes del muestreo. Esto describe un único momento de selección. La distribución puede ser distinta en el siguiente paso. Una propuesta de texto empresarial sigue necesitando controles de contenido, añadidos sin fundamento y formato requerido.
Fuentes
Términos relacionados
- Ingeniería de promptsDiseñar y comprobar tareas, contexto y reglas de salida para un modelo generativo.
- Evaluación de LLMLa evaluación de LLM comprueba resultados según tareas y criterios definidos. Un buen caso aislado no demuestra calidad general.
- Puntuación de confianzaUna puntuación de confianza evalúa una predicción según el método del modelo. No concede una aprobación de negocio.
- Temperatura en modelos de lenguajeAjuste que influye en la distribución de los posibles tokens siguientes durante el muestreo y, por tanto, en su selección.
- Reproducibilidad de las salidas de IAPoder repetir la generación de IA con condiciones documentadas y comparar los resultados según criterios definidos.
- Reordenación de resultadosLa reordenación vuelve a evaluar los candidatos encontrados. Importan la pertinencia para la consulta y los límites de la selección inicial.
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.