Ventana de contexto
La ventana de contexto limita los tokens que un modelo de lenguaje puede considerar en un paso. No es un archivo permanente de conocimientos.
Distinguir contexto disponible y conocimiento almacenado
La ventana de contexto describe la cantidad limitada de tokens que un modelo de lenguaje puede considerar en un paso de procesamiento. Puede incluir instrucciones, mensajes anteriores y fragmentos de documentos aportados. La aplicación también determina qué contenido entra realmente.
En un ejemplo ficticio, un asistente debe comparar una regla de entrega actual con una antigua. Si solo se aporta la antigua, una ventana mayor no ayuda por sí sola. Amplía la capacidad de entrada, pero no obtiene la fuente actual que falta.
La ventana tampoco es una memoria permanente de todos los documentos de la empresa. Una búsqueda o conexión documental puede aportar contenido relevante para una petición. Aunque un texto largo quepa, sigue siendo necesario comprobar si la información decisiva se ha utilizado correctamente en el resultado.
Fuentes
Términos relacionados
- Token en modelos de lenguajeLos tokens son unidades de procesamiento de modelos de lenguaje. No equivalen siempre a palabras completas y se distinguen de los tokens de diseño.
- Modelo de lenguaje de gran tamañoUn gran modelo de lenguaje procesa lenguaje mediante patrones aprendidos. La fluidez no demuestra exactitud ni acceso a datos empresariales actuales.
- PromptUn prompt es la entrada de un modelo generativo. Definir bien la tarea ayuda, pero no sustituye las conexiones de datos ni los permisos.
- Ficha de modeloUna ficha de modelo documenta el propósito, las bases, las condiciones de evaluación y los límites conocidos de una versión de un modelo de IA.
- Preparación para la IALa preparación para la IA contempla las bases de un proyecto: objetivo, datos utilizables, capacidades, responsabilidades y funcionamiento.
- Ingeniería de contextoLa ingeniería de contexto prepara la información de cada llamada al modelo: instrucciones, mensajes, fuentes y estados actuales pertinentes.
Artículos sobre el tema
IA y automatización con ASES
Asistentes de IA y procesos automatizados