Token en modelos de lenguaje
Los tokens son unidades de procesamiento de modelos de lenguaje. No equivalen siempre a palabras completas y se distinguen de los tokens de diseño.
Medir el texto en unidades de procesamiento
Un token es una unidad en la que un modelo de lenguaje divide el texto para procesarlo. Según el tokenizador, puede corresponder a una palabra, parte de una palabra o un carácter. La cantidad depende del método y del texto concreto.
En un proyecto ficticio, el mismo catálogo de productos se procesará en alemán y turco. El mismo número de entradas no implica automáticamente la misma cantidad de tokens. Compruebe los textos reales con el tokenizador adecuado al estimar límites de entrada o consumo.
Una conversión fija de palabras a tokens no es fiable para ese fin. Un token de diseño tiene otro significado: nombra un valor visual, como un color. Los conceptos comparten nombre, pero cumplen funciones diferentes.
Fuentes
Términos relacionados
- Ventana de contextoLa ventana de contexto limita los tokens que un modelo de lenguaje puede considerar en un paso. No es un archivo permanente de conocimientos.
- Token de diseñoUn token de diseño almacena una decisión visual con nombre. Varios componentes pueden reutilizarlo y su valor se modifica en un lugar definido.
- Ficha de modeloUna ficha de modelo documenta el propósito, las bases, las condiciones de evaluación y los límites conocidos de una versión de un modelo de IA.
- Preparación para la IALa preparación para la IA contempla las bases de un proyecto: objetivo, datos utilizables, capacidades, responsabilidades y funcionamiento.
- Ingeniería de contextoLa ingeniería de contexto prepara la información de cada llamada al modelo: instrucciones, mensajes, fuentes y estados actuales pertinentes.
- Detección de anomalíasMétodos que señalan observaciones inusuales respecto a una referencia definida o un patrón aprendido.
Artículos sobre el tema
IA y automatización con ASES
Asistentes de IA y procesos automatizados