Token de modèle de langage
Les tokens sont des unités de traitement des modèles de langage. Ils ne correspondent pas toujours à des mots et n’ont rien à voir avec les design tokens.
Mesurer le texte en unités de traitement
Un token est une unité en laquelle un modèle de langage découpe le texte pour le traiter. Selon le tokenizer, il peut correspondre à un mot, une partie de mot ou un caractère. Le nombre dépend de la méthode et du texte concret.
Dans un projet fictif, le même catalogue produit doit être traité en allemand et en turc. Le même nombre d’entrées ne signifie pas automatiquement le même nombre de tokens. Vérifiez les textes réels avec le tokenizer adapté pour estimer limites d’entrée ou consommation.
Une conversion fixe entre mots et tokens n’est pas fiable pour cela. Un design token désigne autre chose : une valeur graphique nommée, comme une couleur. Ces notions partagent un nom, mais remplissent des fonctions différentes.
Sources
Termes associés
- Fenêtre de contexteLa fenêtre de contexte limite les tokens qu’un modèle de langage peut considérer en une étape. Ce n’est pas une archive permanente de connaissances.
- Design tokenUn design token enregistre une décision graphique nommée. Plusieurs composants peuvent le réutiliser et sa valeur se modifie à un endroit défini.
- Fiche de modèleUne fiche de modèle documente l’objectif, les bases, les conditions d’évaluation et les limites connues d’une version donnée d’un modèle d’IA.
- Préparation à l’IALa préparation à l’IA porte sur les prérequis d’un projet : objectif, données utilisables, compétences, responsabilités et fonctionnement quotidien.
- Ingénierie du contexteL’ingénierie du contexte prépare les informations de chaque appel au modèle : instructions, messages, sources et état actuel pertinents.
- Détection d’anomaliesDes méthodes qui signalent des observations inhabituelles par rapport à une référence définie ou à un schéma appris.
Articles sur le sujet
IA & automatisation avec ASES
Assistants IA et processus automatisés