Fenêtre de contexte
La fenêtre de contexte limite les tokens qu’un modèle de langage peut considérer en une étape. Ce n’est pas une archive permanente de connaissances.
Distinguer contexte disponible et connaissances stockées
La fenêtre de contexte décrit le nombre limité de tokens qu’un modèle de langage peut considérer lors d’une étape de traitement. Elle peut inclure consignes, messages précédents et extraits de documents fournis. L’application détermine aussi les contenus qui y entrent réellement.
Dans un exemple fictif, un assistant doit comparer une règle de livraison actuelle avec une ancienne. Si seule l’ancienne est fournie, une fenêtre plus grande n’aide pas à elle seule. Elle augmente la capacité d’entrée, mais ne recherche pas la source actuelle manquante.
La fenêtre n’est pas non plus une mémoire permanente de tous les documents de l’entreprise. Une recherche ou une connexion documentaire peut fournir les contenus pertinents pour une demande. Même si un texte long tient dans la fenêtre, il faut vérifier que les informations décisives sont correctement utilisées dans le résultat.
Sources
Termes associés
- Token de modèle de langageLes tokens sont des unités de traitement des modèles de langage. Ils ne correspondent pas toujours à des mots et n’ont rien à voir avec les design tokens.
- Grand modèle de langageUn grand modèle de langage traite la langue à partir de motifs appris. Un texte fluide ne prouve ni son exactitude ni l’accès aux données à jour.
- PromptUn prompt est l’entrée transmise à un modèle génératif. Une tâche précise aide, mais ne remplace ni connexion aux données ni permissions.
- Fiche de modèleUne fiche de modèle documente l’objectif, les bases, les conditions d’évaluation et les limites connues d’une version donnée d’un modèle d’IA.
- Préparation à l’IALa préparation à l’IA porte sur les prérequis d’un projet : objectif, données utilisables, compétences, responsabilités et fonctionnement quotidien.
- Ingénierie du contexteL’ingénierie du contexte prépare les informations de chaque appel au modèle : instructions, messages, sources et état actuel pertinents.
Articles sur le sujet
IA & automatisation avec ASES
Assistants IA et processus automatisés