Échantillonnage top-p
Sélection du prochain token dans un petit ensemble de candidats probables dont la probabilité cumulée atteint un seuil défini.
Quels tokens restent disponibles pour la sélection ?
L’échantillonnage top-p, aussi appelé Nucleus Sampling, limite les candidats au prochain token selon leur probabilité cumulée. Les tokens les plus probables sont retenus jusqu’à former le plus petit ensemble correspondant couvrant au moins le seuil p. Le tirage utilise ensuite des probabilités recalculées dans cet ensemble. Le nombre de candidats peut changer à chaque étape. L’interaction avec la température ou d’autres filtres dépend de l’implémentation ; p n’est pas la proportion de réponses correctes sur le plan métier.
Un calcul fictif considère uniquement les candidats A, B et C, avec des probabilités de 0,5, 0,3 et 0,2. Pour p = 0,75, A et B couvrent ensemble 0,8 et forment l’ensemble de sélection ; C en est exclu. Les probabilités des candidats restants sont normalisées pour que leur somme soit égale à un avant le tirage. Cela décrit un seul instant de sélection. La distribution peut être différente à l’étape suivante. Une suggestion de texte professionnel nécessite donc toujours un contrôle du contenu, des ajouts sans fondement et du format demandé.
Sources
Termes associés
- Ingénierie de promptsConcevoir et vérifier tâches, contexte et règles de sortie pour un modèle génératif.
- Évaluation des LLML’évaluation des LLM teste les sorties selon des tâches et critères définis. Un bon exemple isolé ne prouve pas la qualité générale.
- Score de confianceUn score de confiance évalue une prédiction selon la méthode du modèle. Il n’accorde pas de validation métier.
- Température des modèles de langageUn réglage qui influence la distribution des prochains tokens possibles pendant l’échantillonnage, et donc leur sélection.
- Reproductibilité des sorties de l’IAPouvoir répéter une génération d’IA dans des conditions documentées et comparer les résultats selon des critères définis.
- Reclassement des résultatsLe reclassement réévalue les résultats déjà trouvés. Leur pertinence dépend de la question et des limites de la sélection initiale.
Votre projet avec ASES
Décrivez-nous votre projet. Nous revenons vers vous avec une première évaluation.