Température des modèles de langage

Que change la température dans le texte produit ?

Pendant l’échantillonnage d’un modèle de langage, la température influence la concentration de la sélection sur les prochains tokens les plus probables. Des valeurs plus basses donnent généralement une distribution plus concentrée ; des valeurs plus élevées l’aplatissent et permettent davantage de variété. Cela concerne la génération de la sortie, sans réentraîner le modèle. Les valeurs prises en charge et l’interaction avec d’autres règles de sélection dépendent du modèle. Une température basse ne prouve ni la justesse métier ni la fiabilité d’une correspondance client.

Dans un projet fictif, un modèle doit proposer un bref objet interne à partir d’une description de service. Pour une comparaison prévue, la version du modèle, la consigne et l’entrée restent identiques ; seule la température varie au départ. La clarté, le lien avec la demande et les ajouts sans fondement sont évalués. Une formulation plus variée peut aider ; une cause de panne inventée, non. Même à très basse température, les sorties peuvent différer entre répétitions. Le réglage choisi est donc documenté avec les autres conditions et les résultats de l’examen.

Sources

• Holtzman et al. · The Curious Case of Neural Text Degeneration

• Google Cloud · Content generation parameters