Temperatur i språkmodeller
En inställning som vid sampling påverkar fördelningen av möjliga nästa token och därmed urvalet.
Vad ändrar temperaturen i den genererade texten?
Vid sampling i en språkmodell påverkar temperaturen hur starkt urvalet koncentreras till mer sannolika nästa token. Lägre värden ger vanligen en mer koncentrerad fördelning; högre värden gör den flackare och tillåter större variation. Detta gäller genereringen av utdata och tränar inte om modellen. Vilka värden som stöds och samspelet med andra urvalsregler beror på modellen. Låg temperatur bevisar varken saklig korrekthet eller en tillförlitlig koppling till rätt kund.
I ett fiktivt projekt ska en modell föreslå en kort intern ämnesrad utifrån en servicebeskrivning. Vid en planerad jämförelse hålls modellversion, instruktion och indata lika; till en början ändras bara temperaturen. Begriplighet, koppling till ärendet och obelagda tillägg bedöms. Mer varierad formulering kan vara användbar; en påhittad felorsak är det inte. Även vid mycket låg temperatur kan utdata skilja sig mellan upprepningar. Därför dokumenteras den valda inställningen tillsammans med övriga villkor och granskningsresultaten.
Källor
Relaterade begrepp
- PromptdesignAtt utforma och pröva uppgifter, kontext och utdataregler för en generativ modell.
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- KonfidenspoängEn konfidenspoäng bedömer en modellförutsägelse enligt den använda metoden. Den ger inget verksamhetsmässigt godkännande.
- Top-p-samplingVal av nästa token ur en liten mängd sannolika kandidater som tillsammans täcker en sannolikhetströskel.
- Reproducerbarhet för AI-utdataAtt kunna upprepa AI-generering under dokumenterade villkor och jämföra resultaten enligt fastställda kriterier.
- Omrankning av sökresultatOmrankning bedömer redan hittade sökkandidater på nytt. Relevansen för frågan och det första urvalets begränsningar är avgörande.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.