Temperatur i sprogmodeller
En indstilling, der ved sampling påvirker fordelingen af mulige næste tokens og dermed valget.
Hvad ændrer temperaturen ved den genererede tekst?
Ved sampling i en sprogmodel påvirker temperaturen, hvor stærkt valget koncentreres om de mest sandsynlige næste tokens. Lavere værdier giver typisk en mere koncentreret fordeling; højere værdier gør den fladere og giver mere variation i valget. Det vedrører generering af output og genoptræner ikke modellen. Understøttede værdier og samspillet med andre udvælgelsesregler afhænger af modellen. Lav temperatur beviser hverken faglig korrekthed eller en pålidelig kobling til den rette kunde.
I et fiktivt projekt skal en model foreslå en kort intern emnelinje ud fra en servicebeskrivelse. Ved en planlagt sammenligning holdes modelversion, instruktion og input ens; først varieres kun temperaturen. Forståelighed, forbindelse til henvendelsen og udokumenterede tilføjelser vurderes. En mere varieret formulering kan hjælpe; en opdigtet fejlårsag kan ikke. Selv ved meget lav temperatur kan output variere mellem gentagelser. Derfor dokumenteres den valgte indstilling sammen med de øvrige betingelser og gennemgangens resultater.
Kilder
Relaterede begreber
- PromptdesignAt udforme og kontrollere opgaver, kontekst og outputregler for en generativ model.
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- KonfidensscoreEn konfidensscore vurderer en modelforudsigelse efter den anvendte metode. Den giver ikke en forretningsmæssig godkendelse.
- Top-p-samplingValg af næste token fra en lille mængde sandsynlige kandidater, som tilsammen dækker en sandsynlighedstærskel.
- Reproducerbarhed af AI-outputAt kunne gentage AI-generering under dokumenterede betingelser og sammenligne resultaterne efter fastlagte kriterier.
- Omrangering af søgeresultaterOmrangering vurderer allerede fundne søgeresultater igen. Relevansen for spørgsmålet og den første udvælgelses grænser er afgørende.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.