Temperatur i språkmodeller
En innstilling som ved sampling påvirker fordelingen av mulige neste tokener og dermed utvalget.
Hva endrer temperaturen ved den genererte teksten?
Ved sampling i en språkmodell påvirker temperaturen hvor sterkt utvalget konsentreres om mer sannsynlige neste tokener. Lavere verdier gir typisk en mer konsentrert fordeling; høyere verdier gjør den flatere og åpner for mer variasjon. Dette gjelder generering av utdata og trener ikke modellen på nytt. Hvilke verdier som støttes, og samspillet med andre utvalgsregler, avhenger av modellen. Lav temperatur beviser verken innholdsmessig korrekthet eller en pålitelig kobling til riktig kunde.
I et fiktivt prosjekt skal en modell foreslå en kort intern emnelinje ut fra en servicebeskrivelse. Ved en planlagt sammenligning holdes modellversjon, instruksjon og inndata like; først varieres bare temperaturen. Forståelighet, tilknytning til henvendelsen og udokumenterte tillegg vurderes. En mer variert formulering kan være nyttig; en oppdiktet feilårsak er det ikke. Selv ved svært lav temperatur kan utdata variere mellom gjentakelser. Den valgte innstillingen dokumenteres derfor sammen med de øvrige betingelsene og resultatene fra gjennomgangen.
Kilder
Beslektede begreper
- PromptdesignÅ utforme og teste oppgaver, kontekst og utdataregler for en generativ modell.
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- KonfidensskårEn konfidensskår vurderer en modellprediksjon etter metoden som brukes. Den gir ingen forretningsmessig godkjenning.
- Top-p-samplingValg av neste token fra en liten mengde sannsynlige kandidater som til sammen dekker en sannsynlighetsterskel.
- Reproduserbarhet for KI-utdataÅ kunne gjenta KI-generering under dokumenterte betingelser og sammenligne resultatene etter fastsatte kriterier.
- Omrangering av søkeresultaterOmrangering vurderer allerede funne søkekandidater på nytt. Relevans for spørsmålet og begrensningene i det første utvalget er avgjørende.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.