Temperatuur bij taalmodellen
Instelling die bij sampling de verdeling van mogelijke volgende tokens en daarmee de selectie beïnvloedt.
Wat verandert temperatuur aan de gegenereerde tekst?
Bij sampling door een taalmodel beïnvloedt temperatuur hoe sterk de selectie zich op waarschijnlijkere volgende tokens concentreert. Lagere waarden geven doorgaans een meer geconcentreerde verdeling; hogere waarden maken die vlakker en laten meer variatie toe. Dit betreft het genereren van de uitvoer, zonder het model opnieuw te trainen. Ondersteunde waarden en het samenspel met andere selectieregels hangen van het model af. Een lage temperatuur bewijst geen inhoudelijke juistheid of betrouwbare koppeling aan de juiste klant.
In een fictief project moet een model uit een servicebeschrijving een korte interne onderwerpregel voorstellen. Voor een geplande vergelijking blijven modelversie, instructie en invoer gelijk; eerst verandert alleen de temperatuur. Begrijpelijkheid, verband met de vraag en ongefundeerde toevoegingen worden beoordeeld. Meer afwisseling in formulering kan helpen; een verzonnen storingsoorzaak niet. Ook bij een zeer lage temperatuur kan de uitvoer tussen herhalingen verschillen. De gekozen instelling wordt daarom samen met de overige omstandigheden en beoordelingsresultaten vastgelegd.
Bronnen
Verwante begrippen
- PromptengineeringTaken, context en uitvoerregels voor een generatief model doelgericht ontwerpen en toetsen.
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- BetrouwbaarheidsscoreEen betrouwbaarheidsscore beoordeelt een modelvoorspelling volgens de gebruikte methode. De score geeft geen inhoudelijke bedrijfsgoedkeuring.
- Top-p-samplingHet volgende token kiezen uit een kleine verzameling waarschijnlijke kandidaten die samen een kansdrempel afdekken.
- Reproduceerbaarheid van AI-uitvoerAI-generatie onder vastgelegde omstandigheden kunnen herhalen en resultaten volgens bepaalde criteria vergelijken.
- Herordening van zoekresultatenHerordening beoordeelt gevonden zoekkandidaten opnieuw. De aansluiting op de vraag en de grenzen van de eerste selectie blijven bepalend.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.