Top-p-sampling
Het volgende token kiezen uit een kleine verzameling waarschijnlijke kandidaten die samen een kansdrempel afdekken.
Welke tokens blijven beschikbaar voor de selectie?
Top-p-sampling, ook nucleus sampling, beperkt kandidaten voor het volgende token op basis van hun gezamenlijke kans. De waarschijnlijkste tokens worden opgenomen totdat de kleinste bijbehorende verzameling minstens de drempel p afdekt. Daarna wordt met opnieuw geschaalde kansen uit die verzameling getrokken. Het aantal kandidaten kan bij elke stap veranderen. Het samenspel met temperatuur of andere filters hangt van de uitvoering af; p is geen aandeel inhoudelijk juiste antwoorden.
Een fictief rekenvoorbeeld gebruikt alleen kandidaten A, B en C met kansen van 0,5, 0,3 en 0,2. Bij p = 0,75 dekken A en B samen 0,8 af en vormen ze de selectieverzameling; C valt erbuiten. De kansen van de overgebleven kandidaten worden voor het trekken opnieuw genormaliseerd tot een som van één. Dit beschrijft één selectiemoment. Bij de volgende stap kan de verdeling anders zijn. Een zakelijke tekstsuggestie moet daarom nog steeds worden gecontroleerd op inhoud, ongefundeerde toevoegingen en het gewenste formaat.
Bronnen
Verwante begrippen
- PromptengineeringTaken, context en uitvoerregels voor een generatief model doelgericht ontwerpen en toetsen.
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- BetrouwbaarheidsscoreEen betrouwbaarheidsscore beoordeelt een modelvoorspelling volgens de gebruikte methode. De score geeft geen inhoudelijke bedrijfsgoedkeuring.
- Temperatuur bij taalmodellenInstelling die bij sampling de verdeling van mogelijke volgende tokens en daarmee de selectie beïnvloedt.
- Reproduceerbaarheid van AI-uitvoerAI-generatie onder vastgelegde omstandigheden kunnen herhalen en resultaten volgens bepaalde criteria vergelijken.
- Herordening van zoekresultatenHerordening beoordeelt gevonden zoekkandidaten opnieuw. De aansluiting op de vraag en de grenzen van de eerste selectie blijven bepalend.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.