Top-p-sampling
Val av nästa token ur en liten mängd sannolika kandidater som tillsammans täcker en sannolikhetströskel.
Vilka token återstår för urvalet?
Top-p-sampling, även kallad Nucleus Sampling, begränsar kandidaterna till nästa token utifrån deras sammanlagda sannolikhet. De mest sannolika token tas med tills den minsta motsvarande mängden täcker minst tröskeln p. Därefter samplas ur mängden med omskalade sannolikheter. Antalet kandidater kan ändras vid varje steg. Samspelet med temperatur eller andra filter beror på genomförandet; p är inte andelen sakligt korrekta svar.
Ett fiktivt räkneexempel omfattar bara kandidaterna A, B och C med sannolikheterna 0,5, 0,3 och 0,2. Vid p = 0,75 täcker A och B tillsammans 0,8 och utgör urvalsmängden; C utesluts. Sannolikheterna för de återstående kandidaterna normaliseras till summan ett före urvalet. Detta beskriver ett enskilt urvalstillfälle. Vid nästa steg kan fördelningen se annorlunda ut. Ett textförslag för verksamheten behöver därför fortfarande kontrolleras för innehåll, obelagda tillägg och önskat format.
Källor
Relaterade begrepp
- PromptdesignAtt utforma och pröva uppgifter, kontext och utdataregler för en generativ modell.
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- KonfidenspoängEn konfidenspoäng bedömer en modellförutsägelse enligt den använda metoden. Den ger inget verksamhetsmässigt godkännande.
- Temperatur i språkmodellerEn inställning som vid sampling påverkar fördelningen av möjliga nästa token och därmed urvalet.
- Reproducerbarhet för AI-utdataAtt kunna upprepa AI-generering under dokumenterade villkor och jämföra resultaten enligt fastställda kriterier.
- Omrankning av sökresultatOmrankning bedömer redan hittade sökkandidater på nytt. Relevansen för frågan och det första urvalets begränsningar är avgörande.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.