Top-p-sampling
Valg av neste token fra en liten mengde sannsynlige kandidater som til sammen dekker en sannsynlighetsterskel.
Hvilke tokener er igjen til utvalget?
Top-p-sampling, også kalt Nucleus Sampling, begrenser kandidatene til neste token ut fra deres samlede sannsynlighet. De mest sannsynlige tokenene tas med til den minste tilsvarende mengden minst dekker terskelen p. Deretter trekkes det fra mengden med omskalerte sannsynligheter. Antall kandidater kan endre seg ved hvert trinn. Samspillet med temperatur eller andre filtre avhenger av implementeringen; p er ikke andelen innholdsmessig riktige svar.
Et fiktivt regneeksempel omfatter bare kandidatene A, B og C med sannsynlighetene 0,5, 0,3 og 0,2. Ved p = 0,75 dekker A og B til sammen 0,8 og utgjør utvalgsmengden; C utelates. De gjenværende kandidatenes sannsynligheter normaliseres til summen én før trekningen. Dette beskriver ett enkelt utvalgstidspunkt. Ved neste trinn kan fordelingen se annerledes ut. Et tekstforslag til virksomheten må derfor fortsatt kontrolleres for innhold, udokumenterte tillegg og ønsket format.
Kilder
Beslektede begreper
- PromptdesignÅ utforme og teste oppgaver, kontekst og utdataregler for en generativ modell.
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- KonfidensskårEn konfidensskår vurderer en modellprediksjon etter metoden som brukes. Den gir ingen forretningsmessig godkjenning.
- Temperatur i språkmodellerEn innstilling som ved sampling påvirker fordelingen av mulige neste tokener og dermed utvalget.
- Reproduserbarhet for KI-utdataÅ kunne gjenta KI-generering under dokumenterte betingelser og sammenligne resultatene etter fastsatte kriterier.
- Omrangering av søkeresultaterOmrangering vurderer allerede funne søkekandidater på nytt. Relevans for spørsmålet og begrensningene i det første utvalget er avgjørende.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.