Top-p-sampling
Valg af næste token fra en lille mængde sandsynlige kandidater, som tilsammen dækker en sandsynlighedstærskel.
Hvilke tokens er tilbage til udvælgelsen?
Top-p-sampling, også kaldet Nucleus Sampling, begrænser kandidaterne til næste token ud fra deres samlede sandsynlighed. De mest sandsynlige tokens medtages, indtil den mindste tilsvarende mængde mindst dækker tærsklen p. Derefter trækkes fra mængden med omskalerede sandsynligheder. Antallet af kandidater kan ændre sig ved hvert trin. Samspillet med temperatur eller andre filtre afhænger af implementeringen; p er ikke andelen af fagligt korrekte svar.
Et fiktivt regneeksempel omfatter kun kandidaterne A, B og C med sandsynlighederne 0,5, 0,3 og 0,2. Ved p = 0,75 dækker A og B tilsammen 0,8 og udgør udvælgelsesmængden; C udelades. De tilbageværende kandidaters sandsynligheder normaliseres til en sum på én før trækningen. Det beskriver et enkelt udvælgelsestidspunkt. Ved næste trin kan fordelingen se anderledes ud. Et tekstforslag til virksomheden skal derfor stadig kontrolleres for indhold, udokumenterede tilføjelser og det ønskede format.
Kilder
Relaterede begreber
- PromptdesignAt udforme og kontrollere opgaver, kontekst og outputregler for en generativ model.
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- KonfidensscoreEn konfidensscore vurderer en modelforudsigelse efter den anvendte metode. Den giver ikke en forretningsmæssig godkendelse.
- Temperatur i sprogmodellerEn indstilling, der ved sampling påvirker fordelingen af mulige næste tokens og dermed valget.
- Reproducerbarhed af AI-outputAt kunne gentage AI-generering under dokumenterede betingelser og sammenligne resultaterne efter fastlagte kriterier.
- Omrangering af søgeresultaterOmrangering vurderer allerede fundne søgeresultater igen. Relevansen for spørgsmålet og den første udvælgelses grænser er afgørende.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.