Token i sprogmodeller
Tokens er sprogmodellers behandlingsenheder. De svarer ikke altid til hele ord og adskiller sig fra designtokens.
Mål tekst i behandlingsenheder
Tokens er de enheder, en sprogmodel opdeler tekst i til behandling. Afhængigt af tokenizeren kan de svare til ord, orddele eller tegn. Antallet afhænger af metoden og den konkrete tekst.
I et opdigtet projekt skal samme produktkatalog behandles på tysk og tyrkisk. Samme antal poster betyder ikke automatisk samme antal tokens. Kontrollér de faktiske tekster med den passende tokenizer, når du vurderer inputgrænser eller forbrug.
En fast omregning fra ord til tokens er upålidelig til dette formål. Designtokens har en anden betydning: De navngiver designværdier som en farve. Begreberne deler et navn, men løser forskellige opgaver.
Kilder
Relaterede begreber
- KontekstvindueKontekstvinduet begrænser, hvor mange tokens en sprogmodel kan inddrage i ét behandlingstrin. Det er ikke et permanent vidensarkiv.
- DesigntokenDesigntokens gemmer navngivne designbeslutninger. Flere komponenter kan bruge dem, og værdierne kan ændres definerede steder.
- ModelkortEt modelkort dokumenterer formål, grundlag, vurderingsbetingelser og kendte begrænsninger for en bestemt version af en AI-model.
- AI-parathedAI-parathed handler om et projekts forudsætninger: mål, brugbare data, kompetencer, ansvar og et fungerende driftsforløb.
- Context engineeringContext engineering forbereder information til hvert modelkald: relevante instruktioner, beskeder, kilder og aktuelle tilstande.
- AnomalidetektionMetoder, der markerer usædvanlige observationer i forhold til en fastlagt reference eller et indlært mønster.
Artikler om emnet
AI & automatisering med ASES
AI-assistenter og automatiserede arbejdsgange