Token i språkmodeller
Tokener er språkmodellers behandlingsenheter. De tilsvarer ikke alltid hele ord og skiller seg fra designtokener.
Mål tekst i behandlingsenheter
Tokener er enhetene en språkmodell deler tekst inn i for behandling. Avhengig av tokenizeren kan de tilsvare ord, orddeler eller tegn. Antallet avhenger av metoden og den konkrete teksten.
I et oppdiktet prosjekt skal samme produktkatalog behandles på tysk og tyrkisk. Samme antall oppføringer betyr ikke automatisk samme antall tokener. Kontroller de faktiske tekstene med riktig tokenizer når du anslår inndatagrenser eller forbruk.
En fast omregning fra ord til tokener er upålitelig til dette formålet. Designtokener har en annen betydning: De navngir designverdier som en farge. Begrepene deler navn, men fyller forskjellige oppgaver.
Kilder
Beslektede begreper
- KontekstvinduKontekstvinduet begrenser hvor mange tokener en språkmodell kan ta hensyn til i ett behandlingstrinn. Det er ikke et permanent kunnskapsarkiv.
- DesigntokenDesigntokener lagrer navngitte designbeslutninger. Flere komponenter kan bruke dem, og verdier kan endres på definerte steder.
- ModellkortEt modellkort dokumenterer formål, grunnlag, evalueringsbetingelser og kjente begrensninger for en bestemt versjon av en KI-modell.
- KI-modenhetKI-modenhet gjelder forutsetningene for et prosjekt: mål, brukbare data, kompetanse, ansvar og et fungerende driftsopplegg.
- Context engineeringContext engineering forbereder informasjon til hvert modellkall: relevante instruksjoner, meldinger, kilder og gjeldende tilstander.
- AnomalideteksjonMetoder som markerer uvanlige observasjoner sammenlignet med en fastsatt referanse eller et innlært mønster.
Artikler om temaet
KI og automatisering med ASES
KI-assistenter og automatiserte prosesser