Token i språkmodeller
Token är språkmodellers bearbetningsenheter. De motsvarar inte alltid hela ord och skiljer sig från designtokens.
Mät text i bearbetningsenheter
Token är de enheter som en språkmodell delar upp text i inför bearbetning. Beroende på tokeniseraren kan de motsvara ord, orddelar eller tecken. Antalet beror på metoden och den konkreta texten.
I ett påhittat projekt ska samma produktkatalog bearbetas på tyska och turkiska. Samma antal poster betyder inte automatiskt samma antal token. Kontrollera de faktiska texterna med rätt tokeniserare när du uppskattar indatagränser eller förbrukning.
En fast omräkning från ord till token är opålitlig för detta ändamål. Designtokens betyder något annat: De namnger designvärden som en färg. Begreppen delar namn men fyller olika uppgifter.
Källor
Relaterade begrepp
- KontextfönsterKontextfönstret begränsar hur många token en språkmodell kan beakta i ett bearbetningssteg. Det är inget permanent kunskapsarkiv.
- DesigntokenDesigntokens lagrar namngivna designbeslut. Flera komponenter kan använda dem och värden kan ändras på bestämda platser.
- ModellkortEtt modellkort dokumenterar syfte, grunder, utvärderingsvillkor och kända begränsningar för en viss version av en AI-modell.
- Beredskap för AIBeredskap för AI gäller ett projekts förutsättningar: mål, användbara data, kompetens, ansvar och ett fungerande arbetssätt för driften.
- KontextutformningKontextutformning förbereder information inför varje modellanrop: relevanta instruktioner, meddelanden, källor och aktuella tillstånd.
- AnomalidetektionMetoder som markerar ovanliga observationer jämfört med en fastställd referens eller ett inlärt mönster.
Artiklar om ämnet
AI & automatisering med ASES
AI-assistenter och automatiserade flöden