Token in een taalmodel
Tokens zijn verwerkingseenheden van taalmodellen. Ze komen niet altijd overeen met hele woorden en verschillen van designtokens.
Tekst in verwerkingseenheden meten
Een token is een eenheid waarin een taalmodel tekst opdeelt voor verwerking. Afhankelijk van de tokenizer kan het een woord, woorddeel of teken zijn. Het aantal hangt af van de methode en de concrete tekst.
In een fictief project wordt dezelfde productcatalogus in het Duits en Turks verwerkt. Hetzelfde aantal vermeldingen betekent niet automatisch hetzelfde aantal tokens. Controleer de werkelijke teksten met de passende tokenizer bij het schatten van invoergrenzen of gebruik.
Een vaste omrekening van woorden naar tokens is daarvoor onbetrouwbaar. Een designtoken betekent iets anders: het benoemt een ontwerpwaarde zoals een kleur. De begrippen delen een naam maar vervullen verschillende taken.
Bronnen
Verwante begrippen
- ContextvensterHet contextvenster begrenst hoeveel tokens een taalmodel in één verwerkingsstap kan meenemen. Het is geen blijvend kennisarchief.
- DesigntokenEen designtoken bewaart een benoemde ontwerpkeuze. Meerdere componenten kunnen die gebruiken en de waarde op één vastgelegde plek laten wijzigen.
- ModelkaartEen modelkaart documenteert doel, grondslagen, beoordelingsvoorwaarden en bekende beperkingen van een bepaalde versie van een AI-model.
- AI-readinessAI-readiness betreft de voorwaarden voor een project: doel, bruikbare gegevens, vaardigheden, verantwoordelijkheden en dagelijks beheer.
- ContextengineeringContextengineering bereidt informatie voor elke modelaanroep voor: passende instructies, berichten, bronnen en de actuele stand van zaken.
- AnomaliedetectieMethoden die ongebruikelijke waarnemingen markeren ten opzichte van een vastgestelde referentie of een geleerd patroon.
Artikelen over dit onderwerp
AI & automatisering met ASES
AI-assistenten en geautomatiseerde processen