Token im Sprachmodell

Textmenge in Verarbeitungseinheiten messen

Ein Token ist eine Einheit, in die ein Sprachmodell Text für die Verarbeitung zerlegt. Je nach Tokenizer kann es einem Wort, einem Wortteil oder einem Zeichen entsprechen. Die Anzahl hängt vom verwendeten Verfahren und vom konkreten Text ab.

In einem erfundenen Projekt soll derselbe Produktkatalog auf Deutsch und Türkisch verarbeitet werden. Die gleiche Zahl von Einträgen bedeutet dabei nicht automatisch die gleiche Tokenmenge. Prüfen Sie die tatsächlichen Texte mit dem passenden Tokenizer, wenn Sie Eingabegrenzen oder Verbrauch abschätzen.

Eine feste Umrechnung von Wörtern in Token ist dafür unzuverlässig. Ein Design-Token hat eine andere Bedeutung: Es benennt einen Gestaltungswert, etwa eine Farbe. Diese beiden Begriffe teilen den Namen, erfüllen aber unterschiedliche Aufgaben.

Quellen

• Google: Introduction to Large Language Models