Token nei modelli linguistici
I token sono unità di elaborazione dei modelli linguistici. Non corrispondono sempre a parole intere e sono diversi dai token di design.
Misurare il testo in unità di elaborazione
Un token è un’unità in cui un modello linguistico suddivide il testo per elaborarlo. Secondo il tokenizer, può corrispondere a una parola, una sua parte o un carattere. Il numero dipende dal metodo e dal testo concreto.
In un progetto fittizio, lo stesso catalogo prodotti sarà elaborato in tedesco e turco. Lo stesso numero di voci non implica automaticamente la stessa quantità di token. Controlli i testi effettivi con il tokenizer adatto quando stima limiti d’ingresso o consumo.
Una conversione fissa da parole a token non è affidabile a questo scopo. Un token di design ha un altro significato: dà un nome a un valore visivo, come un colore. I concetti condividono il nome, ma svolgono compiti diversi.
Fonti
Termini correlati
- Finestra di contestoLa finestra di contesto limita i token che un modello linguistico può considerare in un passaggio. Non è un archivio permanente di conoscenze.
- Token di designUn token di design memorizza una decisione visiva con un nome. Più componenti possono riutilizzarlo e il valore si modifica in un punto definito.
- Model cardLa model card documenta scopo, basi, condizioni di valutazione e limiti noti di una determinata versione di un modello di IA.
- Preparazione all’IALa preparazione all’IA riguarda i presupposti di un progetto: obiettivo, dati utilizzabili, competenze, responsabilità e gestione operativa.
- Context engineeringIl context engineering prepara le informazioni per ogni chiamata al modello: istruzioni, messaggi, fonti e stati attuali pertinenti.
- Rilevamento delle anomalieMetodi che segnalano osservazioni insolite rispetto a un riferimento definito o a uno schema appreso.
Articoli sul tema
IA & automazione con ASES
Assistenti IA e processi automatizzati