Token

Un token è l’unità minima di testo con cui un modello linguistico lavora effettivamente. Non è un concetto linguistico (come “parola” o “frase”), ma un concetto computazionale: è il risultato del processo di tokenizzazione, il passaggio che converte il testo grezzo in unità discrete numerabili prima che il modello possa elaborarle.

Token ≠ parola

Intuitivamente si potrebbe pensare che ogni parola sia un token. In realtà è molto più sfumato: un token può essere una parola intera, una sua parte, un singolo carattere, o anche un simbolo di punteggiatura. “Gatto” è quasi sempre un token unico, ma “straordinario” può diventare tre o quattro token distinti — “straord” + “inario”, ad esempio — a seconda del vocabolario del modello.

Perché non “una parola = un token”?

Il problema è il vocabolario. Una lingua naturale contiene centinaia di migliaia di parole distinte, senza contare errori di battitura, neologismi, termini tecnici, nomi propri. Mappare ogni parola a un token richiederebbe un vocabolario di milioni di voci — computazionalmente proibitivo. All’estremo opposto, un token per ogni carattere produrrebbe sequenze enormi, perdendo quasi tutto il significato semantico: il modello vedrebbe “gatto” come cinque simboli slegati, invece che come un concetto unitario.

La soluzione adottata dai moderni LLM è un compromesso: la tokenizzazione a subword (l’algoritmo più diffuso si chiama BPE, Byte Pair Encoding), con un vocabolario tipico di 50.000-100.000 unità. Le parole comuni restano un token solo, quelle rare o derivate vengono spezzate in parti riconoscibili, e qualsiasi stringa — anche inventata — resta sempre tokenizzabile.

Cosa succede a un token dopo

Un token, da solo, è solo un numero identificativo in un vocabolario: non porta con sé alcun significato. Il passaggio successivo è convertirlo in un embedding — un vettore numerico che rappresenta il suo significato in uno spazio matematico (ne parliamo nel tip dedicato). È solo a quel punto che il modello comincia davvero a “lavorare” sul contenuto, non più sulla forma del testo.

Implicazione pratica: i token non sono le parole

Quando si legge che un modello ha una context window di 128.000 token, non significa 128.000 parole. In media 1 token corrisponde a circa 0,75 parole in inglese — in italiano, con parole mediamente più lunghe, il rapporto è leggermente peggiore. 128.000 token equivalgono grosso modo a 90.000-100.000 parole, circa un romanzo di media lunghezza.

Un effetto collaterale interessante: i numeri sono spesso penalizzati dalla tokenizzazione. “671” diventa tipicamente tre token (una cifra alla volta) invece di uno solo, il che spiega in parte perché i modelli tendano a essere più imprecisi con l’aritmetica rispetto al linguaggio naturale.