Il pre-training è la prima e più lunga fase di addestramento di un modello linguistico: il momento in cui il modello legge quantità enormi di testo e impara, un token alla volta, a prevedere quale unità linguistica viene dopo quella precedente.
L’obiettivo di addestramento
Il compito che il modello risolve durante il pre-training si chiama next-token prediction: dato un frammento di testo, prevedere il token successivo. Sembra un compito banale, ma ripetuto su miliardi di sequenze costringe il modello ad apprendere implicitamente grammatica, relazioni logiche, fatti sul mondo, e persino pattern di ragionamento — senza che nessuno gli abbia insegnato queste cose esplicitamente.
Da dove arrivano i dati
Il corpus di pre-training è tipicamente un insieme eterogeneo di:
- Testo raccolto dal web (crawling su larga scala)
- Libri e articoli
- Codice sorgente
- Documenti tecnici ed enciclopedici
Per i modelli più grandi si parla di trilioni di token in ingresso — un volume di testo che nessun essere umano potrebbe leggere in una vita, o in mille vite.
Il costo della scala
| Parametro | Ordine di grandezza (modelli di frontiera) |
|---|---|
| Token di addestramento | Trilioni |
| Tempo di calcolo | Settimane / mesi |
| Hardware | Migliaia di GPU/TPU specializzate |
| Costo stimato | Decine di milioni di dollari |
Perché quasi nessuno lo ripete da zero
Proprio per questi costi, il pre-training viene sostenuto solo da un numero ristretto di laboratori (OpenAI, Anthropic, Google, Meta, tra gli altri), che spesso rendono disponibili i modelli risultanti — direttamente o tramite API — così che altri possano specializzarli con il fine-tuning, una fase ordini di grandezza più economica.
Implicazione pratica: quando senti parlare di un nuovo modello “addestrato da zero”, quasi sempre si intende proprio questo passaggio. Tutto ciò che viene dopo — instruction tuning, RLHF, fine-tuning per compiti specifici — parte da questa base già costruita.