Un modello linguistico non nasce già pronto per un compito specifico. Prima di essere specializzato, attraversa una fase iniziale di pre-training in cui apprende la struttura generale del linguaggio da enormi quantità di testo. Il fine-tuning è lo step successivo: un addestramento aggiuntivo, mirato, su un dataset molto più piccolo e specifico, che serve a orientare un comportamento già esistente verso un obiettivo preciso.
Perché non basta il pre-training?
Un modello pre-addestrato sa scrivere in modo fluente e conosce una quantità enorme di fatti, ma non sa necessariamente rispondere nel tono giusto, seguire istruzioni in modo affidabile, o riconoscere il gergo di un settore specifico. Il fine-tuning colma questo gap.
Come funziona in pratica
Si parte dai pesi del modello già pre-addestrato (non da zero) e si continua l’addestramento su un dataset etichettato, costruito ad hoc per il compito target. La differenza di scala rispetto al pre-training è enorme:
| Fase | Dimensione dataset | Tempo di calcolo | Costo |
|---|---|---|---|
| Pre-training | Miliardi di documenti | Settimane / mesi | Milioni di dollari |
| Fine-tuning | Migliaia di esempi | Ore / giorni | Centinaia / migliaia di dollari |
Esempi concreti di fine-tuning
- Un modello generalista viene specializzato per rispondere nel tono di voce di un brand.
- Un modello viene addestrato su terminologia legale, medica o finanziaria specifica di un dominio.
- Un modello viene allenato a riconoscere quando le proprie risposte sono affidabili e quando no (calibrazione) — un caso che abbiamo trattato in un articolo precedente.
Varianti tecniche
Il fine-tuning “completo” aggiorna tutti i parametri del modello, ma è costoso anche in questa forma ridotta. Per questo si usano spesso tecniche più leggere come LoRA (Low-Rank Adaptation), che modificano solo una piccola frazione dei parametri, riducendo drasticamente il costo computazionale senza sacrificare troppo le prestazioni.
Il limite principale: il risultato dipende interamente dalla qualità del dataset di fine-tuning. Pochi esempi mal etichettati o non rappresentativi possono specializzare il modello… nella direzione sbagliata.