Nel 2026 quasi tutti i modelli open-weight di punta sono Mixture of Experts (MoE): DeepSeek, Qwen, Kimi, GLM, MiniMax, Llama 4, Mistral. Fino a un paio di anni fa lo standard era il modello denso, e Mixtral 8x7B aveva fatto notizia proprio perché era un’eccezione.
Se leggi la descrizione di un modello oggi trovi spesso due numeri che sembrano contraddirsi, tipo “671B parametri, 37B attivi”. In questo articolo spiego cosa cambia davvero tra le due architetture: come funzionano, cosa costano in calcolo e in memoria, e quando ha senso scegliere l’una o l’altra.
Il modello denso
Un modello denso lavora sempre a pieno regime. Ogni parola che elabora passa attraverso tutto il modello, dall’inizio alla fine, senza scorciatoie.
Quindi un modello da 70 miliardi di parametri usa tutti e 70 i miliardi per ogni singola parola. Più il modello è grande, più “sa”, ma più costa farlo funzionare. Capacità e costo crescono insieme, sempre.
Il vantaggio è che è semplice e prevedibile. Il carico di lavoro è sempre lo stesso, ed è facile da far girare e da personalizzare. Llama 3 70B è un esempio classico.
Il Mixture of Experts
Un MoE funziona in modo diverso. Pensa a uno studio con decine di consulenti, ognuno con le sue competenze. Quando arriva una pratica non la leggono tutti: un coordinatore la smista ai due o tre più adatti, e gli altri restano liberi.
Nel modello succede la stessa cosa. Una parte del modello è divisa in tanti blocchi più piccoli, gli “esperti”. Per ogni parola un piccolo componente, il router, sceglie i pochi esperti più adatti. Solo quelli lavorano, gli altri restano fermi.
Il risultato è un modello che, nel complesso, contiene moltissima conoscenza, ma per ogni parola ne usa solo una piccola parte. Per questo è molto più economico da far girare rispetto a un modello denso della stessa dimensione.
Negli ultimi anni si sono affermate due scelte:
- Tanti esperti piccoli invece di pochi grandi. Mixtral, nel 2023, aveva 8 esperti e ne usava 2 per parola. DeepSeek-V3 ne ha 256 e ne usa 8.
- Uno o più esperti sempre attivi, che gestiscono le conoscenze di base comuni a tutto. Gli altri si concentrano su aspetti più specifici.
Attenzione al nome, però. Gli “esperti” non sono specializzati in materie come la matematica o la storia. Si dividono il lavoro in modi molto meno intuitivi, legati più alla forma del testo che al suo argomento.
C’è anche una difficoltà pratica. Se il router manda quasi tutto agli stessi esperti, gli altri non imparano niente e restano inutilizzati. Durante l’addestramento servono quindi accorgimenti per distribuire il lavoro in modo equilibrato.
Parametri totali e parametri attivi
Quando vediamo i dettagli di un modello MoE vediamo spesso elencati 2 dati: parametri totali e parametri attivi. Ma qual è la differenza?
- Parametri totali: tutti i pesi del modello, esperti inclusi. Determinano quanta memoria serve per caricarlo e, in buona parte, quanta “conoscenza” può contenere.
- Parametri attivi: i pesi effettivamente usati per elaborare un token. Determinano il calcolo per token, quindi velocità e costo.
In un modello denso i due numeri coincidono, perchè il modello denso, come abbiamo visto, lavora sempre a pieno regime. In un MoE no. DeepSeek-V3 ha 671B parametri totali e ne attiva 37B per token, circa il 5,5%. In pratica, per ogni token costa più o meno come un denso da 37B, ma occupa la memoria di un modello da 671B.
A livello hardware qual è la differenza?
La memoria deve poter contenere tutti i parametri del modello, anche quelli che per una singola parola restano fermi. La velocità e il costo per ogni parola dipendono invece solo dai parametri attivi.
Le differenze in pratica
Vediamo di seguito le differenze principali tra i 2 tipi di modelli
| Aspetto | Modello denso | Mixture of Experts |
|---|---|---|
| Calcolo per token | Tutti i parametri | Solo i parametri attivi (spesso 3-10% del totale) |
| Memoria (VRAM) | Proporzionale ai parametri | Proporzionale ai parametri totali: tutti gli esperti vanno caricati |
| Costo di training a parità di qualità | Più alto | Più basso: scala con i parametri attivi |
| Stabilità del training | Alta | Più delicata: bilanciamento degli esperti, router che collassa |
| Serving | Semplice, il carico è uniforme | Più complesso: expert parallelism, comunicazione tra GPU, carico irregolare |
| Velocità con tanti utenti insieme (server) | Buono | Molto alta, se il lavoro è ben distribuito tra gli esperti e tra le GPU |
| Uso da un solo utente / in locale | Memoria e velocità proporzionali alla dimensione | Veloce come un modello piccolo, ma richiede la memoria di un modello grande |
| Fine-tuning | Lineare | Funziona (anche QLoRA), ma va gestito il router |
| Quantizzazione | Matura | Funziona bene, utile per far stare in memoria il totale |
Il trade-off più importante è nella seconda riga. Un MoE da 400B con 17B attivi è veloce, ma per servirlo devi comunque avere la memoria per 400B di pesi. Per chi lavora on-premise o su una singola GPU, è spesso questo il vincolo che decide.
Qualche esempio reale
I numeri mostrano bene come si è allargata la forbice tra totali e attivi, dai primi MoE open a quelli del 2026.
| Modello | Architettura | Parametri totali | Parametri attivi | Attivi / totali |
|---|---|---|---|---|
| Llama 3 70B (2024) | Denso | 70B | 70B | 100% |
| Mixtral 8x7B (dic 2023) | MoE, 8 esperti, top-2 | 46,7B | 12,9B | ~28% |
| Mixtral 8x22B (apr 2024) | MoE, 8 esperti, top-2 | 141B | 39B | ~28% |
| DeepSeek-V3 (dic 2024) | MoE, 256 esperti + 1 condiviso, top-8 | 671B | 37B | ~5,5% |
| Mistral Large 4 (ott 2026) | MoE | 1,05T | 49B | ~4,7% |
| Llama 4 Maverick | MoE | 400B | 17B | ~4% |
| Qwen 3.5 | MoE | 397B | 17B | ~4% |
| DeepSeek V4-Pro (apr 2026) | MoE | 1,6T | 49B | ~3% |
La tendenza è chiara: esperti sempre più numerosi e piccoli, rapporto attivi/totali sempre più basso. Nel 2023 si attivava circa un quarto del modello, oggi siamo tra il 3% e il 5%.
I modelli densi però non sono spariti. Restano molto diffusi nelle taglie piccole e medie, quelle che si fanno girare in locale o si specializzano con il fine-tuning: lì il risparmio di calcolo di un MoE conta meno della semplicità e della memoria ridotta.
Per completezza va detto che i grandi modelli chiusi, come quelli di OpenAI, Anthropic e Google, non dichiarano la loro architettura. Quando OpenAI ha pubblicato modelli aperti, gpt-oss, ha scelto il MoE. Non si hanno quindi informazioni se stanno usando modelli densi o MoE.
Quando conviene l’uno e quando l’altro
Non esiste un vincitore assoluto: la scelta dipende da dove gira il modello e da quanto traffico deve reggere.
Un MoE conviene quando:
- servi molte richieste in parallelo su un cluster, e conta il costo per token;
- vuoi la massima qualità possibile a parità di budget di training o di inferenza;
- usi un modello via API, dove la memoria è un problema del provider e non tuo.
Un modello denso conviene quando:
- la memoria è il vincolo principale, per esempio una singola GPU o un server on-premise;
- lavori con batch piccoli o una richiesta alla volta, dove il vantaggio del MoE si riduce;
- devi fare fine-tuning o distillazione e vuoi un processo semplice e prevedibile;
- ti serve un modello piccolo (sotto i 30B circa), dove la differenza di calcolo pesa poco.
Una domanda utile da farsi prima di scegliere: il collo di bottiglia è il calcolo o la memoria? Se è il calcolo, il MoE ti aiuta. Se è la memoria, ti complica la vita.