On-premise

·

3 min

Paper originale

Questo articolo è stato scritto al 100% da un’AI

On-premise significa che un software gira su macchine che l’azienda possiede e gestisce direttamente: server nella propria sede o in un data center di fiducia, invece che nel cloud di un fornitore. Nel mondo dell’AI vuol dire far girare un modello linguistico sul proprio hardware, senza mandare i dati a un servizio esterno come le API di OpenAI o Anthropic.

Il termine si contrappone al cloud, dove il modello gira sui server del provider e l’azienda lo usa via internet, pagando a consumo.

Perché interessa nell’AI

Quando si usa un modello via API, ogni richiesta esce dall’azienda: il testo della domanda, i documenti allegati, il contesto recuperato da un sistema RAG. Per molti casi va benissimo. Per altri no.

I motivi più comuni per scegliere l’on-premise sono quattro:

  • Riservatezza dei dati: contratti, dati sanitari, documenti dei clienti o segreti industriali non lasciano mai la rete aziendale.
  • Vincoli normativi: GDPR, regole di settore o richieste contrattuali dei clienti possono rendere complicato l’invio di dati a terzi, soprattutto fuori dall’UE.
  • Controllo: il modello non cambia senza preavviso, non viene ritirato dal fornitore e funziona anche se il servizio esterno ha un disservizio.
  • Costi prevedibili: con volumi alti e costanti, un server già pagato può costare meno del consumo a token.

Un esempio

Uno studio di commercialisti vuole un assistente che risponda a domande sulle pratiche dei clienti, cercando tra migliaia di documenti interni.

Con un’API cloud, ogni domanda e i passaggi di documento recuperati vengono inviati al provider. È semplice da avviare, ma i dati fiscali dei clienti escono dallo studio.

In on-premise, lo stesso assistente usa un modello open-weight installato su un server dello studio. Il server può trovarsi in sede oppure in un data center esterno, gestito da un fornitore di fiducia. In entrambi i casi la macchina è dello studio e i documenti non passano da un servizio AI di terzi.

I documenti restano dentro, e lo studio può dire ai clienti esattamente dove sono i loro dati.

Cosa serve

  • Un modello open-weight: i modelli di OpenAI, Anthropic e Google si usano solo via API. In locale si usano modelli con pesi scaricabili, come quelli di Mistral, Qwen, DeepSeek, Llama o gpt-oss.
  • Hardware adeguato: il vincolo principale è la memoria della GPU, che deve contenere tutti i parametri del modello. Per i modelli Mixture of Experts conta il numero di parametri totali, non quelli attivi. La quantizzazione riduce molto lo spazio necessario: gpt-oss-120b, per esempio, è pensato per stare su una singola GPU da 80 GB.
  • Software di serving: strumenti come vLLM, llama.cpp od Ollama caricano il modello e lo espongono ai programmi aziendali.
  • Qualcuno che lo gestisca: aggiornamenti, monitoraggio, backup e sicurezza sono a carico dell’azienda, non più del fornitore.

Le vie di mezzo

Tra on-premise puro e API pubblica ci sono soluzioni intermedie. Un cloud privato, ad esempio un’istanza dedicata in un data center europeo, offre buona parte del controllo senza dover comprare hardware. Un approccio ibrido usa il modello locale per i dati sensibili e un’API cloud per tutto il resto.

I limiti

L’on-premise ha un costo iniziale alto: l’hardware si paga subito, anche se il sistema viene usato poco. I modelli che si possono far girare in casa sono in genere più piccoli e meno capaci dei migliori modelli via API. E le competenze tecniche per tenerlo in piedi vanno trovate, interne o esterne.

Per questo la domanda giusta non è “cloud o on-premise?” in astratto, ma: quali dati devono restare in azienda e quanto costa farlo?