Quella volta che un chatbot ha inventato una policy aziendale

Novembre 2022. Un uomo di nome Jake Moffatt sta pianificando un funerale di famiglia e ha bisogno di volare con Air Canada. Va sul sito, apre la chat con l’assistente virtuale della compagnia e chiede se può ottenere una tariffa ridotta per lutto anche dopo aver già acquistato il biglietto. Il chatbot gli risponde di sì: può comprare subito il volo a prezzo pieno e poi richiedere il rimborso della differenza entro 90 giorni, allegando il certificato di morte.

Moffatt fa esattamente questo. Compra il biglietto, vola, poi chiede il rimborso. Air Canada rifiuta: quella policy non esiste, non è mai esistita, il chatbot se l’è inventata di sana pianta. La compagnia prova persino a sostenere in tribunale che il chatbot fosse “un’entità legale separata” responsabile delle proprie parole. Il giudice canadese non è d’accordo, e nel febbraio 2024 condanna Air Canada a pagare il rimborso più danni.

Cosa voglio raccontare? Che un’ai ha sbagliato o si è inventata una risposta? Nulla di nuovo. Il punto è che l’ha detto con la stessa identica sicurezza con cui avrebbe confermato l’orario di un volo. Nessun “non sono sicuro”, nessun “verifichi con un operatore”, nessun segnale che permettesse a Moffatt di dubitare. Ecco il problema di fondo che vale la pena raccontare: un modello di linguaggio, di base, non sa distinguere bene tra quello che sa per certo e quello che sta indovinando.

Tutti sbagliano. Pochi lo fanno con questa sicurezza

Rispetto ad un umano un chatbot non ha segnali sociali a disposizione. Non c’è un tono esitante, uno sguardo incerto, un “boh, forse”. C’è solo testo, scritto sempre con lo stesso registro sicuro, che tu chieda la capitale della Birmania o la policy di rimborso di una compagnia aerea.

Questa capacità di “sapere quanto sai” ha un nome tecnico: calibrazione(calibration). Un modello calibrato, quando dice di essere sicuro all’80%, ha effettivamente ragione circa l’80% delle volte in cui esprime quel livello di confidenza. Un modello mal calibrato può essere sicurissimo di cose false e insicuro di cose vere, senza una relazione affidabile tra le due cose. Il problema, oggi, è che la maggior parte dei modelli commerciali rientra nella seconda categoria molto più spesso di quanto vorremmo.

Il modello è premiato per tentare sempre la risposta

C’è una spiegazione abbastanza intuitiva del perché i modelli si comportino così, ed emerge con chiarezza da un filone di ricerca recente sul tema (vedremo il paper più avanti). Durante l’addestramento e la valutazione, un modello viene tipicamente giudicato “bravo” o “meno bravo” in base a quante risposte azzecca. Se rispondere sempre, anche a caso, alza il punteggio medio, mentre ammettere “non lo so” lo abbassa, il modello impara semplicemente a tentare sempre una risposta. È lo stesso incentivo di un concorrente al quiz televisivo che, davanti alla domanda che non sa, risponde comunque a caso invece di alzarsi e dire “Non lo so mi ritiro”, statisticamente conviene tentare piuttosto che rinunciare.

Il problema è che questo comportamento, utile per vincere un quiz, diventa pericoloso quando il modello viene usato per prendere decisioni reali una policy aziendale, una diagnosi, un consiglio finanziario.

Si può insegnare a un modello a dire “non lo so”?

Un gruppo di ricercatori di New York University, Cambridge e altre istituzioni ha affrontato esattamente questa domanda in un paper del 2024 “Large Language Models Must Be Taught to Know What They Don’t Know“. Gli autori hanno provato prima l’approccio più ovvio — chiedere semplicemente al modello, tramite un prompt ben scritto, di dichiarare quanto è sicuro della propria risposta. Il risultato è stato deludente: anche i modelli più capaci restano poco affidabili quando si limitano a “dichiarare a parole” la propria incertezza.

Gli scienzati hanno ottenuto risultati migliori allenando il modello (fine-tuning) con un piccolo insieme di esempi già etichettati come corretti o sbagliati, così che impari a riconoscere i pattern delle proprie risposte affidabili rispetto a quelle azzardate. Sono bastati circa mille esempi per ottenere un miglioramento netto. Un dettaglio interessante emerso dallo studio: la capacità di riconoscere l’incertezza, una volta allenata, si trasferisce anche a domande diverse da quelle viste in addestramento, e persino alla valutazione delle risposte di altri modelli, non solo delle proprie. Ad esempio hanno allenato Mistral7B su questo compito ed è riuscito a valutare le risposte di LLaMA-2 7B con un’accuratezza addirittura migliore di quella che LLaMA-2 7B ottiene nel valutare le proprie stesse risposte.

Link al paper: https://arxiv.org/abs/2406.08391

L’aggiornamento più recente: un modello piccolo che batte i giganti

Un secondo studio, pubblicato a fine dicembre 2025 da un gruppo di ricerca di ByteDance, porta l’idea un passo più in là. Invece di allenare il modello a “descrivere a parole” quanto è sicuro, lo allenano con il reinforcement learning a comportarsi in modo coerente con la propria incertezza reale: rispondere quando conviene, astenersi quando il rischio di sbagliare è alto, in base a una soglia di rischio che l’utente stesso può impostare.

Il risultato più citabile dello studio: un modello relativamente piccolo (4 miliardi di parametri, contro le decine o centinaia di miliardi dei modelli di punta) allenato in questo modo supera modelli molto più grandi e blasonati — inclusi GPT-5 e Gemini 2.5 Pro — proprio sulla capacità di distinguere le proprie risposte affidabili da quelle azzardate. Non parliamo di un modello più intelligente in senso assoluto: la sua accuratezza grezza resta inferiore a quella dei modelli di frontiera. Parliamo di un modello più onesto su se stesso, e i due ricercatori riescono a dimostrare che questa è una competenza allenabile separatamente dalla capacità di rispondere correttamente.

Link al paper: https://arxiv.org/abs/2512.19920

Perché dovrebbe interessarti se usi l’AI in azienda

Se stai valutando di integrare un assistente AI in un processo aziendale — rispondere a clienti, cercare informazioni nei documenti interni, dare supporto a un reparto — la domanda giusta da farsi non è solo “quanto è bravo questo modello?” ma anche: “questo modello sa quando tacere?” Un assistente che risponde sempre, con lo stesso tono sicuro è un rischio operativo concreto. La domanda da farsi ogni volta che si implementa uno strumento del genere è: “Quanto mi costa una risposta sbagliata?”.

La calibrazione non elimina l’errore. Un modello ben calibrato sbaglierà comunque, in una certa percentuale di casi. La differenza è che lo saprai. È la stessa differenza che passa tra un collega che, davanti a un dubbio, ti dice “non sono sicuro, controlliamo insieme” e uno che tira a indovinare con la stessa faccia di chi sa perfettamente quello che sta dicendo.