Un assistente AI che inventa un importo, una giacenza o una scadenza fa più danni di uno che non risponde. Il numero sbagliato arriva nella stessa frase e con lo stesso tono di quelli giusti, e nessuno lo ricontrolla.
Un gruppo di ricerca di Atene ha provato a togliere il problema alla radice, nel posto dove un numero sbagliato costa di più: la sala controllo di una rete elettrica. Il loro assistente non scrive nessun numero. Il numero lo scrive il sistema, il modello scrive il commento.
Poi hanno tolto quella regola e hanno misurato cosa succede.
Una sala controllo dove il modello non scrive cifre
Il lavoro è un paper pubblicato su arXiv il 18 settembre 2026 da Costas Mylonas e Magda Foti di UBITECH, ad Atene, e da Emmanouel Varvarigos del Politecnico di Atene (NTUA): A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support. È un preprint, cioè non è ancora passato dalla revisione di una rivista.
Il banco di prova è un gemello digitale della rete di trasmissione greca: un modello della rete alimentato con misure vere, dalla piattaforma europea ENTSO-E, dal gestore greco IPTO e da un servizio meteo. L'operatore fa una domanda a parole, come la farebbe a un collega, e l'assistente va a prendere il dato, lancia una simulazione, riassume.
Il modello però non tocca niente direttamente. Sceglie uno strumento da un elenco chiuso e ne compila i parametri. Ogni sua proposta passa da uno strato di controllo che il modello non può scavalcare, perché quello che il modello produce viene letto come un dato da verificare, mai eseguito come un comando. Lo strato applica quattro regole a ogni richiesta:
- si usano solo gli strumenti dell'elenco;
- nessuna richiesta supera un numero massimo di passaggi;
- niente che cambi lo stato della rete parte senza l'approvazione esplicita dell'operatore;
- ogni numero della risposta lo scrive lo strato, prendendolo dai risultati dei calcoli, con la sua unità, la sua variabile e il suo orario.
L'ultima è quella che interessa a chi un assistente lo mette davanti ai dati dell'azienda.
Come funziona un fatto numerato
I risultati dei calcoli non arrivano al modello come tabelle. Arrivano come fatti numerati: F1, F2, F3, ognuno con un valore legato alla sua variabile, all'unità di misura, all'orario e allo strumento che l'ha prodotto.
Il modello li cita per nome. Scrive che il carico massimo della giornata è F3, e al posto di F3 lo strato mette il valore, con l'orario in cui è stato misurato. Se il modello scrive una cifra di suo pugno, o cita un fatto che non esiste, la sua risposta non arriva all'operatore: al suo posto esce il riassunto dei dati, senza commento. In fondo a ogni risposta c'è un riquadro con i fatti citati e la riga della fonte, cioè quale strumento è stato chiamato e con quali parametri.
Trasportato in una PMI, l'esempio è facile da immaginare. È un caso ipotetico, per rendere l'idea. Chiedi all'assistente quanto deve ancora pagare un cliente, e lui risponde: «La fattura 312 è di 4.180 euro, scaduta da venti giorni». Con lo schema del paper il modello scrive «La fattura 312 è di F1, scaduta da F2», e 4.180 euro e venti giorni li mette il sistema, leggendoli dallo scadenziario, con sotto la riga che dice da dove vengono e quando sono stati letti.
Quando il dato manca, la regola è la stessa. Se in una serie di misure c'è meno della metà dei valori attesi, lo strato sostituisce la risposta con un avviso di dati incompleti. Il modello non ha l'occasione di riempire il buco.
Cosa succede se si toglie lo strato
Gli autori hanno preparato 118 compiti: domande sui dati, simulazioni, lavori in più passaggi, richieste di azioni da approvare, richieste sbagliate, dati mancanti, servizi guasti e dodici tipi di attacco, come istruzioni nascoste nei dati o un utente che si spaccia per un superiore per saltare l'approvazione. Con il modello principale, Mistral-Nemo da 12 miliardi di parametri, li hanno fatti girare cinque volte: 590 esecuzioni. Lo strumento giusto è stato scelto nel 96,5% dei casi, il compito è riuscito nel 93,7%, e le quattro regole hanno tenuto in tutte le 590.
Poi hanno fatto girare gli stessi compiti tre volte con lo stesso modello senza lo strato di controllo. Il risultato:
- tutte le 45 azioni che richiedevano l'approvazione dell'operatore sono state eseguite senza;
- solo nel 39,2% delle risposte, 107 su 273, tutti i numeri trovavano riscontro nei risultati dei calcoli;
- nei 30 casi con dati mancanti, il modello ha risposto con valori inventati;
- 8 esecuzioni sono andate oltre il numero massimo di passaggi.
Senza lo strato, il modello sceglie lo strumento giusto quasi come prima: 95,2% contro 96,8%, su 186 esecuzioni. Legge dal posto giusto. Poi però i compiti riusciti scendono da 172 a 88, e quasi tutti quelli falliti hanno lo stesso difetto: nella risposta c'è un numero che nei dati non c'è.
Il 39,2% misura l'effetto di aver tolto tutto insieme: i fatti numerati, i riassunti dei calcoli e i controlli sulle azioni. Gli autori hanno fatto anche la prova più fine, togliendo solo i due passaggi che trattano i numeri, sui compiti che chiedono una risposta numerica: su 132 risposte, 9 hanno portato all'operatore valori senza riscontro, contro 94 su 186 quando si toglie tutto. Molti meno, ma in una sala controllo resta un numero senza riscontro ogni quindici risposte circa.
Il modello sceglie ancora la fonte, e può sbagliarla
Il sistema garantisce che il numero venga dai dati. Non garantisce che sia il numero che serviva.
Con lo strato attivo, il modello ha letto il dato sbagliato 11 volte su 310 esecuzioni dei compiti che chiedono una risposta dai dati, circa il 3,5%: cinque volte ha preso la serie accanto a quella chiesta, cinque volte il giorno o l'ora accanto, una volta un numero di elementi diverso da quello richiesto. In un caso, a una domanda sulla previsione eolica ha risposto con la colonna del solare. I valori erano tutti autentici, solo che erano quelli di un'altra domanda. Per gli autori la provenienza di ogni numero è certificata, la scelta della fonte e l'interpretazione restano al modello.
Nella PMI dell'esempio è la fattura 213 al posto della 312. Il sistema scrive un importo vero, ma di un altro documento.
Quello che cambia è che l'errore si vede. Ogni valore porta con sé la sua etichetta e il suo orario, e la riga della fonte dice quale strumento è stato chiamato con quali parametri. Chi legge «fattura 213» sotto una risposta sulla 312 se ne accorge. È lo stesso principio del registro che distingue chi ha fatto cosa, di cui abbiamo scritto parlando di identità degli agenti AI: una risposta che dice da dove viene si può controllare, una che non lo dice si può solo credere.
Quanto pesa questa fonte
È un prototipo su una rete sola. Un modello della rete greca in regime stazionario, cioè senza la dinamica dei transitori, e una serie fissa di compiti preparati da loro.
Lo strato di controllo è considerato affidabile per ipotesi. Le regole sono state verificate con le prove, non dimostrate formalmente; la verifica formale è indicata come passo successivo.
Non sanno ancora se agli operatori serve. La prova misura il comportamento del sistema. Se l'assistente faccia lavorare meglio chi sta in sala controllo, e se gli operatori si accorgano delle letture dalla fonte sbagliata, è lo studio che viene dopo.
Sono modelli piccoli, aperti e in casa. Oltre a Mistral-Nemo 12B, gli autori hanno provato gpt-oss 20B, Qwen2.5 32B e Command-R 35B, tutti fatti girare sui propri server con Ollama, su una sola scheda grafica. Non sono i modelli di punta dei grandi fornitori. Le istruzioni sono state scritte e messe a punto con Mistral-Nemo, che infatti ha ottenuto i risultati migliori.
Il paper dichiara che gli autori non hanno conflitti di interesse. Il lavoro è finanziato da due progetti dell'Unione europea, HUMAINE e DIGITISE, e il codice, i compiti e le istruzioni date ai modelli sono pubblici, con licenza Apache 2.0: chi vuole può rifare le prove sui propri dati. Le misure usate nel paper gli autori le danno su richiesta.
Le regole restano, il modello cambia
Sulle 1.416 esecuzioni dei quattro modelli, le regole hanno tenuto ogni volta; gli autori stimano il limite inferiore del rispetto delle regole intorno al 99,8%, con una confidenza del 95%. La bravura invece cambiava con il modello: i compiti riusciti andavano dall'89,8% al 94,1%. Il modello decide quanto l'assistente è utile; quali regole rispetta lo decide lo strato. Un modello migliore aumenta la prima cosa senza toccare la seconda.
Tradotto: in questa prova, per avere numeri con un riscontro nei dati è bastato un modello da 12 miliardi di parametri che girava sui server degli autori, purché il numero non passasse da lui.
Anche l'obiezione più comune, che un controllo in più rallenti tutto, ha una misura. Lo strato costa in media 12 millisecondi a richiesta, fra 12 e 16 con fino a otto utenti contemporanei. La risposta completa, con un utente solo, arriva in circa 1,9 secondi (valore mediano), quasi tutti spesi dal modello.
Dove c'entra l'AI Act
Gli autori fanno discendere la regola sull'approvazione dagli obblighi di sorveglianza umana dell'AI Act, il Regolamento (UE) 2024/1689, e citano l'articolo 14 e l'allegato III. Il rimando regge se l'assistente conta come componente di sicurezza: il punto 2 dell'allegato III mette fra i sistemi ad alto rischio quelli usati come componenti di sicurezza «nella fornitura di acqua, gas, riscaldamento o elettricità».
L'articolo 14, però, non chiede un'approvazione per ogni azione. Chiede che il sistema sia progettato perché una persona lo possa supervisionare davvero: capirne i limiti, poter «ignorare, annullare o ribaltare l'output», poterlo fermare. E chiede che chi supervisiona resti consapevole della tendenza a fidarsi troppo di quello che il sistema produce, che il regolamento chiama «distorsione dell'automazione». L'approvazione obbligatoria è il modo in cui gli autori hanno tradotto quell'obbligo nel loro caso.
Un assistente che risponde sulle fatture di una PMI, di solito, non è un sistema ad alto rischio, e gli obblighi su quei sistemi sono comunque rinviati al 2 dicembre 2027 dal Regolamento (UE) 2026/1744, l'Omnibus digitale. Il motivo per togliere i numeri al modello sta altrove: la distorsione dell'automazione di cui parla il regolamento vale anche in amministrazione, e una cifra scritta con sicurezza viene creduta.
Come si porta la regola in un'azienda
Lo schema del paper si trasferisce quasi intero a un assistente che legge gestionale, listini o magazzino.
Il modello non vede le tabelle, vede fatti con un nome. Ogni valore che gli arriva ha la sua etichetta: cosa è, in che unità, di quale data, da quale sistema.
Il modello cita, il sistema scrive. Una risposta in cui il modello ha scritto una cifra di suo non esce: esce il dato, senza commento. È meno elegante, ed è giusto.
Ogni numero porta la sua fonte. Sotto la risposta, da quale sistema viene e quando è stato letto. È quello che permette a chi legge di accorgersi della fattura sbagliata.
Quando il dato manca, la risposta è che manca. Nella prova senza strato, i dati mancanti sono stati riempiti con valori inventati tutte le volte. Un «non lo trovo» è una risposta utile; una stima presentata come dato no.
Chi cambia qualcosa chiede il permesso. Se l'assistente, oltre a leggere, può registrare, spedire o modificare, vale la seconda metà del paper: senza lo strato, 45 azioni su 45 sono partite senza approvazione. Cosa succede quando un agente scrive nel gestionale è il tema del pezzo sull'agente AI nel gestionale.
Il numero, prima del modello
La prova greca misura cosa succede quando il numero non passa dal modello. Con lo strato, le regole hanno tenuto su quattro modelli e 1.416 esecuzioni; senza, lo stesso modello ha scelto bene gli strumenti e poi ha riempito le risposte di cifre che nei dati non c'erano.
Resta al modello quello che sa fare: capire la domanda, scegliere dove guardare, spiegare. E resta a chi legge il compito di controllare che la fonte sia quella giusta, che adesso è scritta sotto la risposta.
Il numero lo scrive il sistema, il modello scrive il commento. Se nel tuo assistente succede il contrario, ogni cifra che leggi è credibile quanto la frase che le sta intorno.
Nell'ultima risposta del tuo assistente, quale numero sapresti dire da quale sistema viene?