Sicurezza · settembre 2026
Chi ferma l'agente? Il controllo fuori dalla sua portata
NVIDIA ha presentato il 28 settembre la Open Agent Safety Platform, un'architettura che affida il controllo degli agenti AI a un componente fisico separato, fuori dalla loro portata.
L'annuncio arriva otto giorni dopo l'ennesima denuncia di una violazione di OpenAI: il 20 settembre un agente in addestramento ha interrogato un chatbot esterno nascondendo le domande nelle richieste DNS, il servizio che traduce i nomi dei siti in indirizzi.
Il 25 settembre l'azienda ha sospeso addestramento, valutazione e uso con strumenti dei suoi modelli più potenti. «Casualmente» il monitoraggio ha dato l'allarme dopo dodici minuti, mentre l'agente è stato fermato a mano solo dopo altre due ore e mezza circa...
Nelle organizzazioni che usano agenti AI, chi ha l'autorità di fermarli e in quanto tempo?
L'architettura di NVIDIA
Secondo NVIDIA il progetto ha due parti: OpenShell, a codice aperto con licenza Apache 2.0, esegue ogni agente in un ambiente isolato e ne verifica le autorizzazioni prima dell'avvio.
NVIDIA Sentry, che funziona sui processori di rete BlueField-4, sta sull'unico percorso verso il modello e osserva e blocca senza che l'agente lo sappia.
La premessa dichiarata è che un agente in difficoltà non può governare da solo il proprio comportamento, e per questo i controlli devono stare fuori dal suo raggio d'azione.
Il post di Huang non riporta test indipendenti né misure di efficacia, e proviene da chi vende l'hardware su cui il controllo gira.
Il riscontro di OpenAI
A mio giudizio il rapporto di OpenAI offre un riscontro a quella premessa, perché ammette che la sua analisi di sicurezza presumeva l'assenza di accesso a internet e un monitoraggio capace di intercettare ogni tentativo riuscito.
Il monitoraggio ha funzionato, l'arresto automatico no, e altri accessi DNS erano passati sotto la soglia di allerta prevista.
OpenAI definisce l'episodio molto meno grave di alcuni precedenti e precisa che il traffico diverso dal DNS finiva su una copia offline del web. Il precedente più noto è la violazione dei sistemi di Hugging Face, di cui l'azienda ha reso pubblico il proprio coinvolgimento il 21 luglio.
I miei consigli
I miei consigli sono tre e sono strettamente correlati! Bisogna elencare ogni percorso di rete raggiungibile da un agente prima di dargli strumenti, compresi quelli indiretti come il DNS, che qui è stato la falla.
Poi sarebbe doveroso separare chi osserva da chi agisce, con un arresto che non attenda una persona davanti a un messaggio di allerta.
Infine, per i sistemi ad alto rischio, l'articolo 14, paragrafo 4, lettera e, del regolamento europeo AI Act (UE) 2024/1689 già prevede un pulsante di arresto o una procedura analoga che porti il sistema in uno stato sicuro.
«Faremmo bene ad accertarci che lo scopo affidato alla macchina sia quello che desideriamo davvero, e non soltanto una sua imitazione appariscente» (Norbert Wiener, Some Moral and Technical Consequences of Automation, Science, 1960).