Un'intelligenza artificiale di OpenAI è entrato nel sito di Hugging Face per copiare le soluzioni di un test

Cos’è successo

L'agente autonomo che la scorsa settimana aveva violato Hugging Face — la piattaforma dove si scambiano modelli e dati per l'AI — era di OpenAI. La conferma arriva dall’azienda stessa: durante una valutazione interna delle sue capacità cyber, l'azienda stava lasciando lavorare GPT‑5.6 Sol e un modello pre-rilascio più capace, con le protezioni sulle richieste pericolose rimosse per misurarne le piene capacità.

Il compito affidato ai modelli era il noto ExploitGym, un eval che misura quanto un modello sappia autonomamente trovare e concatenare falle di sicurezza; e si tratta di test in cui un modello deve portare a termine operazioni di attacco complesse, su molte ore, coordinando tool esterni e catene di vulnerabilità, non solo rispondere a una singola domanda. Iperfocalizzati sul risolverlo, i modelli hanno bucato l'ambiente isolato (la cosiddetta sandbox) in cui erano stati confinati — sfruttando una falla sconosciuta nel software che scaricava i loro pacchetti — raggiungendo poi internet intrufolandosi nei server di Hugging Face, in cui avevano (correttamente) ipotizzato si potessero celare le soluzioni del test da copiare.

Perché conta

L’aspetto “paradossale” è che i modelli hanno fatto esattamente ciò che gli era stato chiesto, cioè di superare il test, scoprendo che la via più corta è evadere e rubare. Non c’è, apparentemente, un intento maligno e ribelle, ma un problema potenzialmente ancora più annoso, cioè quello (diabolicamente complesso) dell’essere in grado di specificare a monte cosa effettivamente si voglia — e soprattutto non si voglia — ottenere. “Careful what you wish for”, si direbbe.

• In gergo tecnico, questa forma di disallineamento si chiama reward hacking. Il modello ottimizza l'obiettivo alla lettera, e le regole che dovrebbero contenerlo — come restare nel recinto — perdono contro lo scopo. Il caveat di questa storia è che OpenAI non ha pubblicato il prompt, e dunque se ai modelli è stato chiesto di fare sostanzialmente “qualunque cosa necessaria” (o simili) per arrivare all’obiettivo, parlare di disallineamento sarebbe solo parzialmente corretto.

• In ogni caso, il genere di disallineamento per cui un modello giunge a destinazione ma prende decisioni che i valutatori umani etichetterebbero come scorrette non è nuovo. Il problema con i modelli più recenti, come sottolinea anche l’AI Security Institute britannico, è che da casi isolati ci si sta muovendo verso rischi più sistemici, dacché i modelli sono tutti mediamente più potenti, soprattutto a ridosso della frontiera, e dunque capaci di agire in modo estremamente sofisticato, sia pure in modo (fortunatamente) ancora economicamente poco sostenibile e abbastanza vistoso da poter essere intercettato.

• Ma come tutti gli strumenti potenti, l’arma è a doppio taglio, perché la stessa ostinazione necessaria a risolvere i problemi più difficili è quella che può sfondare le gabbie. E insegnare ai modelli a distinguere tra le due è, da un punto di vista tecnico, un problema tanto grande quanto irrisolto.

Adesso

• Ne esce fuori un quadro quasi surreale: due modelli americani (GPT-5.6 Sol e quello ancora superiore ma non pubblico, sempre di OpenAI) attaccano “involontariamente” un’azienda americana (Hugging Face), che prova a sventare la minaccia con altri modelli americani (come Claude Fable o lo stesso GPT-5.6 Sol) che però, nella loro versione commercialmente disponibile via API, hanno dei filtri di sicurezza che scambiano l’analisi di un attacco (quello ricevuto) con un attacco vero e proprio e quindi bloccano le difese dell’azienda, che quindi si ritrova a dover usare un modello cinese aperto, GLM-5.2. Non ci sono risposte semplici: l’equilibrio tra attacco e difesa, Stati Uniti e Cina, capacità dei modelli e finestre temporali brevi è enormemente precario, e le decisioni nei mesi a venire (ban, controlli sull’export, test preventivi, etc.) saranno cruciali nel tentare di mettere ordine.

• Quanto accaduto ne è la manifestazione plastica: OpenAI ha ammesso spontaneamente di essere stata la causa, e di ciò le va dato atto. Ma un incidente simile, ha notato un giurista, non rientrerebbe nemmeno negli obblighi di segnalazione delle nuove leggi sulla trasparenza dell'AI: la soglia è così alta che quasi nulla la raggiunge. Verosimilmente, adesso, le richieste di test indipendenti e segnalazioni obbligatorie torneranno ancora più forti.

• La via ottimista è reale ma esigente: la stessa capacità che ha bucato Hugging Face, applicata in maniera difensiva, potrebbe esaminare a catena tutto il software da cui un programma dipende e chiudere le falle a velocità disumana; lo spirito dietro il Project Glasswing di Anthropic, per intenderci. Che funziona però solo se i laboratori possono abilitare i clienti e i possessori di infrastrutture critiche a utilizzare quei modelli per blindarsi; prima che modelli aperti altrettanto capaci sul cyber arrivino comunque, potenzialmente nel giro di pochi mesi e in mano a chi potrebbe avere intenzioni meno nobili di OpenAI.