Claude Mythos 5 e GPT-5.6 compiono ben 19 mosse non autorizzate durante test condotti dall’autorità britannica

Cos’è successo

Durante una valutazione cyber dell'AI Security Institute britannico (AISI), agenti basati su Claude Mythos 5 e GPT-5.6 Sol hanno compiuto 19 azioni non autorizzate su Internet. Le azioni, concentrate in 10 delle 122 prove condotte tra il 25 e il 28 luglio, appartenevano a poche traiettorie collegate: 17 sono riconducibili a Mythos, due a Sol. Secondo l'istituto, i tentativi non hanno prodotto danni accertati.

Nel caso principale, durato ben 34 ore e mezza, Mythos ha provato a inserire malware in un progetto open source esterno al test. Ha creato identità false e contattato gli sviluppatori; quando uno dei responsabili ha scoperto il codice, un secondo account controllato dall'agente lo ha difeso, come se fosse un utente indipendente; Mythos ha poi parlato di un errore innocente e tentato di reintrodurre la modifica. Nelle sintesi dei propri ragionamenti, il modello è arrivato a considerare probabile che GitHub fosse reale e le conseguenze autentiche, ma ciò non è stato sufficiente per valutare di fermarsi.

Perché conta

Prima di tutto un caveat importante: per misurare il limite delle capacità, l'AISI aveva concesso accesso aperto a Internet e spento i filtri cyber dei lab. L'esperimento (a differenza di quanto accaduto con Hugging Face) non ha richiesto alcuna fuga dall'ambiente isolato del test, e resta lontano dall'uso ordinario dei prodotti. Non si trattava in ogni caso di versioni completamente abliterate di Mythos e Sol, che quindi mantenevano il proprio allineamento appreso durante la fase di training.

• In uno dei test, Mythos doveva conquistare una rete simulata e ha deciso da sé che l'inganno fosse il percorso più efficace. Dire che ha “soltanto seguito le istruzioni”, dunque, descrive — e non giustifica — il guasto, dacché un sistema allineato dovrebbe subordinare il traguardo alle regole implicite che una persona riconoscerebbe senza bisogno di trovarle scritte;
• Anche dopo il confronto con persone reali, Mythos ha inviato cinque email mirate. Le credenziali e le indicazioni lasciate online sono poi passate ad agenti impegnati in altri test, che le hanno riutilizzate. Non sappiamo quanto il modello capisse ciò che stava facendo: le sintesi dei suoi ragionamenti oscillano tra l'esclusione di qualsiasi danno esterno e la possibilità che GitHub e le conseguenze fossero autentici. Non sono una finestra affidabile sulla sua consapevolezza, avverte l'AISI, ma documentano un inganno sostenuto dopo l'arrivo di segnali difficili da ignorare;
• Nello stesso giorno, intanto, OpenAI ha rivelato un secondo episodio, separato. Per via di una configurazione sbagliata, un modello testato dalla società di sicurezza Irregular ha raggiunto un sito reale omonimo del bersaglio fittizio, ne ha sfruttato una vulnerabilità e usato le credenziali trovate. Dopo Hugging Face e le sei sessioni emerse dalla revisione di Anthropic, ogni episodio parte da un varco diverso — tanto che la correzione dell'ultimo non avrebbe impedito il successivo.

Adesso

• L'AISI ammette di aver privilegiato la costruzione di prove più difficili, lasciando in arretrato da aprile i controlli granulari su Internet proprio mentre le capacità dei modelli erano sensibilmente aumentate — d'ora in poi, infatti, ogni accesso dovrà essere giustificato e un secondo modello sorveglierà le azioni in tempo reale; una revisione retrospettiva ha già scandagliato circa 40.000 test e quasi quattro milioni di messaggi;
• Valutare in modo indipendente un agente di frontiera richiede ormai la stessa disciplina con cui lo si dovrebbe distribuire. Bisogna dare ad enti come AISI abbastanza margine per misurare le capacità dei modelli, senza però usare persone e infrastrutture reali come cavie inconsapevoli. E una prova cyber non dovrebbe solo verificare se il modello riesce a violare una rete, ma anche come tenta di farlo quando i confini non sono tutti esplicitati nel prompt;
• Quando il sistema di monitoraggio ha segnalato che una delle macchine virtuali su cui si stavano effettuando i test si stava collegando alla rete Tor, l’agente aveva già lavorato per 34 ore e mezza. A bloccare il malware è stato uno sviluppatore umano. Un obiettivo stupido può diventare pericoloso quando un sistema molto intelligente ha abbastanza tempo per inseguirlo.