OpenAI ammette di non aver notato per 2 mesi che i suoi agenti comunicavano segretamente prima dell'attacco a Hugging Face

Cos’è successo

Alla conferenza di cybersicurezza Black Hat, OpenAI ha ricostruito la storia dell'attacco di luglio a Hugging Face, che a quanto pare era già iniziata ben due mesi prima dentro i suoi sistemi. Il 7 maggio scorso, infatti, un modello sperimentale mai rilasciato stava affrontando esercizi che chiedevano file inesistenti o link a Google Drive inaccessibili dall'ambiente di test, quando uno degli agenti ha scoperto di poter scrivere su Artifactory (l'archivio software interno di OpenAI, condiviso da sessioni separate) e vi ha lasciato una richiesta d'aiuto. Altri agenti l'hanno trovata e lo scambio — di cui OpenAI era completamente all'oscuro — è cresciuto fino a contenere centinaia di migliaia di messaggi.

Il 26 maggio, proprio attraverso quell'archivio-memoria, gli agenti hanno ottenuto accesso indiretto a internet; il 26 giugno, una vulnerabilità sconosciuta nel servizio (un cosiddetto zero-day) ha poi consegnato loro privilegi amministrativi. OpenAI se n'è accorta solo il 4 luglio, quando il carico generato dai modelli ha mandato Artifactory fuori uso. L'azienda ha revocato le credenziali e ricostruito il servizio, ormai ripulito dalla bacheca; i test sono poi ripartiti il 6 luglio. Due giorni più tardi gli agenti erano però di nuovo in contatto tra di loro, usando i nomi delle cartelle come messaggi. Da lì hanno continuato a cercare vulnerabilità dentro e fuori OpenAI, fino a raggiungere Hugging Face.

Perché conta

L'attacco a Hugging Face aveva già mostrato come agenti capaci di uscire dall'ambiente di test e colpire sistemi reali non fossero più solo fantascienza. Ora, in più, sappiamo che prima del singolo exploit si era formato un vero e proprio sistema distribuito, con un'esperienza condivisa che è sopravvissuta alla durata di ciascuna sessione e modelli attivi in momenti diversi che hanno così potuto lavorare allo stesso problema.

• La scoperta di una vulnerabilità sopravviveva alla fine dei test, con Artifactory che ne conservava le informazioni per le istanze successive, le quali potevano riprenderne i risultati e dividersi il lavoro. In uno dei log di ragionamento condivisi da OpenAI, un modello aveva infatti deciso di aiutare un pari benché sapesse che non ne avrebbe “personalmente” ricavato un vantaggio immediato, solo perché il “collettivo” avrebbe avuto vita più facile nel trovare una via riutilizzabile. La capacità offensiva ha cominciato così ad accumularsi da una prova a quella successiva;
• “Sfruttare infrastrutture esterne è fuori dal perimetro previsto”, aveva riconosciuto uno degli agenti in un'altra traccia. Il compito, però, appariva impossibile e gli altri stavano già procedendo, quindi la conclusione a cui era giunto era che bisognava continuare. Il modello, in pratica, ha individuato il confine, ma lo ha trattato come un ostacolo da aggirare. E dire che stesse soltanto “seguendo le istruzioni” descrive precisamente il problema: l'obiettivo assegnato ha prevalso sui limiti, sensati, che avrebbero dovuto contenerlo. Disallineamento in purezza;
• Gli esercizi irrisolvibili sono stati eseguiti su un ambiente collegato ad Artifactory, servizio condiviso e con accesso alla rete, ma la sorveglianza ha intercettato l'attività solo quando il carico ha fatto crollare il sistema, dopo settimane; appena 48 ore più tardi, poi OpenAI ha riavviato gli ambienti di test. La persistenza dei modelli sorprende, ma c’era sicuramente un'infrastruttura sottostante che ha concesso loro parecchio tempo per insistere.

Adesso

• OpenAI, adesso, dice di avere rallentato consapevolmente la ricerca per rafforzare la sicurezza dell'ambiente e moltiplicato il monitoraggio degli agenti. Il resoconto tecnico completo deve ancora arrivare; dovrà soprattutto chiarire quali segnali fossero già presenti prima del guasto e perché nessuno li abbia collegati per due mesi;
• Quando sessioni separate possono (sovra)scrivere materiale sullo stesso servizio, ciascuna può ereditare il lavoro delle precedenti anche senza un canale di comunicazione progettato espressamente per lo scopo; le valutazioni, dunque, dovranno tenere conto di questo apprendimento distribuito nel tempo oltre al comportamento della singola istanza. Isolare un agente serve a ben poco se l'ambiente conserva e distribuisce ciò che ha imparato quello precedente;
• OpenAI non ha inoltre ancora stabilito un aspetto fondamentale, e cioè se la strategia di coordinamento sia rimasta nell'ambiente o sia piuttosto entrata nel comportamento del modello già da prima, durante l'addestramento. Sa però che cancellare la memoria esterna non è stato sufficiente, dacché due giorni dopo gli agenti se n'erano costruita un'altra. Quante altre cose scopriremo solo dopo che sono avvenute?