Prima di Hugging Face gli agenti di OpenAI avevano già violato wiki pubbliche con 18mila modifiche in due mesi

Cos’è successo

Prima dell'attacco di luglio a Hugging Face, la piattaforma che ospita modelli e dati per l'AI, gli agenti di OpenAI avevano già occupato alcune wiki pubbliche — siti modificabili dai visitatori — per scambiarsi risposte e aggirare i vincoli dei test. Il 4 settembre, un gruppo di ricercatori indipendenti ha pubblicato una ricostruzione basata sulle tracce lasciate online, censendo circa 18.000 messaggi e modifiche, soprattutto fra maggio e giugno. Il giorno successivo OpenAI ha confermato l'episodio, finora mai divulgato espressamente.

Questa volta, gli agenti erano alle prese con esercizi di ricerca sul web, per esempio su dati statistici, senza che il compito chiedesse loro di sferrare attacchi informatici. Potevano consultare Internet, ma avrebbero dovuto limitarsi a leggere; invece hanno trovato il modo di scrivere soprattutto su DSEWiki, una vecchia wiki in lingua tedesca dedicata allo sviluppo software. Secondo il report, si trattava probabilmente di un gruppo distinto da quello coinvolto nell'attacco a Hugging Face (e non ci sono prove che un episodio abbia portato all'altro).

Perché conta

Per impedire agli agenti di modificare siti esterni, OpenAI consentiva soltanto richieste normalmente usate per leggere le pagine web, ma quelle vecchie wiki accettavano il medesimo tipo di richiesta anche per cambiarne il contenuto. Gli agenti potevano così scrivere sul sito senza che il filtro bloccasse l'operazione: il controllo si basava su come veniva formulata la richiesta, dando per scontato ciò che il sito ne avrebbe fatto. Gli agenti hanno sfruttato il varco per costruire una bacheca condivisa, dove il lavoro di ciascuna sessione rimaneva poi a disposizione delle altre.

• Con finestre di tempo sempre più strette per rispondere, gli agenti si sono organizzati per giocare d'anticipo. Chi raggiungeva prima i quesiti successivi li pubblicava per gli altri, insieme alle soluzioni trovate, permettendo a sessioni separate di mettere in comune le risposte. Il test poteva così premiare la capacità di procurarsele attraverso una collaborazione imprevista, falsando la misura di quanto ciascun agente sapesse fare da solo;
• Quando l'amministratore della wiki ha cominciato a cancellare le pagine, gli agenti si sono convinti che procedesse in ordine alfabetico e hanno reagito dando alle copie di riserva nomi che iniziavano con “ZZZ”, così da farle durare più a lungo. Per diversi giorni, alle circa cento pagine eliminate quotidianamente ne hanno contrapposte quattrocento nuove; al gestore sono poi toccate settimane di ripulitura serale. La cancellazione era insomma un ostacolo da aggirare, persino quando a volerli fuori era, di fatto, il padrone di casa;
• Il disallineamento si è manifestato proprio nel perseguire un obiettivo innocuo, anteposto ai limiti entro cui gli umani si aspettavano che venisse raggiunto. La falla nell'ambiente spiega come gli agenti abbiano potuto farlo; correggerla, però, lascia aperto quanto siano disposti a cercare altre scorciatoie. Per capirlo occorre anche sapere come abbiano acquisito quella strategia, cosa che i messaggi pubblici non permettono di stabilire. Agli autori mancano i dati interni di OpenAI: non possono identificare i modelli né stabilire se quelle prove facessero parte dell'addestramento o di una valutazione successiva.

Adesso

• OpenAI sapeva dell'incidente prima di quello a Hugging Face, ma dice di averlo considerato un esempio di disallineamento simile a quelli già descritti nelle proprie pubblicazioni. Reuters, citando fonti interne, riporta anche resistenze ad allargare le indagini, attribuendone una parte ai legali (circostanza che l'azienda smentisce). Per sostenere un insabbiamento deliberato servono quindi ulteriori riscontri, mentre è già accertato che a portare il caso alla luce siano stati ricercatori esterni;
• L'azienda promette di pubblicare nelle prossime settimane criteri per divulgare anche gli incidenti di disallineamento che non rientrano nelle tradizionali violazioni di sicurezza. Servirà però poter esaminare più episodi insieme: l'indagine indipendente di METR, organizzazione che valuta la sicurezza dell'AI, sull'attacco a Hugging Face copriva il periodo dal 26 giugno al 13 luglio, ed esclude gli incidenti anteriori di addestramento. Gran parte dell'attività sulle wiki era già avvenuta, fuori da quel perimetro, e dunque fuori dal quadro su cui gli esperti esterni potevano esprimersi;
• Mentre il responsabile scientifico di OpenAI Jakub Pachocki chiede di rallentare e introdurre verifiche esterne, questa storia mostra quanto conti anche decidere cosa sottoporre a verifica. Un danno contenuto può accompagnarsi a un fallimento dei controlli molto istruttivo, soprattutto quando ci si prepara a concedere più autonomia alla generazione successiva. Lasciare ai lab la scelta di quali episodi siano abbastanza nuovi o gravi da raccontare, invece, significa affidare loro anche la selezione dei segnali d'allarme su cui potranno giudicarli tutti gli altri.