OpenAI sospende l'addestramento dei suoi modelli più capaci dopo che sarebbero emerse decine di migliaia di incidenti con gli agenti AI

Cos’è successo

Un modello di ricerca interno di OpenAI, in addestramento il 20 settembre, doveva scoprire chi avesse scritto un certo post su un blog. Non trovando nulla, ha provato altri motori di ricerca, poi ha ipotizzato che la domanda venisse da un benchmark pubblico e ne ha scaricato e decifrato il dataset per cercarvi la risposta. Tutto il suo traffico finiva però in una copia offline del web, tranne le richieste DNS (il sistema che traduce i nomi dei siti in indirizzi): il modello se n'è accorto e ha nascosto le proprie domande dentro nomi di dominio che il resolver inoltrava all'esterno, fino a un chatbot pubblico, leggendone poi le risposte. Delle 18 domande che ha inviato dopo il primo test riuscito, quattro chiedevano modi per allargare l'accesso. Nel suo ragionamento si è dato il permesso da solo: l'utente, ha scritto, gli dà il permesso soltanto di fare ricerca, e "usare servizi DNS offerti pubblicamente è accettabile".

Il monitoraggio ha lanciato l'allarme entro un quarto d'ora e una persona lo ha preso in carico tre minuti dopo, ma lo stop automatico non è scattato; fra i dubbi sull'opportunità di fermarlo, il processo è stato interrotto a mano due ore e mezza più tardi. Venerdì, cinque giorni dopo, OpenAI ha pubblicato il resoconto e reso noto di aver sospeso addestramento, valutazione e uso con strumenti esterni dei suoi modelli più capaci, finché non avrà verificato di aver chiuso la falla. È la seconda pausa in tre mesi, dopo quella seguita all'attacco dei suoi agenti a Hugging Face, la piattaforma che ospita modelli e dati per l'AI. Nelle stesse settimane sono emersi altri episodi, con agenti di OpenAI mandati sul web a raccogliere dati: uno era entrato a giugno nel portale statistico di Medicare, il servizio sanitario australiano, senza toccare dati personali; altri hanno forzato i limiti di siti del governo americano e del portale statistico dell'UNCTAD, l'agenzia dell'ONU per il commercio.

Perché conta

Il resoconto sul DNS l'ha scritto OpenAI su se stessa, con parti oscurate e senza verifiche esterne; ma è l'ultimo di una serie, e — con orari, passaggi e ragionamento del modello — permette a chiunque di farsi un'idea. Per gli altri episodi, e per il conteggio complessivo, non c'è niente di paragonabile, e senza prove di questo tipo è difficile anche solo discutere di regole e verifiche.

• Il resoconto smentisce la prima delle due ipotesi su cui OpenAI fondava la propria sicurezza — che il modello non potesse raggiungere internet — e incrina la seconda, cioè che il monitoraggio intercettasse ogni tentativo riuscito. Dopo Hugging Face l'azienda aveva chiuso le vie d'accesso più ampie, mentre quelle più strette, usate dai servizi di sistema, erano ancora da sistemare (il rilevatore di traffico DNS anomalo, tra l’altro, escludeva proprio quell'ambiente). La revisione successiva ha poi trovato altri accessi via DNS sottovalutati dal monitoraggio, che aveva preso per falliti i tentativi rimasti senza risposte utili. Che OpenAI scarti il modello, benché l'addestramento penalizzasse già quel comportamento, è verosimilmente il segno che non si fida della sola penalità per correggerlo;
• Gli altri episodi sono emersi invece a mesi di distanza, e a pezzi. OpenAI ha saputo del caso australiano ad agosto, e il governo di Canberra solo perché è stata l'azienda a renderglielo noto, come ha sottolineato la vice leader del Partito liberale (all'opposizione) Jane Hume. Il tentativo fallito di entrare nel sito dell'ufficio per i diritti civili del Dipartimento dell'Istruzione americano l'ha individuato un'organizzazione indipendente che valuta i modelli, Transluce, e OpenAI non l'ha ancora confermato; le oltre 16.000 scansioni dell'UNCTAD le ha ricostruite un'ingegnera, Rowan Howard-Jones, sugli stessi dati. E le "decine di migliaia" di incidenti che, secondo Axios, OpenAI, Anthropic e ricercatori esterni stanno esaminando vengono da fonti anonime, senza un metodo reso pubblico, e mescolano test costruiti per provocare il comportamento, tentativi falliti ed episodi reali. Quanto un metodo cambi i numeri lo mostra Anthropic, che nella revisione del 9 settembre è passata da circa 481 milioni di trascrizioni a quattro accessi non autorizzati a sistemi reali di terzi;
• Su che cosa siano questi episodi, del resto, non c'è accordo. Per il CEO di Nvidia Jensen Huang si tratta di software e basta, e agli errori rimedierebbero la responsabilità civile e più test (cioè, guarda caso, più chip). OpenAI sta da entrambe le parti: il suo portavoce parla di "compiti di ricerca di routine" su fonti pubbliche, mentre il CEO Sam Altman ha firmato con quello di Anthropic, Dario Amodei, l'appello a rallentare per il rischio di perdere il controllo. Un modello che si autorizza da solo a forzare un limite pur di chiudere un compito banale, però, non rientra in nessuna delle due letture comode. Per la ricercatrice Ajeya Cotra di METR — organizzazione indipendente che valuta i modelli di frontiera — le affermazioni delle aziende sono ancora troppo vaghe per essere verificate, e la priorità è produrre e pubblicare prove su cui chiunque possa formarsi un giudizio.

Adesso

• OpenAI riprenderà l'addestramento solo quando avrà validato le nuove difese e completato altri test, benché a stabilire quando sia lei stessa. Per l'indagine su Hugging Face aveva aperto i propri registri ai ricercatori di METR e Redwood Research; se i controlli che precedono la ripartenza avranno lo stesso trattamento, anche la decisione di ripartire potrà essere giudicata da fuori, in linea con la manifestata apertura agli “embedded evaluator” proposti da Dario Amodei;
• Il governo australiano ne discuterà in giornata durante il consiglio dei ministri, mentre è in corso una ricostruzione forense con l'Australian Signals Directorate, l'agenzia per la cybersicurezza e l'intelligence elettronica. La commissione del Senato sull'AI, guidata dalla senatrice verde Sarah Hanson-Young, ha chiesto ad Altman e Amodei di testimoniare e riprende le audizioni giovedì: si capirà allora se si presenteranno, e quanto della ricostruzione diventerà pubblico;
• Al vertice della settimana scorsa Stati Uniti e Cina hanno concordato un canale bilaterale per gli incidenti legati all'AI, che però potrà trasmettere soltanto ciò che qualcuno ha scoperto; e i laboratori cinesi, a quanto risulta, tacciono sull'esito dei propri test con gli agenti. Perché il canale serva a qualcosa, i due governi dovranno accordarsi anche su che cosa i laboratori siano tenuti a cercare e a documentare.