Tre ricercatori hanno usato Claude per violare OpenAI in meno di 72 ore

Cos’è successo

Tre ricercatori della startup di cybersicurezza Hacktron hanno usato Claude, l'AI della concorrente Anthropic, per entrare negli account di alcuni dipendenti OpenAI e raggiungere un archivio privato del suo codice. L'attacco risale al 25 luglio, circa due settimane dopo quello in cui agenti OpenAI avevano violato Hugging Face, la piattaforma che ospita modelli e dati. Qui erano esseri umani a guidare l'operazione, cercando falle da segnalare: dalla ricerca iniziale alla dimostrazione di accesso sono passate meno di 72 ore.

OpenAI ha confermato due vulnerabilità, ora entrambe risolte, nel software esterno usato dal proprio forum e nel sistema di autenticazione con cui gestisce gli accessi ai suoi servizi. Nella ricostruzione pubblicata a settembre, Hacktron riferisce che la correzione di quest'ultimo è arrivata circa 14 ore dopo la segnalazione.

Perché conta

Tutto è cominciato da un'immagine caricata sul forum pubblico di OpenAI, basato sul software Discourse. Una vulnerabilità nel componente che elaborava le immagini permetteva a un file costruito ad hoc di far eseguire al server comandi scelti dall'attaccante. Esisteva già una correzione nel progetto originale, ma non era arrivata alla versione in uso (non era stata nemmeno identificata come un intervento di sicurezza). Claude ha di fatto aiutato i ricercatori a trasformare quel difetto in un attacco funzionante vero e proprio.

• Impadronirsi del forum, però, non avrebbe dovuto consentire di usare anche ChatGPT. A renderlo possibile è stata la seconda falla: le credenziali digitali destinate all'accesso al forum risultavano infatti valide anche per altri servizi OpenAI. Recuperandole, Hacktron è potuta quindi entrare negli account coinvolti come se fosse il loro titolare, senza dover violare separatamente ogni prodotto; OpenAI, naturalmente, ha poi ristretto i permessi di quelle credenziali e invalidato gli accessi interessati;
• Alcuni account dei dipendenti erano collegati a GitHub, il servizio che ospita il codice dell'azienda; attraverso Codex, l'assistente per la programmazione, Hacktron è così riuscita a inviare una proposta di modifica innocua a un archivio interno. La proposta non è stata accettata, ma il percorso dimostra quanto possano amplificarsi le conseguenze di una violazione quando un assistente lavora dentro i sistemi aziendali — e si porta dietro gli accessi che gli abbiamo dato proprio per renderlo utile;
• Con la versione Opus 4.8 di Claude, i ricercatori avevano individuato il difetto, riuscendo a sfruttarlo soltanto con alcune protezioni del server disattivate; passando al modello più avanzato — Opus 5 — hanno costruito un attacco funzionante anche con quelle difese in piedi. A farlo, beninteso, sono stati degli specialisti, ammessi al programma di Anthropic che concede a ricercatori di sicurezza verificati un accesso a Claude con meno restrizioni. Rimane però notevole che una parte della difficoltà nel violare OpenAI sia venuta meno semplicemente aggiornando il modello usato per attaccarla.

Adesso

• Anche con quell'accesso, Claude ha rifiutato alcuni passaggi. Hacktron racconta di avergli allora presentato una propria installazione del forum come un'esercitazione simulata, ottenendo assistenza per costruire la tecnica poi usata contro OpenAI. Il contesto mostrato al modello era quello di un test; il risultato, però, si poteva ovviamente trasferire altrove. È il “solito” problema del dual use, in cui distinguere l'impiego difensivo da quello offensivo diventa parecchio difficile quando chi chiede aiuto può modificare il racconto dell'operazione conservandone l'utilità pratica;
• Dopo gli incidenti di Hugging Face e Hacktron, secondo il Wall Street Journal, OpenAI ha destinato il 25% degli ingegneri che si occupano dei sistemi in produzione al rafforzamento della sicurezza, sospendendo altri progetti. Sono già emersi problemi seri, poi corretti: per una società impegnata ad accelerare lo sviluppo dell'AI, impiegare un quarto di quel personale nella difesa è un costo tutt'altro che marginale (e dà ulteriore sostanza all'urgenza manifestata in queste settimane ben più di una dichiarazione di principio);
• Anche nella mera ottica della corsa a battere la Cina, su cui insiste Trump, proteggere i risultati della ricerca dovrebbe pesare quanto produrne di nuovi. Qui non ci sono prove di un'operazione cinese, né del furto dei parametri che fanno funzionare i modelli, ma il codice riservato è comunque un altro patrimonio a cui gli avversari potrebbero voler accedere, e il generale miglioramento dell'AI rende più potenti anche gli strumenti con cui tentare di sottrarlo. Una politica che misura il vantaggio soltanto dalla velocità dei nuovi modelli finisce così per sottovalutare quanto sia difficile tenersi i risultati.