Anthropic trova 3 incidenti in 141 mila test dopo che Claude ha bucato le difese di aziende durante le valutazioni

Cos’è successo

Dopo il caso OpenAI-Hugging Face di appena una settimana fa, Anthropic è andata a rileggere le proprie valutazioni di cybersicurezza: fra le 141.006 sessioni in cui Claude avrebbe potuto raggiungere internet (contro le istruzioni) ne ha trovate sei, raggruppate in tre incidenti, in cui il modello ci è arrivato davvero ed è poi entrato nei sistemi di altrettante organizzazioni. Claude stava svolgendo una prova del tipo capture the flag, in cui deve penetrare in un'altra macchina e recuperarvi un dato nascosto; nel prompt gli era stato detto che era tutto simulato e che la rete non c'era; tuttavia una configurazione sbagliata — sfuggita sia ad Anthropic sia al fornitore esterno — aveva invece fatto sì che ci fosse.

Il caso più elaborato riguarda Claude Mythos 5. Trovate in uno scenario delle istruzioni che invitavano a installare un pacchetto Python inesistente, il modello ha deciso di pubblicarlo da sé su PyPI (il registro pubblico da cui il software Python si scarica), riempiendolo di codice malevolo affinché i sistemi della finta azienda se lo scaricassero autonomamente. Per registrarsi serviva un'email, e per l'email un numero di telefono: Claude ha cercato invano un servizio di numeri gratuiti, ha tentato di procurarsi i soldi per comprarne uno (fallendo), e alla fine è tornato indietro trovando un fornitore di posta che gli ha permesso di creare un account senza bloccarlo. Il pacchetto è rimasto online circa un'ora ed è stato scaricato ed eseguito su quindici macchine reali, finché i sistemi automatici di PyPI non l'hanno rimosso.

Perché conta

Il complesso problema del cosiddetto disallineamento dei modelli include la perseveranza con cui questi vanno ad assolvere i compiti di cui sono incaricati, preoccupandosi ben poco delle potenziali conseguenze avverse delle scelte prese durante il percorso (come, ad esempio, hackerare un’azienda).

• Mythos 5, nello specifico, aveva anche realizzato che alcune delle sue scelte non erano propriamente etiche. Nella sua catena di pensiero — le tracce del ragionamento che il modello produce mentre lavora — aveva infatti annotato che pubblicare quel pacchetto, se la rete fosse stata vera, sarebbe stato "NOT okay”, e “sicuramente non la soluzione immaginata”. Poi però si è auto-convinto del contrario, non riconoscendo né le autorità di certificazione (che invece erano autentiche) né i sistemi con cui comunicava, che segnavano una data futura del 2026, presa come prova che l'ambiente fosse finto. Quando gli scanner automatici hanno iniziato a scaricare il pacchetto, li ha presi per elementi di contorno della simulazione, che in un contesto fittizio sarebbero tipici ma che qua erano assolutamente veri. Anthropic non ha cercato alibi, dicendo espressamente che il comportamento non era quello desiderato;
• I modelli di OpenAI avevano sfruttato una vulnerabilità sconosciuta (un cosiddetto zero-day) per evadere da un ambiente isolato, mentre Claude ha sostanzialmente trovato una porta lasciata aperta per errore. Anthropic colloca perciò l'accaduto più vicino ad un guasto operativo che non propriamente al disallineamento, benché questa presa di posizione sia contendibile. Soprattutto in assenza di una chiara traccia dei pensieri dei modelli (più estesa della sola catena di pensiero), è difficile stabilire con certezza che i modelli non sapessero di sbagliare, e che dunque abbiano agito “in buona fede”. È un qualcosa che si può solo dedurre dal fatto che, con le informazioni di cui si è a conoscenza, l’accesso privilegiato che i modelli si sono garantiti non è stato abusato per ulteriori scopi sinistri;
• Opus 4.7, il più vecchio dei tre modelli esaminati, si è accorto in tutte e quattro le sessioni di trovarsi su un sistema reale e ha proseguito ugualmente, arrivando a un database con diverse centinaia di righe di dati veri; Mythos 5 ha intuito e si è ricreduto; solo il terzo, un prototipo di ricerca interno che non è destinato al rilascio, si è fermato da sé. Anthropic suggerisce che tre episodi isolati non rappresentano un dato statisticamente valido per assumere che i modelli si comportino così di default; resta però il fatto che, nel fermare l’attacco più grave, l’intervento è venuto dai sistemi di sicurezza esterni di PyPI, non dall’accortezza del modello.

Adesso

• Dopo l'approvazione della legge californiana SB 53, Anthropic si è data due documenti di sicurezza, uno vincolante per legge e uno volontario. Nathan Calvin — consulente legale di Encode, l'organizzazione che quella legge ha contribuito a farla passare — fa notare che il primo copre i modelli distribuiti all'esterno, mentre per gli usi interni prevede processi "in sviluppo". È il perimetro in cui ricadono attività come queste;
• In prove come queste i modelli mantengono il proprio addestramento alla sicurezza ma girano senza i filtri delle versioni commerciali, che secondo Anthropic avrebbero bloccato tutto. Una delle vittime, per inciso, è l'azienda di sicurezza il cui scanner ha installato il pacchetto per analizzarlo, che quindi è stata violata mentre faceva il proprio mestiere;
• Gli episodi più vecchi risalgono ad aprile e sono emersi solo a fine luglio, perché un concorrente ha pubblicato i propri: il controllo è arrivato da una rilettura volontaria dei registri e non da un allarme, per quanto una volta avviata l'azienda abbia sospeso il giorno stesso tutti i test sulla cybersicurezza per i modelli in fase di addestramento. Due delle organizzazioni colpite, contattate da Anthropic, non si erano accorte di niente; la terza non è ancora stata raggiunta e a oggi non sa di essere stata bucata. L'azienda ha promesso entro la settimana una trascrizione dell'episodio PyPI e sta trattando una revisione indipendente con METR, l'organizzazione che valuta dall'esterno i modelli di frontiera.