Un sistema di agenti AI viola Hugging Face e i tecnici devono usare un modello cinese aperto perché i filtri Usa bloccano l'analisi dell'attacco

Cos’è successo

Hugging Face, la piattaforma dove si scambiano modelli e dati per l'AI, ha dichiarato che parte della sua infrastruttura è stata violata da un sistema di agenti AI, senza nessuno alla guida. L'ingresso è arrivato da una raccolta di dati caricata apposta: nel prepararla, il sistema non l'ha infatti solo letta ma ne ha eseguito le istruzioni. Da lì ha preso le chiavi d'accesso ai sistemi interni e, nel corso di un fine settimana, si è spostato tra più gruppi di GPU.

Per ricostruire l'accaduto i tecnici si sono rivolti ai modelli americani di frontiera, ma i filtri dei fornitori li hanno respinti, perché paradossalmente sottoporre a un modello comandi d'attacco e credenziali rubate somiglia proprio al genere di attacco per cui scattano i filtri di sicurezza. L'analisi è stata rifatta su GLM 5.2, modello cinese a pesi aperti (scaricabili e modificabili), sui server di casa.

Perché conta

I filtri servono a impedire gli abusi, ma non sanno chi hanno davanti. Come ha spiegato Merritt Baer, ex vice responsabile della sicurezza di AWS, un modello non può verificare se chi chiede di analizzare un attacco ne sia la vittima o l'autore. Le AI “alleate” hanno così fermato chi ha un nome, una sede e un ufficio legale, senza riuscire a fare altrettanto con un agente avverso.

• Se un archivio di dati può, dall’esterno, apparire solo come “informazione passiva”, strumenti in grado di elaborarli da fuori — come agenti AI — possono anche arrivare ad eseguire il codice nascosto al suo interno. Chi difende un'azienda controlla i programmi che installa, non necessariamente i dati che dà in pasto ai suoi sistemi — e che sia successo a Hugging Face, piattaforma la cui intera value proposition è proprio ospitare dati, rende difficile liquidare il caso come isolato;
• Ed è curioso che si sia dovuti ricorrere ad un modello aperto come contromisura. Hugging Face, nel suo report sull’incidente, rimarca proprio l’importanza di tenersi pronto un modello capace da far girare in casa (non dipendendo dalle API controllate dei provider), per non restare bloccati dai filtri e per non far uscire dalla rete i dati dell'attacco;
• Secondo l'istituto britannico per la sicurezza dell'AI (AISI), sui compiti di sicurezza informatica i modelli aperti migliori — come i cinesi GLM-5.2 e Kimi K3 — sono a circa quattro-sette mesi di distanza dai chiusi. La qual cosa rende il paradosso ancora più bizzarro: gli strumenti open weight vengono usati dai malintenzionati per attaccare, e chi potrebbe difendersi con i tool chiusi più avanzati non può farlo a causa dei filtri troppo severi, lasciando l’utilizzo di altri modelli aperti come alternativa. Un gioco pericoloso, che con l’avanzamento delle capability potrebbe presagire attacchi ben più sofisticati e difficili da intercettare e contravvenire.

Adesso

• David Sacks, consigliere della Casa Bianca per l'AI, ha attaccato i limiti sui modelli americani, perché "non c'è ragione di limitarli su compiti che quelli cinesi gestiscono senza problemi". Sacks parla da una parte proprio di Hugging Face; dall'altra, di uno sviluppatore che dice di aver fatto sistemare a Kimi K3 quindici falle rifiutate dai modelli americani, benché senza riscontri terzi;
• Nel merito Sacks ha ovviamente ragione, perché un filtro eccessivamente aggressivo, in casi come questi, inibisce i difensori ad un costo potenzialmente molto più alto di quello prevenuto durante le normali attivazioni degli stessi. È una calibrazione tecnica complessa ma, in assenza di blocchi preventivi ai modelli aperti, l’unica soluzione viabile;
• La difesa, nel caso Hugging Face, ha retto perché era automatizzata a sua volta, e perché l’analisi di oltre 17.000 azioni dell’attaccante è stata compressa in ore invece che in giorni grazie ai modelli. Rimane però un punto, e cioè che chi ha lo strumento per attaccare lo usa. Chi difende, bloccato da guardrail o da policy pensate per un mondo in cui l’agente sta solo dall’altra parte, rischia di rimanere in balia. Un rischio che, progressivamente, non ci si potrà più permettere.