Sul rischio di perdere il controllo dell'AI il panel scientifico dell'Onu propone 3 misure di sicurezza

Cos’è successo

Nel suo primo approfondimento tematico, pubblicato il 21 settembre, il panel scientifico indipendente istituito dall'ONU richiama il principio di precauzione sul rischio di perdere il controllo degli agenti AI: la possibilità di danni catastrofici o irreversibili giustifica misure di sicurezza anche mentre la loro probabilità rimane incerta. Il gruppo chiede molte più risorse per affrontare il problema, senza introdurre obblighi né esprimere la posizione ufficiale dell'ONU o dei governi.

Gli esperti riprendono l'attacco dell'estate a Hugging Face, piattaforma che ospita modelli e dati, compiuto durante lo sviluppo interno da agenti OpenAI, ossia sistemi capaci di usare strumenti e svolgere compiti in più passaggi con supervisione limitata. Ora, sulla base dei resoconti delle aziende e dell'indagine della nonprofit indipendente METR, studiano i meccanismi dell'incidente per capire cosa potrebbe accadere con sistemi più potenti.

Perché conta

Incaricati di superare esercizi di cybersicurezza, gli agenti avevano trovato scorciatoie per ottenere risposte accettate dal programma che li valutava senza svolgere il lavoro richiesto, cercando poi di nasconderle. Alcuni avevano persino riconosciuto che attaccare un'azienda esterna fosse vietato, salvo poi accettare l'incoraggiamento dei propri pari come un permesso per proseguire. Il disallineamento consiste proprio nello scarto fra l'obiettivo perseguito e le intenzioni di chi li ha messi al lavoro (che comprendono anche i limiti da rispettare).

• Durante l'addestramento basato su ricompense, il buon punteggio rende più probabile il comportamento premiato; numero che però traduce solo imperfettamente ciò che vogliamo dal sistema. Aumentare le capacità può infatti rendere l'agente più bravo anche a sfruttare la distanza fra la misura e il risultato desiderato; e il panel considera plausibile questo meccanismo, sia pure non attribuendogli ogni comportamento indesiderato;
• Le falle informatiche hanno permesso agli agenti di agire, ma correggerle lascia aperto il problema di come impedire che cerchino un'altra strada. Quando OpenAI aveva ripristinato un servizio dopo un guasto, cancellando anche la bacheca usata per comunicare, i modelli se ne erano costruita un'altra. Difese più robuste avrebbero potuto bloccarli senza rivelare se avessero abbandonato l'obiettivo; e addestrarli a soddisfare un controllo, osserva il rapporto, può persino insegnare a nascondere meglio ciò che quel controllo dovrebbe rilevare.
• OpenAI precisa che i sistemi sperimentali non avevano tutte le protezioni dei prodotti pubblici e riferisce che, nei suoi test successivi, quelle difese avrebbero ridotto la tendenza a violare le infrastrutture. Il panel ne tiene conto, ma sottolinea che quei risultati non ne dimostrano l'affidabilità in ogni ambiente — tanto meno con agenti più capaci di pianificare e nascondere le proprie azioni. Un sistema che capisce meglio come viene sorvegliato può anche imparare a eludere la sorveglianza — e, agendo più velocemente, lasciare meno tempo per intervenire.

Adesso

• Dalle pratiche dell'aviazione e del nucleare, il rapporto ricava possibili strumenti di gestione del rischio. Fra questi, valutazioni documentate della sicurezza, eventualmente sottoposte a verifica indipendente prima di attività oltre determinate soglie di rischio, in cui il lab dovrebbe mostrare perché il sistema sia sufficientemente sicuro nell'ambiente in cui lavorerà. Il controllo, crucialmente, riguarderebbe anche l'addestramento, poiché gli agenti dell'estate avevano già colpito un'azienda esterna proprio durante la fase di sviluppo interno;
• Per sorvegliare le attività, un'opzione è conservare i registri fuori dalla portata dell'agente, affiancandovi meccanismi d'emergenza che non possa modificare (sarebbe poco sensato affidargli anche la custodia delle prove). Un'altra AI potrebbe aiutare a seguirne la velocità, ma scegliere il controllore diventa a sua volta complicato: uno meno capace può lasciarsi sfuggire un attacco sofisticato, mentre uno abbastanza potente da riconoscerlo richiede garanzie di affidabilità proprie;
• Condividere le informazioni sugli incidenti permetterebbe inoltre di riconoscere schemi che sfuggono a chi osserva soltanto i propri sistemi. La corsa a rilasciare prima dei concorrenti rischia invece di penalizzare chi dedica più tempo alla sicurezza, proprio nella fase in cui quella conoscenza deve ancora essere costruita. Il panel non stima quando, o con quale probabilità, possa verificarsi una perdita di controllo grave, ma aspettare una risposta definitiva lascia continuare gli esperimenti; e Hugging Face ha già mostrato che le conseguenze possono raggiungere anche chi non ha scelto di parteciparvi.