Il CEO di Anthropic Dario Amodei propone 3 passi per rallentare la corsa all’AI mentre Trump minimizza i rischi

Cos’è successo

Prima delle ultime aperture di OpenAI a un rallentamento concordato fra laboratori, il cofondatore di Anthropic, Dario Amodei, ha presentato il 12 settembre una proposta per renderlo verificabile. Il CEO del colosso tecnologico ha annunciato l'ingresso di osservatori esterni anche nei processi di addestramento, e ipotizzato soglie di capacità oltre le quali proseguire lo sviluppo richiederebbe certificazioni di sicurezza adeguate. Sam Altman si è impegnato a seguire l'esempio sugli osservatori; e anche Elon Musk sostiene l'iniziativa, senza però annunciare misure concrete.

Il giorno dopo, Donald Trump ha però ribadito che la priorità è battere la Cina, accusando “forze negative” di evocare cose che non accadranno (pur ammettendo possibili protezioni). Secondo The Information, Anthropic, OpenAI e Google discutono infatti già da luglio un organismo comune per gli standard di sicurezza, ma una bozza di ordine esecutivo per istituirlo si è arenata per mancanza di sostegno nell'amministrazione.

Perché conta

Il CEO di Anthropic lega l'urgenza all'AI che aiuta a costruire i propri successori (recursively self-improving AI, RSI), accelerando la ricerca, e agli incidenti come l'attacco degli agenti OpenAI a Hugging Face, piattaforma che ospita modelli e dati. Sistemi incaricati di svolgere compiti circoscritti hanno aggirato i controlli per riuscirci; con capacità maggiori, anche le conseguenze potrebbero crescere enormemente. Rallentare darebbe più tempo per studiare su modelli già esistenti l'allineamento — come mantenerne il comportamento aderente alle intenzioni umane — prima di costruirne altri ancora più difficili da contenere.

• Gli osservatori lavorerebbero dentro Anthropic con accessi simili a quelli dei dipendenti che si occupano di sicurezza e potrebbero pubblicare risultati sfavorevoli senza approvazione editoriale dell'azienda. Sono previste eccezioni per informazioni riservate, ma i valutatori potrebbero segnalare pubblicamente le omissioni rilevanti. Oggi i lab scelgono gran parte di ciò che sappiamo sui propri incidenti; aprire i processi interni a un controllo indipendente permetterebbe di verificare direttamente come vengono rispettati gli impegni pubblici;
• OpenAI, spiega Altman, prepara già valutazioni motivate sulla sicurezza prima dei cicli di reinforcement learning da cui si aspetta progressi significativi nei modelli più avanzati (che imparano attraverso ricompense legate ai risultati). I problemi possono infatti emergere durante lo sviluppo e l'utilizzo interno, ben prima che il prodotto arrivi ai clienti. Per concordare standard, aggiunge, si può cominciare senza aspettare nuove leggi o esenzioni antitrust, richieste invece da Amodei per determinate collaborazioni che potrebbero confliggere con le norme sulla concorrenza;
• A chi chiede un intervento pubblico, come il consigliere della Casa Bianca ed ex responsabile della politica AI David Sacks, risponde invitando i lab a rallentare da soli e descrivendo la richiesta delle regole da loro preferite come un possibile “ricatto”. Che le aziende possano disegnare vincoli a proprio vantaggio merita attenzione, ma il sospetto non confuta i rischi (gli agenti hanno già aggirato le protezioni, e averli sviluppati negli Stati Uniti non li rende più allineati). Nelle parole di Trump, il primato americano vorrebbe offrire proprio la rassicurazione che invece manca sul piano tecnico.

Adesso

• Anche Amodei vuole conservare il vantaggio americano e chiede di difenderlo attraverso i controlli sui chip e il contrasto alla distillazione non autorizzata, con cui i concorrenti cinesi usano le risposte dei modelli occidentali per addestrare i propri. Quel distacco darebbe agli USA più tempo da dedicare alla sicurezza. L'obiettivo rimane un coordinamento internazionale, ma verificare il rispetto di limiti comuni sarebbe difficile; il CEO considera più praticabile cominciare da accordi su usi particolarmente pericolosi, come le armi biologiche;
• Nell'amministrazione, il direttore del Consiglio economico nazionale Kevin Hassett ha accolto favorevolmente gli osservatori esterni, mentre Sacks si è opposto a un organismo di autoregolamentazione collegato al governo, stando a The Information. L'accesso dei valutatori, ancora da attuare, non conferisce infatti il potere di imporre un rallentamento in automatico; senza regole che raggiungano anche chi rifiuta di aderire, i laboratori più disponibili si lascerebbero controllare e gli altri potrebbero continuare a correre indisturbati;
• Sacks confida anche nel rischio di risarcimenti e nella reazione del mercato per disciplinare le aziende. Gli incidenti dell'estate sono avvenuti con quegli incentivi già presenti, dacché i laboratori avevano tutto l'interesse a evitarli, ma hanno comunque faticato a prevedere e contenere il comportamento degli agenti. La pressione politica a vincere la corsa aggiunge un motivo per accelerare, senza risolvere quelle difficoltà tecniche.