Anthropic dedica 94 pagine su 330 ai rischi catastrofici dell'AI nel prospetto per la Borsa

Cos’è successo

Anthropic ha reso pubblico lunedì il prospetto per la quotazione in Borsa (il cosiddetto S-1, depositato presso la SEC, l'autorità americana che vigila sui mercati), che ai fattori di rischio dedica ben 94 pagine su oltre 330. Fra questi c'è la possibilità che sistemi di AI sufficientemente avanzati comportino "rischi catastrofici o esistenziali per l'umanità", un timore espresso — scrive l'azienda — anche "all'interno della nostra organizzazione"; e c'è l'avvertenza che rallentare lo sviluppo o rinviare un modello per ragioni di sicurezza "potrebbe non massimizzare il valore per gli azionisti". Quanto al controllo, un'unica azione speciale darà ai sette cofondatori il 50,1% dei voti, mentre un trust di persone senza interessi economici nell'azienda (il Long-Term Benefit Trust) sceglierà la maggioranza del consiglio di amministrazione; insieme ne eleggeranno tutti i membri. Gli azionisti ordinari non potranno quindi influire sull'esito dei voti "a prescindere da come votino", con un'eccezione: se i cofondatori non trovano una maggioranza fra loro, il loro pacchetto vota in proporzione agli altri azionisti.

La senatrice democratica americana Elizabeth Warren ha scritto martedì al CEO Dario Amodei, in una lettera visionata dal Wall Street Journal, che quei rischi "esigono un esame più approfondito prima che si intreccino con i mercati pubblici dei capitali", dove potrebbero compromettere anche la stabilità finanziaria, e gli ha chiesto risposte "esaurienti" entro il 3 novembre, fra l'altro su come evitare una minaccia esistenziale e su come giustificare una valutazione che potrebbe avvicinarsi ai $2.000 miliardi. Secondo il WSJ, però, la lettera difficilmente cambierà i piani di un'offerta che potrebbe raccogliere fino a $100 miliardi. Due settimane prima il Comptroller della città di New York Mark Levine — il responsabile delle finanze cittadine, che è anche custode dei fondi pensione dei dipendenti pubblici (oltre $325 miliardi) — aveva chiesto ad Anthropic di sospendere la quotazione finché non avesse affrontato i timori su sicurezza, governance e ritmo dello sviluppo sollevati dall'azienda stessa.

Perché conta

Il prospetto mette per iscritto, sotto la responsabilità legale dell'azienda e con un dettaglio insolito, i rischi della tecnologia che Anthropic vende. È rivolto però a investitori che la sua struttura lascia quasi senza voce, e dalle sue pagine emerge che negli Stati Uniti, oggi, sul momento di fermare o rilasciare un modello decidono soprattutto i cofondatori e il governo federale, senza una regola esterna che stabilisca quando farlo e chi debba verificarlo.

• Il trust — i cui poteri il prospetto descrive ora per esteso — non ha voce sulla gestione quotidiana, e per il quarto seggio, quello che gli dà la maggioranza, gli serve l'assenso del comitato nomine (di cui, secondo il Financial Times, fa parte la presidente Daniela Amodei). L'azienda, poi, fissa da sé anche le soglie oltre le quali fermarsi, perché scrive e aggiorna in proprio la Responsible Scaling Policy, che lega i controlli alle capacità dei modelli. Proteggere le scelte prudenti dalla pressione delle trimestrali ha una sua logica, ma fra gli azionisti senza voce ci saranno anche i fondi pensione della città di New York, che seguono indici di Borsa come il Russell 3000 (le tremila maggiori società americane quotate) e diventeranno investitori di Anthropic "automaticamente" — come ha spiegato un portavoce dell'ufficio di Levine — quando vi entrerà. Vendere, per loro, vorrebbe dire discostarsi dall'indice che replicano; e la tenuta dell'intero impianto dipende così dall'accordo di almeno quattro dei sette cofondatori, su cui gli altri azionisti non hanno pressoché alcuna presa;
• La legge americana sui valori mobiliari obbliga chi si quota a dichiarare ogni rischio che un investitore ragionevole considererebbe rilevante, e un prospetto falso o reticente esporrebbe l'azienda e i suoi dirigenti a cause e sanzioni. Anche per questo l'S-1 vincola Anthropic più di qualunque impegno volontario (a cominciare dall'accordo "moralmente vincolante" sulla superintelligenza firmato a settembre alla Casa Bianca), e proprio sulla quotazione fanno leva Warren e Levine. La SEC, però, esamina il prospetto e chiede chiarimenti perché i rischi siano esposti per intero (della veridicità risponde l'azienda), e non giudica se siano accettabili. Il suo presidente Paul Atkins aveva definito "insolito" un avvertimento come quello sul rischio esistenziale già a fine settembre, sulla base delle anticipazioni, e a marzo aveva ricordato che le regole prescrittive non sono la risposta a ogni nuova tecnologia. Dalla SEC, insomma, è difficile aspettarsi altro che un prospetto più completo, cioè ulteriore trasparenza, come quella che le leggi di California e New York prevedono per i grandi sviluppatori;
• Il Dipartimento del Commercio americano ha imposto a giugno restrizioni all'export su Fable 5 e Mythos 5, i due modelli più avanzati di Anthropic; l'ordine riguardava gli utenti stranieri, ma l'azienda, non potendo escluderli, ha dovuto renderli inaccessibili a tutti per 18 giorni. Le restrizioni sono state revocate dopo un aggiornamento delle protezioni, ma "potrebbero essere imposte di nuovo", avverte il prospetto, che fra i rischi cita anche la minaccia — ventilata a inizio anno dal Pentagono — di ricorrere al Defense Production Act (la legge che permette al governo di imporre alle aziende priorità per la difesa nazionale) per costringere Anthropic a togliere i limiti all'uso dei modelli in armi autonome e sorveglianza di massa. Lo Stato deve poter fermare un modello pericoloso, ma qui le motivazioni restano contese, perché secondo Semafor le restrizioni di giugno sono arrivate anche dopo il rifiuto di Anthropic di concedere al governo un accesso illimitato ai modelli. Senza criteri scritti e noti in anticipo resta un potere discrezionale, che chi investe in Anthropic deve mettere in conto come un rischio d'impresa e che i suoi clienti, alleati compresi, subiscono senza poterlo prevedere.

Adesso

• Anthropic dovrebbe rispondere a Warren entro il 3 novembre e, nel giro di un paio di settimane, aggiornare il prospetto con le dimensioni dell'offerta, in vista di un debutto atteso già a metà novembre. Se le risposte diventassero pubbliche, andrebbero misurate sulle richieste di Levine (audit e controlli precisi, con un calendario) e sulle promesse già fatte, a partire dalla proposta, avanzata a settembre da Amodei, di valutatori esterni con un accesso da dipendente e liberi di pubblicare anche risultati sfavorevoli senza il consenso dell'azienda;
• La bozza di legge che Anthropic ha fatto circolare al Congresso americano permetterebbe al Dipartimento del Commercio di chiedere a un giudice federale di sospendere un modello in caso di rischio "prevedibile e imminente" di oltre 50 morti o feriti gravi, o di oltre $1 miliardo di danni, sulla base del parere di un valutatore esterno registrato presso il Dipartimento, mentre nessun'altra agenzia o funzionario potrebbe sospendere un modello. Sostituirebbe così una procedura scritta alla discrezionalità, attenuando proprio uno dei rischi del prospetto; ma lascerebbe che i valutatori siano pagati dai lab (purché il compenso non dipendesse dall'esito), senza requisiti minimi, e scavalcherebbe alcune leggi statali su trasparenza, valutazioni esterne e segnalazione degli incidenti. Dopo le critiche di chi la giudica più debole del FRONTIER Act, una proposta bipartisan già depositata alla Camera che prevede valutatori con licenza, Anthropic ha promesso di rivedere la parte sulle leggi statali e di proporre requisiti per i valutatori. Il minimo, perché la regola non dipenda da chi la scrive, sarebbe impedire ai lab di scegliersi e pagarsi liberamente chi li valuta;
• Il prospetto mette in conto anche controlli all'export più restrittivi, che potrebbero limitare i Paesi in cui installare i chip più avanzati o custodire i pesi dei modelli — e quindi dove Anthropic e i suoi partner potranno costruire data center. È la stessa leva che a giugno ha forzato lo spegnimento di Fable 5 e Mythos 5, e potrebbe condizionare anche dove installare chip e far girare modelli americani in Europa, mentre l'Unione punta con il Cloud and AI Development Act (la proposta della Commissione europea) ad almeno triplicare la capacità dei propri data center. Nel negoziato su quella proposta, quel passaggio — scritto da un fornitore americano nel proprio prospetto — sarebbe un argomento in più contro chi chiede di ammettere in automatico ai livelli più alti di "sovranità" i fornitori dei Paesi alleati, Stati Uniti compresi.