Due chip, un'unica filiera: Google si sfila dalla 'Nvidia tax' per diventare il fornitore universale di cloud compute

Cosa è successo

Al Google Cloud Next di questa settimana a Las Vegas, Google ha presentato l'ottava generazione delle sue Tensor Processing Unit (TPU) — i chip proprietari con cui costruisce e fa girare i propri modelli AI da oltre un decennio. Per la prima volta nella storia del programma, però, non ce n’è una sola, ma due.

La TPU 8t è ottimizzata per il training, la fase in cui si addestra un modello su enormi quantità di dati, massiccia e concentrata nel tempo; la 8i per l'inference, cioè il momento in cui il modello elabora le richieste degli utenti, continua e scalata a miliardi di interazioni. Nello stesso evento, Google ha anche annunciato che Ironwood, la settima generazione di TPU, sarà resa disponibile a tutti i clienti Google Cloud.

La 8t porta quasi tre volte la potenza di calcolo per pod (un gruppo di TPU) rispetto ad Ironwood, e può scalare fino ad un milione di chip in un'unica sessione di addestramento tramite una nuova architettura di rete nominata “Virgo”. La TPU 8i triplica invece la memoria on-chip e introduce “Boardfly”, una struttura pensata per ridurre la latenza nei flussi di ragionamento degli agenti AI. Rispetto alla generazione precedente, entrambe raddoppiano l'efficienza energetica.

Perché è importante

La decisione di separare training e inference risale al 2024 — un anno prima che il settore si accorgesse in massa che i due workload sono fondamentalmente diversi e richiedono hardware dedicato. Chi addestrava un modello e chi lo faceva girare in produzione condividevano la stessa architettura, mangiandosi l'efficienza a vicenda. L'insight sembra ovvio adesso; al tempo era una posizione solitaria, presa su un ciclo di sviluppo hardware che impiega anni a diventare prodotto.

Google, sia pure con un pizzico di visione e coraggio, ha potuto permettersela perché controlla l'intera stack — dal chip all'energia al data center — senza dipendere da un fornitore esterno per le decisioni più critiche. Vahdat, l'SVP che supervisiona il programma TPU, lo ha detto durante la presentazione con una franchezza insolita: un chip all'anno non sarebbe bastato.

Quella dipendenza da un fornitore esterno ha un nome nel settore: "Nvidia tax". Ogni lab che addestra i propri modelli su GPU Nvidia paga un costo che riflette i margini dell’azienda — margini enormi, al punto da aver alimentato una capitalizzazione di quasi cinque trilioni di dollari. Google, che progetta le proprie TPU con partner dedicati su processi produttivi di ultima generazione, non la paga; e i margini rimangono a Mountain View.

Dallo stesso palco, però, Google ha anche annunciato nuovi tipi di server basati su Vera Rubin, il chip di punta proprio di Nvidia. Google non ha alcun interesse a eliminare Nvidia dal proprio cloud, in parte perché non ci riuscirebbe: Rubin, nelle specifiche pubblicate da Nvidia, supera ancora le TPU 8 su quasi ogni metrica rilevante.

La partita si gioca nella scala e nell'efficienza di sistema, ma ancor più nella capacità di strutturare accordi pluriennali a grandezze industriali prima che la domanda (che appare sempre più certa e crescente) si materializzi. Catturare i margini su qualunque chip giri nella propria infrastruttura — Nvidia inclusa — è un gioco diverso, e molto più solido, che inseguire questo o quel benchmark.

Case in point: Anthropic ha impegnato 3,5 gigawatt di capacità sulle TPU di nuova generazione di Google dal 2027, pur continuando a far girare Claude su AWS Trainium e GPU Nvidia. È una scommessa proprio sul fatto che la fame di AI non terminerà, e che si tratti di soddisfarla tramite Gemini o tramite Claude, tramite GPU o TPU, per Google è (quasi) irrilevante, purché la domanda transiti dalla sua infrastruttura; anche a costo di aiutare una diretta concorrente, appunto.

E adesso?

I chip sono annunciati ma non ancora in produzione generale, per cui ci vorranno dei mesi. Nello stesso periodo dovrebbe arrivare anche Rubin, e il confronto sui costi reali di utilizzo fornirà una risposta più definitiva sul vantaggio che Google sta cercando di costruire.

Google ha mostrato questa settimana di avere l'infrastruttura per sostenere la corsa all'AGI — propria e altrui. Trasformarla in vantaggio sui modelli è però un'altra storia: il memo interno di Brin sugli agenti, circolato nelle settimane scorse, aveva già confermato che il divario rispetto ai competitor è reale, e dentro Google lo sanno benissimo. Fra meno di un mese, per le domande su quel punto della stack, c'è l'I/O.