Un software di controllo per l'AI, non un modello più caro, taglia i costi aziendali fino al 50%

Cos’è successo

Per le imprese che adottano l'AI, l'attenzione si sta spostando dai grandi modelli linguistici (LLMs come ChatGPT e Gemini) ai 'AI model harness'. Quest'ultima, è un'infrastruttura software costruita attorno al modello: uno strato di controllo che fornisce memoria al sistema, gestisce il contesto aziendale, applica le regole di sicurezza e permette all'IA di eseguire azioni concrete interagendo con database, software gestionali e repository aziendali. Il Wall Street Journal ha recentemente definito l'harness come un sistema di "redini" che imbraca e guida il "cervello" dell'IA, evidenziando come la bontà di questa struttura incida sulle prestazioni e sull'efficienza del sistema sul campo almeno quanto l'aggiornamento del modello stesso.

Da uno studio di benchmark condotto da Databricks, mettendo a confronto l'harness aperto Pi (un'architettura software open source e minimale che gestisce l'invio delle informazioni senza vincoli proprietari) con gli ambienti integrati forniti dai singoli vendor (come Claude Code o Codex), Databricks ha registrato una riduzione dei costi medi per singolo compito di oltre il 50%, a parità di tasso di successo. Il motivo risiede nella gestione del contesto (come il software decide quali informazioni pregresse, file e comandi inviare di nuovo al modello a ogni scambio per farlo lavorare): Pi reinvia fino a 3,2 volte meno token inutili (ad esempio, passando da 742.000 a 236.000 token, per completare una task con il modello Opus 4.8), dimostrando che la spesa reale finale delle imprese non dipende dal prezzo di listino del singolo token, ma dalla snellezza del codice che lo racchiude.

Perché conta

L'adozione di un harness bene architettato ridefinisce le priorità di integrazione tecnologica e il budget delle imprese, scardinando l'idea che l'unico modo per ottenere risultati migliori sia attendere un modello più grande o costoso:

• Consente di sganciare i flussi di lavoro aziendali dal singolo fornitore AI, evitando il vincolo a un unico ecosistema proprietario (vendor lock-in), aumentando la resilienza aziendale;
• Permette di integrare un router (un software intermedio che analizza la complessità della richiesta e sceglie a quale AI assegnarla), dirottando fino al 61% delle operazioni quotidiane a media complessità verso modelli economici come GLM 5.2 (a soli $1,28 per compito) anziché impiegare inutilmente i modelli di vertice (in riferimento ai 'top di gamma' delle Big Tech) da $1,94;
• Evidenzia come il prezzo di listino per token sia un indicatore del tutto fuorviante nei compiti operativi complessi; ad esempio, Sonnet 5 costa (sulla carta) il 40% in meno per singolo token rispetto ad Opus 4.8, ma nei test reali è risultato più caro ($2,09 contro $1,94 per task) e meno preciso (81% VS 87% di successo) perché, privo di un harness snello, ha consumato il doppio dei token per completare il lavoro.

Adesso

Con l'AI model harness, il mercato della tecnologia aziendale è soggetta ad una trasformazione strutturale nei rapporti di forza tra i grandi fornitori di cloud (Big Tech) e le imprese clienti:

• Si sposta il valore di mercato dai singoli vendor di modelli allo strato software di controllo, togliendo ai fornitori di LLM il potere di legare a sé i clienti attraverso le sole API proprietarie;
• Si consolida un mercato in cui le aziende non acquistano più semplicemente "intelligenza" a consumo, ma implementano architetture aperte in grado di far competere e alternare modelli diversi (inclusi i modelli open source) in base al puro ritorno economico;
• I provider (fornitori di modelli) vengono costretti dal mercato stesso, a competere non più sulla mera potenza di calcolo ma sull'efficienza dell'infrastruttura complessiva, oltre che sulla concreta riduzione dei token ritrasmessi per ogni ciclo operativo.