Chatbot come quelli di Microsoft e Google costano 10 volte di più rispetto a una normale ricerca

Microsoft ha annunciato che la tecnologia alla base di ChatGPT e sviluppata da OpenAI sarà presto utilizzata per migliorare le ricerche effettuate con Bing ed Edge. Nei prossimi mesi Prometheus, presentato come un’ulteriore importante evoluzione di GPT-3.5, modello generativo sfruttato per il funzionamento di ChatGPT, verrà esteso a Word, Outlook e PowerPoint.

Presentato a inizio febbraio, Google Bard è il concorrente di ChatGPT e sarà anch’esso integrato nel motore di ricerca come negli altri prodotti dell’azienda di Mountain View, a partire dall’assistente digitale.

John Hennessy, presidente di Alphabet, la “casa madre” di Google, racconta all’agenzia Reuters un aspetto sul quale ci si è focalizzati davvero poco: l’utilizzo di un chatbot con un modello di linguaggio di grandi dimensioni (Large Language Model, LLM) – come quelli sfruttati da ChatGPT, Copilot, Bard e altri strumenti simili – probabilmente costa fino a 10 volte quello di una normale ricerca.

Non è un segreto: già a dicembre scorso il CEO di OpenAI, Sam Altman, aveva pubblicato un tweet in cui sosteneva che i costi computazionali di ChatGPT sono pesantissimi e che è necessario monetizzare il lavoro svolto dal chatbot su scala globale. Questo è il motivo per cui è stato lanciato ChatGPT Plus, una versione “premium” dell’applicazione Web al costo di 20 dollari al mese.

Reuters cita un rapporto Morgan Stanley che stima un costo a carico di Google pari a circa 0,002 dollari per ogni query inviata al suo motore di ricerca tradizionale.
Ipotizzando che Bard possa gestire metà delle ricerche Google con una media di 50 parole di risposta per ogni interrogazione, si stima che i costi affrontati dall’azienda guidata oggi da Sundar Pichai potrebbero salire fino a 6 miliardi di dollari nel 2024.

Il motivo è che, ovviamente, serve un <strong<lavoro computazionale più pesante svolto da parte di unità che in parallelo elaborano la migliore risposta da fornire all’utente sulla base dell’input. In piccola scala l’abbiamo visto con FlexGen, strumento che permette di creare un ChatGPT personale.
Molte più unità computazionali significano anche più energia per alimentare e far funzionare i sistemi.

Certo, i chatbot basati sull’intelligenza artificiale diventeranno progressivamente più efficienti; l’altra soluzione consiste nel monetizzare i servizi mostrando, per esempio, inserzioni pubblicitari e collegamenti sponsorizzati nelle risposte generate dal chatbot.
Ecco perché l’inventore di Gmail Paul Buchheit dichiarava che dopo ChatGPT il business di Google non sarà più lo stesso.
Un’ulteriore opzione potrebbe essere l’introduzione di un servizio di ricerca “premium” a pagamento, un po’ come OpenAI ha fatto con ChatGPT Plus ma ciò sarebbe snaturare lo storico approccio seguito per le ricerche online sia da Google che da Microsoft.