Transformer: l'idea che ha dato un forte impulso all'intelligenza artificiale

I transformer sono un tipo di architettura di rete neurale utilizzata nell’intelligenza artificiale per i compiti di elaborazione del linguaggio naturale (NLP) e altre attività legate al riconoscimento dei modelli nei dati sequenziali. Questa architettura è stata introdotta per la prima volta nel documento del 2017 dal titolo “Attention Is All You Need“, elaborato e presentato dai ricercatori di Google Brain.

I ricercatori che hanno lavorato sul concetto di transformer hanno voluto introdurre un nuovo approccio all’elaborazione delle sequenze di dati, superando alcune limitazioni delle architetture precedenti, come le reti ricorrenti (RNN) e le reti neurali convoluzionali (CNN).

I transformer il meccanismo di attenzione

La caratteristica principale dei transformer è l’uso di meccanismi di attenzione (la parola “attention” figura proprio nel titolo della ricerca firmata Google Brain) al fine di elaborare sequenze di dati in input. L’attenzione è un concetto fondamentale nell’ambito dell’elaborazione del linguaggio naturale e dell’apprendimento automatico in generale. Essa, infatti, si riferisce alla capacità del modello di dare più peso a parti specifiche di un input durante l’elaborazione, in base alla loro rilevanza o importanza. L’attenzione consente ai modelli di concentrarsi su parti specifiche dell’input durante il processo di apprendimento e di prendere decisioni migliori.

Nelle prime righe abbiamo parlato di dati sequenziali: sono insiemi di dati organizzati in sequenza, dove l’ordine delle unità di dati è importante e ha un significato specifico. I dati sequenziali sono dati strutturati in modo tale che ciascun elemento sia legato al suo predecessore e/o al suo successore nella sequenza. È quello che accade nel linguaggio naturale, nella musica, nei video e in altre aree: l’ordine delle unità è essenziale per comprendere il significato complessivo.

Abbiamo detto che il transformer è in grado di assegnare differenti pesi a diverse parti dell’input, focalizzandosi su quelle rilevanti per la generazione del testo. In questo modo, il transformer può catturare relazioni a lungo raggio tra i termini forniti in ingresso dall’utente migliorando la capacità di generare testi coerenti e quindi pienamente in linea con il contesto.

La rivoluzione introdotta dai modelli generativi di OpenAI

Quando OpenAI ha presentato il chatbot ChatGPT e, di conseguenza, i modelli generativi utilizzati per il suo funzionamento (il più aggiornato e potente è ad oggi GPT-4 con GPT-5 che potrebbe essere già all’orizzonte nonostante il fondatore della società, Sam Altman, lo neghi con forza…) correva il mese di novembre 2022. Quell’evento si è rilevato come un vero e proprio terremoto sul mercato e sul mondo dell’informatica in generale: OpenAI aveva aperto all’idea dell’intelligenza artificiale (IA) nelle mani di tutti gli utenti ispirandosi proprio al documento “Attention Is All You Need” del 2017. Quello che Google Brain aveva messo nero su bianco, si è trasformato in un progetto commerciale di enorme successo proprio sotto la spinta di OpenAI.

È stato uno dei (pochi) frangenti in cui Google si è evidentemente sentita superata dalla concorrenza intuendo poi l’impatto rivoluzionario che avrebbe avuto l’introduzione dell’IA, ad esempio, nel mondo delle ricerca online. Di lì a poco, Google è corsa ai ripari intensificando gli investimenti e gli sforzi nelle sue soluzioni per l’intelligenza artificiale e unendo di recente il team Brain con quello di DeepMind. Bard è stato solamente un primo “assaggio” perché d’ora in avanti l’azienda vuole “fare sul serio” recuperando rapidamente il terreno perduto.

Google in ritardo rispetto a OpenAI: perché

Fino alla presentazione di ChatGPT e dei modelli generativi GPT (Generative Pre-trained Transformer), i vari player del settore avevano utilizzato i proverbiali piedi di piombo. Le motivazioni sono tante e piuttosto sfaccettate: tra tutte, la difficoltà nello sviluppare modelli meno influenzati dai cosiddetti bias nei dati di addestramento.

I bias sono pregiudizi o distorsioni all’interno dei dati di addestramento utilizzati per creare modelli di intelligenza artificiale. Le rappresentazioni sbilanciate o distorte tipicamente influenzano negativamente i modelli che, a loro volta, possono acquisire tali pregiudizi come “attendibili” e usarli nei risultati via via generati. Il gioco di ruolo DAN ha fatto saltare tutte le salvaguardie imposte da OpenAI mostrando un chatbot ChatGPT senza filtri e censure. A parte questi “casi particolari”, OpenAI è riuscita prima a realizzare ciò che altri non erano ancora riusciti a creare. Creandoci in più un business remunerativo.

Insomma, se da un lato Google Brain ha anticipato tutti con un’idea rivoluzionaria come quella descritta nel documento “Attention Is All You Need“, la casa madre non sembra poi aver avuto la forza di investirci convintamente per sviluppare un prodotto commerciale di successo (come ha fatto invece OpenAI).

Che fine hanno fatto i ricercatori del documento “Attention Is All You Need“?

Insomma, per una volta (anche se l’azienda di Mountain View ha fatto diversi passi falsi nel corso della sua storia, come è normale che sia…) Google non si è accorta della miniera d’oro che aveva già dal 2017 tra le sue mani. Basti pensare che lo studio “Attention Is All You Need” del 2017 è stato citato più di 80.000 volte in articoli a firma di vari ricercatori.

Ma che fine hanno fatto gli 8 ricercatori che hanno studiato e sviluppato il concetto di transformer partorendo quello storico documento che resterà negli annali dell’informatica moderna? Nessuno di loro lavora più per Google. Dopo aver abbandonato la società fondata da Larry Page e Sergey Brin, ciascuno di loro ha fondato startup che si occupano di intelligenza artificiale o, come nel caso di Luke Kaiser, è passato proprio a OpenAI.

Ashish Vaswani e Niki Palmar, per esempio, hanno cofondato Essential.ai; Noam Shazeer ha confondato Character.ai; Jakob Uszkoreit ha contribuito a lanciare Inceptive Nucleics; Aidan N. Gomez è CEO di Cohere; Illia Polosukhin ha cofondato NEAR Protocol; Llion Jones, un’altra startup. Insomma, una vera e propria diaspora con Google che ha visto partire per altri lidi alcune delle menti più fervide in fatto di IA.

Il tempo e le indicazioni dei vertici aziendali Google hanno giocato a favore di OpenAI

Stando alle testimonianze raccolte dal Bloomberg a luglio 2023, i ricercatori di Google Brain erano spesso ossessionati dal loro avanzamento di carriera e visibilità negli articoli di ricerca tanto che mancava una chiara direzione strategica. Ricercatori e ingegneri che hanno preferito rimanere anonimi, riferiscono che “durante lo sviluppo dell’idea dei transformer, hanno dovuto sottoporsi a numerose verifiche per far approvare l’idea“.

Per dare qualche numero, OpenAI ha impegnato nel 2023 circa 150 ricercatori sull’intelligenza artificiale a fronte dei 375 dipendenti complessivi. Google, invece, schierava circa 140.000 dipendenti che svolgevano il ruolo di ricercatori sull’intelligenza artificiale. Eppure con GPT e ChatGPT è successo ciò che tutti noi abbiamo visto.