Imparare l'intelligenza artificiale con un foglio elettronico Excel: com'è possibile

Negli ultimi anni, l’intelligenza artificiale (IA) ha guadagnato enorme popolarità e importanza in vari settori, dalla tecnologia alla finanza, dal marketing alla sanità. Tuttavia, comprendere i meccanismi che stanno alla base delle intelligenze artificiali può sempre un compito davvero arduo.

Ci ha davvero colpito il progetto “Spreadsheets-are-all-you-need” ovvero “i fogli di calcolo sono tutto ciò di cui hai bisogno“. Per cosa? Ma ovviamente per imparare l’intelligenza artificiale e le basi del funzionamento dei moderni modelli generativi.

Il nome dell’iniziativa appare come un evidente richiamo allo storico documento Google “Attention is all you need” del 2017 in cui si spiegava il funzionamento dei transformer, essenziali per lo sviluppo dei LLM (Large Language Models), e si chiariva il significato di attenzione, meccanismo che consente di attribuire un peso diverso alle varie parti della sequenza ricevuta in input durante la fase di addestramento così da giungere alla generazione di output più accurati.

Come e perché imparare l’intelligenza artificiale con un foglio elettronico

Spreadsheets-are-all-you-need è un progetto che mira a rendere l’apprendimento dell’IA accessibile a tutti, utilizzando un approccio low-code (quindi senza ricorrere a codice di programmazione) utilizzando un ambiente “familiare” come può essere quello di un foglio elettronico Excel. Il punto di riferimento è il precedente modello GPT-2 di OpenAI che viene implementato, a scopo didattico e divulgativo, in Excel usando il set di funzioni standard dei fogli di calcolo.

Attraverso l’uso di un foglio di calcolo, è possibile visualizzare chiaramente ogni fase del processo di elaborazione del linguaggio naturale. In questo modo è più facile comprendere i concetti complessi che stanno alla base del funzionamento delle IA moderne più avanzate.

Attualmente, Spreadsheets-are-all-you-need presenta alcune videolezioni che coprono argomenti come l’architettura di GPT-2, la codifica Byte Pair e la tokenizzazione. Ulteriori lezioni video saranno poi successivamente aggiunte per esplorare gli ulteriori dettagli dei modelli di IA.

Il repository GitHub contiene il foglio di calcolo, nella sua versione più aggiornata, utile per fare esperimenti e seguire le lezioni pubblicate su YouTube.

L’immagine è tratta dal video “Demystifying how GPT works: From Architecture to…Excel!?!“.

Come funzionano i modelli generativi GPT

Questo primo video offre, come accennato in precedenza, un punto di vista davvero innovativo per comprendere il funzionamento di GPT (Generative Pre-trained Transformer) attraverso l’utilizzo di un foglio di calcolo Excel. Una dimostrazione lampante di come le basi dell’intelligenza artificiale moderna possano essere comprese attraverso strumenti semplici.

Si comincia con il concetto di tokenizzazione, ossia con il processo che divide il testo in token (porzioni spesso formate da più parole) usando un dizionario predefinito. Si ottiene così una distribuzione tra singole parole o frammenti di esse, a seconda della complessità del testo.

L’embedding permette di mappare ciascun token in un array di numeri: quest’ultimo cattura il significato e la posizione del token nel contesto. GPT-2 usa un embedding di 768 numeri per rappresentare ciascun token. Il modello sfrutta quindi il già citato meccanismo di attenzione per determinare la rilevanza dei token nel contesto, facilitando la comprensione delle relazioni tra le parole e, in qualche modo, acquisendo indicazioni sulla semantica.

Lo schema Multilayer perceptron si traduce in una fase incarica di elaborare ulteriormente le informazioni, affinando il “significato” dei token e migliorando la previsione del testo successivo basandosi sul contesto fornito dai token e dall’attenzione.

L’ultimo passaggio, infine, consiste nella generazione del token successivo, selezionato tra i più probabili, per completare o estendere il testo in corso di produzione.

Byte Pair Encoding per l’intelligenza artificiale: in che cosa consiste

Il secondo video pubblicato su YouTube, offre una spiegazione dettagliata del concetto di Byte Pair Encoding (BPE) e del suo ruolo nell’elaborazione del linguaggio naturale e nei modelli di intelligenza artificiale come GPT. Attraverso l’utilizzo di un foglio di calcolo, l’autore dimostra come le parole e i testi vengono trasformati in numeri che i modelli di AI possono comprendere ed elaborare.

La “comprensione” del linguaggio da parte dei modelli di IA inizia con la scomposizione del testo in “morfemi”. Un morfema è l’unità minima di significato all’interno di una parola. In linguistica, un morfema può essere una radice (il nucleo di significato di una parola), un prefisso (aggiunto alla radice di una parola per modificarne il significato), un suffisso (aggiunto alla fine di una parola per modificarne il significato) o un infisso (inserito all’interno della radice di una parola per modificarne il significato).

Utilizzando un foglio di calcolo come esempio pratico, è possibile verificare come un modello linguistico possa essere implementato partendo da un semplice input di testo fino alla predizione di un token.

Abbiamo già detto in precedenza che un passaggio cruciale consiste nella conversione del testo in numeri. Se da un lato la tokenizzazione scompone il testo in parole o in unità più piccole, BPE consente di gestire in modo efficiente parole sconosciute o rare riducendo la dimensione del vocabolario necessario. L’approccio basato su BPE scompone le parole in unità più piccole che possono essere riconosciute dal modello, evidenziando i vantaggi rispetto alla tokenizzazione, basata unicamente su parole intere o caratteri.

Alcune cose da sapere sull’implementazione di un modello generativo in Excel

Come spiegato nel terzo video di approfondimento, le capacità di elaborazione di Excel sono comunque limitate quando ci si deve interfacciare con un modello generativo.

Il modello implementato è per forza di cose limitato alla gestione di piccoli carichi di lavoro, con un limite di contesto di soli 10 token e parole limitate a 10 caratteri. Inoltre, è possibile eseguire solo attività di inferenza, escludendo la possibilità di addestramento del modello.

Tuttavia, seppur muovendosi entro queste importanti limitazioni, l’esercizio proposto si conferma come una preziosissima opportunità didattica, illustrando concetti chiave dell’IA con un approccio accessibile e di facile comprensione.

Spreadsheets-are-all-you-need rappresenta un’opportunità unica per chiunque voglia avvicinarsi al mondo dell’IA. Utilizzando uno strumento comune come Excel, il progetto dimostra che l’IA non è solo per gli esperti di programmazione e data scientist, ma può essere compresa e utilizzata da chiunque abbia una buona comprensione dei fogli di calcolo.

Credit immagine in apertura: iStock.com – Digital43