Supercomputer: Meta presenta AI Research SuperCluster con 16.000 GPU

Meta, la società che è casa madre di Facebook, WhatsApp e Instagram, ha annunciato di essere nelle fasi conclusive della messa a punto di un supercomputer per l’intelligenza artificiale che verrà utilizzato nello specifico per addestrare i sistemi di apprendimento automatico.

Gli ingegneri dell’azienda di Mark Zuckerberg sottolineano che il nuovo AI Research SuperCluster (RSC) è già tra le macchine più veloci nella sua categoria e quando sarà completata a metà del 2022 sarà il supercomputer più potente al mondo.

RSC sarà utilizzato per addestrare una serie di sistemi utilizzati in tutte le attività svolte da Meta: dagli algoritmi per la moderazione dei contenuti adoperati al fine di rilevare hate speech su Facebook e Instagram alle funzionalità per la realtà aumentata che un giorno saranno disponibili nei nuovi hardware commercializzati dall’azienda di Menlo Park.
Il supercomputer sarà anche alla base della progettazione delle nuove esperienze interconnesse attraverso il metaverso.

“RSC aiuterà i ricercatori di Meta a costruire nuovi e migliori modelli AI che possono imparare da migliaia di miliardi di esempi, lavorare usando centinaia di lingue diverse, analizzare senza soluzione di continuità testo, immagini e video insieme, sviluppare nuovi strumenti di realtà aumentata e molto altro ancora“, scrivono gli ingegneri di Meta Kevin Lee e Shubho Sengupta in un post sul blog ufficiale della società.
Il nuovo supercomputer permetterà di “costruire sistemi AI completamente nuovi che possono, per esempio, gestire traduzioni vocali in tempo reale in gruppi formati da un un gran numero di persone, ognuna delle quali parla una lingua diversa. In questo modo potranno collaborare senza problemi a un progetto di ricerca o giocare insieme a un gioco in realtà aumentata“.

Il lavoro su RSC è iniziato un anno e mezzo fa con gli ingegneri di Meta che hanno progettato i vari sistemi della macchina – raffreddamento, alimentazione, rete e cablaggio – interamente da zero.
Nella sua “fase uno” RSC utilizza già 760 sistemi NVidia GGX A100 con 6.080 GPU collegate; prima della fine del 2022, però, la “fase due” sarà completa e a quel punto il supercomputer si avvarrà di 16.000 GPU in totale.
Sarà una macchina in grado di addestrare sistemi AI “con più di mille miliardi di parametri su set di dati grandi un exabyte“.

Va detto che per le esigenze di apprendimento automatico (machine learning) è richiesto un livello di precisione inferiore rispetto a quello necessario per portare a termine i compiti affidati ai supercomputer tradizionali.
Ciò significa che quando Meta dice di aver costruito il “supercomputer AI più veloce del mondo” l’affermazione non va presa come un confronto diretto con i supercomputer che sono elencati nella classifica Top500.

Sia i supercomputer che i supercomputer per l’intelligenza artificiale svolgono le loro elaborazioni usando calcoli in virgola mobile in modo da lavorare sia su numeri molto grandi che molto piccoli.
Il grado di precisione impiegato nei calcoli in virgola mobile può essere regolato in base ai diversi formati e la velocità della maggior parte dei supercomputer è valutata utilizzando l’acronimo FLOP (FLoating point Operations Per Second) ovvero il numero di operazioni in virgola mobile eseguite in un secondo.
I calcoli a doppia precisione sono quelli con maggior carattere di precisione ma sono anche quelli computazionalmente più impegnativi e corrispondono alla rappresentazione a 64 bit dei dati. Si utilizzano però anche rappresentazioni a 32 e 16 bit (half-precision).

Ecco perché confrontare i due tipi di sistemi non equivale necessariamente a paragonare mele con mele. Ciò chiarito queste considerazioni non vogliono comunque ridimensionare il lavoro svolto da Meta e in generale l’incredibile potenza e capacità dei supercomputer AI.