Meta crede nell'hardware aperto per l'intelligenza artificiale

Durante l’Open Compute Project (OCP) Global Summit 2024, Meta – la “casa madre” di Facebook, Instagram e WhatsApp – ha mostrato un’ampia gamma di innovazioni nel settore hardware per l’intelligenza artificiale (IA). L’azienda ha voluto rimarcare il suo impegno nello sviluppo di tecnologie aperte e collaborative non solo sul versante software ma anche per quanto riguarda l’hardware.

La domanda di potenza di calcolo e la complessità dei modelli IA crescono in maniera esponenziale. Per tenere testa alle richieste sempre più esigenti, servono innovazioni efficaci.

Meta spiega di essersi attivata sviluppando nuove piattaforme hardware, design di rack aperti e componenti di rete avanzati. Innovazioni che, secondo i portavoce dell’azienda, non mirano soltanto a supportare le esigenze emergenti dell’IA, ma anche a incoraggiare una comunità aperta di sviluppatori e ingegneri a partecipare attivamente al futuro dell’hardware per l’IA.

L’esempio del modello Llama 3.1 405B e il suo impatto sull’hardware

I modelli Llama (Large Language Model Meta AI) rappresentano una famiglia di modelli linguistici di grandi dimensioni sviluppati da Meta, progettati per l’elaborazione del linguaggio naturale (NLP) e per applicazioni di intelligenza artificiale. L’ultima iterazione del modello si chiama Llama 3.2 e nasce con l’obiettivo di essere ancora più facilmente personalizzabile con le informazioni dei singoli utenti-aziende.

Grazie alla licenza con cui sono distribuiti, gli sviluppatori possono usare i modelli Llama per scopi commerciali e di ricerca, a condizione che non superino i 700 milioni di utenti attivi mensili.

Meta ha dichiarato che il rilascio sotto forma di progetti open source dei modelli Llama è parte della sua visione per democratizzare l’accesso all’intelligenza artificiale e promuovere l’innovazione attraverso la collaborazione.

Con 405 miliardi di parametri e una context window fino a 128.000 token, Meta sottolinea come Llama 3.1 405B sia uno dei più grandi modelli di linguaggio mai creati. L’addestramento di un modello di tale portata ha richiesto enormi sforzi infrastrutturali, con oltre 16.000 GPU NVIDIA H100 impiegate per elaborare più di 15 trilioni di token. Questa scala di addestramento, senza precedenti per Meta, ha spinto l’azienda a ridefinire completamente la sua architettura di calcolo e di rete.

Prima del progetto Llama, i maggiori carichi IA di Meta venivano gestiti avvalendosi al massimo di 128 GPU NVIDIA A100. Nel corso del 2023, tuttavia, l’azienda ha dovuto rapidamente  estendere la sua infrastruttura. Inizialmente, i cluster di addestramento sono cresciuti da 1.000 a 4.000 GPU, fino a raggiungere la soglia impressionante di 24.000 GPU. Questa rapida accelerazione riflette l’evoluzione dei requisiti computazionali necessari per gestire modelli IA sempre più complessi. Meta prevede che la domanda di risorse continuerà a crescere nei prossimi anni.

Introduzione di Catalina: nuovo standard per l’infrastruttura IA

Uno degli annunci più rilevanti all’OCP Global Summit è stata la presentazione di Catalina, un nuovo rack ad alte prestazioni progettato appositamente per i carichi di lavoro IA. Basato sulla piattaforma NVIDIA Blackwell, Catalina è concepito per essere modulare e flessibile, rispondendo così alle crescenti esigenze di un’infrastruttura IA moderna.

Catalina supporta il più recente NVIDIA GB200 Grace Blackwell Superchip, che offre una potenza di calcolo senza precedenti e una gestione avanzata della memoria per i carichi IA intensivi. Un aspetto fondamentale di questo design è Orv3, un rack ad alta potenza (HPR) capace di supportare fino a 140kW, una necessità dettata dalla crescente domanda energetica delle GPU di ultima generazione. Il sistema è interamente raffreddato a liquido, garantendo un’efficienza ottimale anche nei contesti di calcolo più intensivi.

Grand Teton: supporto per gli acceleratori AMD

Oltre all’introduzione di Catalina, Meta ha annunciato un’importante evoluzione della sua piattaforma Grand Teton. Inizialmente introdotta nel 2022, Grand Teton è progettata per supportare carichi di lavoro IA con elevate esigenze di larghezza di banda sul versante della memoria.

La novità è che la piattaforma di Meta adesso è in grado di supportare gli acceleratori AMD Instinct MI300X, una mossa che amplia le opzioni di accelerazione disponibili all’interno dell’infrastruttura della società guidata da Mark Zuckerberg.

Con l’aggiunta degli acceleratori AMD, Grand Teton offre ora una capacità computazionale significativamente maggiore, accelerando la convergenza su modelli di IA di dimensioni ancora maggiori. I vantaggi si traducono in una maggiore velocità di addestramento dei modelli e inferenza per una vasta gamma di applicazioni.

Le immagini nell’articolo sono tratte dal post di Meta. Credit immagine in apertura: iStock.com – Digital43