Windows AI Studio e Phi-2: ottimizzare i modelli generativi in locale con WSL

Durante la conferenza Microsoft Ignite 2023, l’azienda di Redmond aveva preannunciato l’imminente rilascio di Phi-2, un LLM (Large Language Model) che non è poi così di grandi dimensioni, se paragonato con tante altre alternative oggi disponibili. In realtà, è un aspetto positivo perché con appena 2,7 miliardi di parametri, Phi-2 mostra prestazioni confrontabili con i modelli fino a 25 volte più pesanti. A breve Phi-2 diventerà utilizzabile grazie a Windows AI Studio, una soluzione Microsoft che semplifica lo sviluppo di app generative basate sull’intelligenza artificiale.

Cos’è Windows AI Studio e come funziona

Con il ritorno di Sam Altman a capo di OpenAI, Microsoft ha addirittura rafforzato la sua posizione all’interno dell’azienda mettendo in chiaro che il futuro della società responsabile dell’evoluzione dei modelli GPT (Generative Pre-trained Transformer), del chatbot ChatGPT, del modello generativo per le immagini DALL-E e di nuovi strumenti multimodali basati sull’intelligenza artificiale che saranno plasmati a breve, rappresenta un volano essenziale per il business della multinazionale guidata da Satya Nadella.

Un’ulteriore nuova conferma arriva adesso con la pubblicazione di Windows AI Studio, un software che unisce strumenti avanzati per lo sviluppo di intelligenze artificiali attingendo sia alle risorse Microsoft (piattaforma Azure compresa) che a fonti come Hugging Face.

Con Windows AI Studio diventa possibile “sfogliare il catalogo” dei modelli IA alimentato da Azure ML e Hugging Face, scaricarli localmente, affinarli, testarli e utilizzarli nelle proprie applicazioni. Poiché tutte le elaborazioni avvengono in locale, è necessario disporre dell’hardware capace di sostenere i carichi di lavoro ingenerati da Windows AI Studio.

Compatibilità con le GPU NVidia e utilizzo di WSL (Windows Subsystem for Linux)

È curioso osservare che Windows AI Studio, almeno per il momento, risulta basato su GNU/Linux. Per servirsi del nuovo strumento, infatti, sviluppatori, ingegneri e data scientist devono necessariamente installare a abilitare WSL (Windows Subsystem for Linux) in Windows 10 o in Windows 11. Si tratta del componente Microsoft che permette di eseguire la stragrande maggioranza delle distribuzioni Linux direttamente da una finestra Windows (c’è anche la possibilità di eseguire i singoli programmi Linux dal menu Start o dal desktop…).

Abbiamo visto come usare Linux in Windows con WSL: nel caso di Windows AI Studio, è essenziale installare una distribuzione Ubuntu 18.4 o successiva. Oltretutto, le ultime release di WSL presentano grandi novità in termini di gestione delle risorse e della rete.

Per adesso, inoltre, Windows AI Studio risulta esclusivamente compatibile con le GPU NVIDIA ed è fornito come estensione per Visual Studio Code.

L’utilizzo di Windows AI Studio, quindi, passa dapprima per il download e l’installazione di VS Code per poi procedere con il caricamento del componente aggiuntivo tramite Microsoft Store.

A installazione di Windows AI Studio conclusa, un controllo del sistema permette di accertare che le risorse siano tutte disponibili: dopo la verifica dei prerequisiti, è possibile completare la configurazione dell’ambiente cliccando sul pulsante “Set Up WSL Environment“.

Come iniziare a lavorare con Windows AI Studio

Per usare Windows AI Studio è innanzi tutto necessario effettuare l’accesso con un account GitHub. Completato questo semplice passaggio, al lancio di Windows AI Studio, è possibile scegliere tra alcune opzioni:

• Model Fine-tuning
• RAG Project
• Phi-2 Model Playground
• Windows Optimized Models

La prima e l’ultima sono le uniche al momento selezionabili e utilizzabili; le altre due – promette Microsoft – saranno aggiunte a stretto giro.

Con il Model Fine-tuning, si può avviare una sessione di ottimizzazione locale di un modello generativo scelto dal catalogo di AzureML. Non è necessario un account Azure per scaricare i modelli che, grazie all’approccio QLoRA (Quantized Low-Rank Adaptation) e a Windows AI Studio, possono essere arricchiti e ottimizzati.

Windows Optimized Models è invece una raccolta di modelli IA già ottimizzati per Windows, disponibili in diverse posizioni, tra cui Hugging Face, GitHub e così via. È possibile sfogliare i modelli e trovarli tutti in un unico posto, pronti per il download e l’integrazione diretta nelle proprie applicazioni Windows.

Il modello Phi-2, a breve integrato in Windows AI Studio

Nonostante la sua dimensione compatta, il modello Microsoft Phi-2 si distingue per la sua capacità di competere e superare modelli formati con un numero di parametri nettamente superiore, anche su benchmark complessi. E ciò grazie ad alcune innovazioni che migliorano la scalabilità del modello e alla particolare cura riposta nella fase di addestramento.

Secondo i tecnici Microsoft, Phi-2 supera Mistral e Llama-2, basati – rispettivamente – su 7 miliardi e 13 miliardi di parametri. Il comportamento di Phi-2 sarebbe inoltre equiparabile al modello Gemini Nano 2 di Google, nonostante la sua dimensione più contenuta.

Utilizzando Phi-2 Model Playground, diventerà a breve possibile – per gli utenti di Windows AI Studio – utilizzare direttamente e fare esperimenti con il più recente modello svelato da Nadella e dai “suoi”.

Suggeriamo di tenere d’occhio il repository GitHub di Windows AI Studio per conoscere per tempo tutte le evoluzioni di questo promettente strumento.

Credit immagine in apertura: iStock.com/Choreograph