Intelligenza artificiale sul vostro PC con Jan: addio ChatGPT e soci

Il termine intelligenza artificiale è ormai sulla bocca di tutti e nelle pagine de IlSoftware.it abbiamo cercato di seguirne da vicino i principali sviluppi. Abbiamo parlato ad esempio di Ollama, un progetto aperto che funge da raccoglitore e gestore dei modelli generativi open source, consentendone l’uso dalla finestra del terminale. Per chi ha poca dimestichezza con la riga di comando, più di recente abbiamo tolto il velo da alcuni progetti di interfacce grafiche per i LLM (Large Language Models).

Jan è uno strumento che nasce con l’obiettivo di democratizzare l’AI: il software si presenta sotto forma di applicazione dotata di interfaccia grafica, compatibile con i sistemi Windows, macOS e Linux. L’applicazione spazza via la complessità tecnica associata all’implementazione delle soluzioni di IA e trasforma il proprio computer in un sistema pronto per eseguire i principali modelli di intelligenza artificiale.

Ripensate il vostro computer e trasformatelo in una macchina basata sull’intelligenza artificiale con Jan

Se state cercando uno strumento in grado di trarre il meglio dai principali modelli generativi open source (ed eventualmente di dialogare con i prodotti commerciali come OpenAI GPT 3.5 e GPT 4) non dovete cercare altrove: Jan, scaricabile da qui, è adatto a tutti e può essere utilizzato previa installazione, con un semplice clic.

Proposto come applicazione indipendente, facile da usare, bella esteticamente, Jan è utilizzabile senza limitazioni e senza sborsare un centesimo. I vantaggi di Jan sono molti ma, per cominciare, vogliamo metterne in evidenza essenzialmente tre:

• Il programma sfrutta automaticamente l’accelerazione della GPU (soprattutto fosse presente una scheda dedicata) ed è compatibile con le soluzioni NVIDIA, AMD, Intel ed Apple. Può funzionare anche in modalità “solo CPU”.
• Attingendo all’Hub a portata di clic, si può scegliere quale o quali LLM utilizzare. Nel caso dei modelli open source, questi sono automaticamente salvati nella cartella di Jan (sottocartella models). In Windows, di solito, si trova nel percorso %userprofile%\jan\models.
• Jan abilita l’uso di un’intelligenza artificiale sovrana nel senso che l’applicazione funziona al 100% in locale, senza bisogno di una connessione Internet (necessaria solamente per scaricare e i vari modelli di proprio interesse). I dati restano sempre sul computer dell’utente senza mai essere scambiati con alcun server remoto.

Come usare Jan

Il primo passo da compiere dopo aver installato Jan, consiste nel fare clic sull’icona Hub, posta nella colonna a sinistra. Qui è possibile scorrere la lista infinita di LLM direttamente supportati dall’applicazione.

Jan verifica la compatibilità di ciascun modello con il sistema in uso e, ad esempio, sconsiglia l’installazione allorquando la dotazione di memoria RAM o lo spazio libero non fossero sufficienti.

Il pulsante Download consente di scaricare il modello e di memorizzarlo in locale, nella cartella di Jan. Completata quest’operazione, si può fare clic sull’icona Thread per iniziare a interloquire con il LLM. Il campo in alto a destra Title, può essere utilizzato per assegnare un’etichetta identificativa alla conversazione. Inoltre, agendo sul riquadro Instructions, si possono impartire delle istruzioni ben precise, delle “regole” alle quali il modello si deve attenere quando fornisce risposte e, in generale, quando interagisce con l’utente.

Poco più sotto, si trovano tutti i parametri di inferenza: sono le variabili e i fattori che influenzano il processo di inferenza del modello ovvero la deduzione di nuove informazioni o la proposizione di conclusioni basate su informazioni già note o su dati disponibili.

Gli utenti possono anche controllare i livelli di censura e utilizzare Jan in una varietà di contesti, dalla sala conferenze a qualsiasi ambiente di casa propria. È anche possibile estendere le abilità di Jan ricorrendo ad altri modelli disponibili su HuggingFace o caricare modelli personalizzati.

Intelligenza artificiale che funziona in modalità privata e offline

Abbiamo detto che tutti gli LLM (a meno che non si specifichino, ad esempio, chiavi per l’utilizzo dei modelli GPT di OpenAI) supportati da Jan lavorano in locale, garantendo la massima privacy. Le conversazioni sono quindi assolutamente private e i dati sono salvati a livello di file system in un formato dati trasparente e aperto.

Jan è anche open source, consentendo agli utenti di esaminare ogni riga del codice sorgente per assicurarsi della sicurezza e della riservatezza dei propri dati.

Perfetto per gli sviluppatori, grazie alle API in stile OpenAI

Jan si rivolge sicuramente agli sviluppatori, offrendo loro la possibilità di integrare facilmente un LLM in esecuzione locale all’interno dei propri progetti.

È possibile attivare la modalità server locale per iniziare a costruire progetti concreti utilizzando un’API (Application Programming Interface) che non si discosta affatto dall’approccio utilizzato da OpenAI. Con la differenza che nel caso di Jan non è necessario versare un centesimo a nessuno per l’utilizzo del modello.

Nello specifico, Jan Desktop include una console per sviluppatori e un’interfaccia utente intuitiva che semplifica la visualizzazione dei log, la configurazione dei modelli e molto altro ancora.

Per iniziare, si può cliccare sull’icona Local API server mostrata nell’interfaccia di Jan in basso a sinistra. Come si vede nell’immagine riprodotta in figura, Jan indica la porta sul quale si pone in ascolto (per default è TCP 1337 ma è possibile personalizzarla). Una volta cliccato su Start Server, tuttavia, il programma cesserà di rispondere ai prompt dell’utente mediante interfaccia grafica, procedendo solo tramite API.

Per coloro che amano sperimentare, Jan offre la possibilità di personalizzare l’aspetto e le funzionalità dell’applicazione attraverso temi, assistenti e modelli, senza la necessità di scrivere codice. L’applicazione può essere completamente personalizzata attraverso l’utilizzo di apposite estensioni, ispirate al concetto introdotto da Microsoft con Visual Studio Code.

Credit immagine in apertura: iStock.com – da-kuk