ChatGPT alternative open source: ecco quali sono

Quando a fine novembre 2022 OpenAI ha presentato ChatGPT, l’azienda guidata da Sam Altman ha letteralmente aperto un nuovo mondo offrendo una dimostrazione pratica di ciò che è possibile sviluppare nell’ambito dell’intelligenza artificiale usando i sottostanti modelli generativi. Oggi il mercato offre alternative a ChatGPT: in particolare gli strumenti open source possono offrire un valido rimpiazzo e, talvolta, essere utilizzati anche in contesti commerciali.

Un chatbot come ChatGPT è semplicemente un’applicazione sviluppata al di sopra di un LLM (Large Language Model), addestrato e costruito a partire da un grande volume di dati. Il modello generativo GPT (Generative Pre-trained Transformer) è un modello di linguaggio basato su un concetto introdotto da Google nel 2017: OpenAI ha battuto sul tempo l’azienda fondata da Larry Page e Sergey Brin. In un nostro approfondimento abbiamo spiegato cosa sono i transfomer e come funzionano.

Le varie versioni di GPT susseguitesi nel corso degli anni, apprendono le strutture linguistiche e semantiche in maniera automatica utilizzando enormi quantità di testo, non “etichettato” o commentato in nessun modo. In altre parole, l’apprendimento è non supervisionato, successivamente adattato per svolgere compiti specifici attraverso attività di fine-tuning (ottimizzazione).

Alternative a ChatGPT open source: cosa sono e come funzionano

La disponibilità di risorse hardware specializzate, utili per portare a termine la fase di addestramento dei modelli generativi, ha permesso a vari soggetti di “confezionare” i loro LLM. Oltre a OpenAI, lo hanno fatto le aziende di più grandi dimensioni, realtà commerciali come Google, Meta, Microsoft (che ha uno stretto legame con OpenAI), Amazon, Samsung e via dicendo ma hanno iniziato a guardare nella stessa direzione anche realtà meno conosciute. Tanto da far dire a qualche esperto che i modelli generativi open source supereranno quelli di OpenAI e Google.

I francesi di Mistral AI, ad esempio, hanno addestrato il loro modello generativo open source Mistral 7b avvalendosi delle risorse del supercomputer Leonardo, in forze presso il consorzio CINECA (Tecnopolo di Bologna). Il risultato è un modello generativo “aperto” che può essere utilizzato anche per finalità commerciali.

In ogni caso, come abbiamo spiegato, una cosa è il chatbot, un’altra il modello sottostante. Il chatbot è l’implementazione specifica e ad alto livello di un modello generativo che abilita l’interazione con gli utenti. Mentre il modello generativo può generare testo in modo autonomo, il chatbot utilizza questo modello per rispondere alle domande degli utenti, fornire informazioni ed eseguire compiti.

I motivi per guardare a soluzioni ChatGPT alternative

Oltre ai modelli generativi che rivaleggiano con OpenAI GPT, esistono anche veri e propri chatbot alternativi a ChatGPT. In altre parole, vari soggetti hanno via via realizzato prodotti open source progettati per dialogare con i modelli più noti, performanti ed efficaci. Anch’essi altrettanto aperti.

Rispetto alle soluzioni commerciali che tutti conosciamo (come ChatGPT, Bing Chat e “soci”), i chatbot open source possono assicurare una maggiore trasparenza sulle modalità con cui sono gestiti i dati degli utenti. Sono inoltre personalizzabili in modo approfondito e svincolati dalle politiche di una singola azienda.

OpenChat

Tra i chatbot open source “pronti per l’uso” non è possibile non iniziare con OpenChat. È un progetto di ricerca che ha come obiettivo quello di sviluppare un’intelligenza artificiale conversazionale, adatta per essere utilizzata da parte di chiunque. Il progetto è basato sull’utilizzo di modelli di apprendimento automatico e di intelligenza artificiale per creare un’IA che possa interagire con gli utenti in modo naturale e flessibile, utilizzando un linguaggio comprensibile e argomentazioni pertinenti.

OpenChat sfrutta un modello generativo presentato per la prima volta a novembre 2023. Utilizza “soltanto” 7 miliardi di parametri (7B) ma riesce a superare le performance di ChatGPT in tanti benchmark.

Se OpenChat può essere utilizzato, da browser, sotto forma di applicazione messa pubblicamente a disposizione dagli sviluppatori, la disponibilità del codice sorgente e la licenza d’uso consentono di eseguire il chatbot in locale, con la possibilità di integrarlo eventualmente nei propri progetti.

Nella pagina GitHub di OpenChat si trova l’elenco dei modelli generativi open source supportati dal software e le istruzioni per procedere alla sua installazione. Il modo più semplice per adottare OpenChat sui propri sistemi, comunque, consiste nell’affidarsi a Ollama.

Il framework Ollama

Ollama è un framework leggero ed espandibile che fornisce un’API semplice per la creazione, l’esecuzione e la gestione di modelli linguistici, insieme a una libreria di modelli pre-costruiti che possono essere facilmente utilizzati in un’ampia varietà di contesti.

È progettato per eseguire i più noti ed apprezzati LLM in locale, consentendo agli utenti di personalizzare e utilizzare facilmente tali modelli. Ollama supporta un’ampia varietà di modelli (compreso il già citato OpenChat oltre a Mistral, LLaMa 2, Code LLaMa, Orca Mini e Vicuna) e fornisce un’interfaccia intuitiva (di base è a riga di comando) per l’interazione con essi.

Abbiamo visto in un altro approfondimento come usare Ollama per portare l’intelligenza artificiale e i modelli generativi, in modo semplice e veloce, sui propri sistemi.

GPT4All

Una delle più note ed apprezzate alternative a ChatGPT si chiama GPT4All. Si tratta di un versatile e performante chatbot che funziona esclusivamente in locale, senza quindi la necessità di mantenere una connessione Internet attiva. GPT4All è in grado di supportare un ampio ventaglio di modelli generativi: Mistral 7b, Orca e alcune varianti di LLaMa 2. Non è inoltre necessario servirsi di un sistema dotato di scheda video dedicata.

GPT4All è in grado di eseguire diverse attività. Può ad esempio rispondere a domande più o meno specifiche, scrivere email, documenti, storie, poesie, canzoni e opere teatrali. Può “comprendere” il contenuto dei documenti e crearne dei riassunti, fornire assistenza nella scrittura del codice di programmazione in vari linguaggi.

L’installazione e l’utilizzo di GPT4All sono semplici tanto quanto il download e l’installazione di un’applicazione dedicata, sui sistemi Windows, Ubuntu Linux e macOS. Il sorgente di GPT4All è disponibile su GitHub.

HuggingChat

HuggingChat è un’alternativa open source a ChatGPT sviluppata da Hugging Face, organizzazione che si impegna a rendere i modelli di intelligenza artificiale più accessibili al pubblico generale.

Nell’articolo in cui spieghiamo cos’è HuggingChat, abbiamo evidenziato che si tratta di un chatbot capace di sfruttare gli LLM open source più popolari. Lo strumento offre massima trasparenza e consente agli utenti di interagire direttamente con modelli, senza la necessità di installare nulla in ambito locale.

Con un clic sull’icona che raffigura un ingranaggio, l’utente ha la possibilità di modificare il modello utilizzato da HuggingChat per le sue elaborazioni e per la composizione dell’output. Non tutti i chatbot, inoltre, sono in grado di recepire correttamente i prompt avanzati in lingua italiana e rispondere in modo coerente. Tra le proposte open source alternative a ChatGPT, HuggingChat è una di quelle che si comporta meglio.

Vicuna

Vicuna è un modello generativo open source basato su 13 miliardi di parametri, creato partendo dal modello LLaMA, presentato pubblicamente da Meta a febbraio 2023, chiamato LLaMA. Il comportamento del modello è stato perfezionato utilizzando migliaia di conversazioni reali.

Si tratta del risultato del lavoro di svariati ricercatori provenienti da prestigiose università come Carnegie Mellon, Berkley e UC San Diego. Durante i test, Vicuna ha dimostrato performance significative, rispondendo correttamente nel 92% dei casi, piazzandosi vicino a ChatGPT (prendendo come punto di riferimento i risultati offerti da GPT-4).

Pur trattandosi, in sé, di un modello generativo, l’abbiamo voluto citare perché grazie ad applicazioni Web come Chatbot Arena, si configura come un’alternativa concreta a ChatGPT.

OpenChatKit

Sviluppato da Together, OpenChatKit è un chatbot alimentato da RedPajama 7B, un modello con 7 miliardi di parametri in grado di fornire risposte ben argomentate e pertinenti, sviluppare vere e proprie attività conversazionali e creare contenuti creativi.

Capace di sostenere chat articolate, OpenChatKit eccelle nella sintesi, nella generazione di tabelle, nei compiti di classificazione e nel mantenimento del contesto durante il dialogo. Gli sviluppatori spiegano, tuttavia, che siamo solamente agli inizi di un lungo viaggio: le aree chiave da migliorare includono la conoscenza dei fatti più recenti e il supporto per le attività di programmazione.

OpenChatKit è anche una piattaforma che consente attività di fine tuning al fine di sviluppare chatbot potenti, sia per scopi generali che per sovrintendere compiti particolari.

Gli sviluppatori si riservano, in ogni caso, di accedere al contenuto delle conversazioni per migliorare i modelli. Come nel caso di altri strumenti simili, quindi, è fortemente sconsigliata la condivisione di dati personali e di informazioni riservate.

ChatRWKV

Non tutti i modelli sono addestrati allo stesso modo. ChatRWKV, ad esempio, è un chatbot open source il cui funzionamento poggia su una rete neurale ricorrente (RNN). Il design delle RNN le rende particolarmente adatte per lavorare con dati sequenziali. L’idea è quella di gestire frasi e interi paragrafi mantenendo una comprensione del contesto, che può essere influenzato dalle parole precedenti.

Una demo del chatbot è disponibile su HuggingFace ma è il repository GitHub che offre tutto il materiale utile per caricare, eseguire e utilizzare il chatbot sui propri sistemi.

Quanto al problema delle allucinazioni, che affligge i chatbot basati sui vari modelli generativi, Vectara ha misurato l’impatto del fenomeno sulle risposte prodotte dai sistemi basati sull’intelligenza artificiale.

Credit immagine in apertura: iStock.com – Supatman