Codestral Mamba, un modello IA rivoluzionario per generare codice di programmazione

Quando si utilizzano i moderni modelli generativi, spesso ci si accorge che non sono così aperti come vengono presentati. Un recente studio accademico ha dimostrato quali Large Language Models (LLM) non sono open source, a dispetto delle descrizioni. Codestral Mamba è un modello per la generazione di codice di programmazione che ha un vantaggio non di poco conto: la licenza ne autorizza l’utilizzo anche per scopi commerciali.

Mistral AI, azienda fondata da ex dipendenti di Meta e Google DeepMind, ha annunciato il rilascio del nuovo modello di intelligenza artificiale specificando che Codestral Mamba è disponibile sotto licenza Apache 2.0.

Quali novità introduce Codestral Mamba per lo sviluppo software

Gli ingegneri di Mistral AI sottolineano che Codestral Mamba segna un importante passo avanti nell’evoluzione dei modelli per la generazione di codice. A differenza dei tradizionali modelli basati su Transformer, Codestral Mamba si basa su una nuova architettura che offre vantaggi significativi come il tempo di inferenza lineare e la capacità teorica di modellare sequenze di lunghezza infinita. Questo permette agli utenti di interagire con il modello senza preoccuparsi della lunghezza dell’input, ottenendo risposte rapide e precise.

Con 7 miliardi di parametri, Codestral Mamba si posiziona al vertice tra i modelli di dimensioni simili. Sebbene perda in termini di prestazioni complessive rispetto al modello Codestral 22B con 22 miliardi di parametri, eccelle in alcuni indicatori, dimostrando l’alto potenziale dell’architettura Mamba.

Il tempo di inferenza lineare si riferisce a una caratteristica di alcuni modelli di intelligenza artificiale in cui il tempo necessario per generare una risposta o eseguire un’operazione è proporzionale alla lunghezza dell’input. In altre parole, se l’input raddoppia in lunghezza, anche il tempo di elaborazione raddoppia, anziché crescere in maniera esponenziale o quadratica.

Diventa così possibile gestire input di lunghezza variabile in modo più efficiente, fornire risposte rapide ed elaborare sequenze molto lunghe senza compromettere la velocità.

Comprensione del contesto

Il team di Mistral AI ha verificato la capacità di Codestral Mamba di “comprendere il contesto” e rispondere in modo coerente basandosi su una grande quantità di informazioni ricevute in ingresso.

Il modello è stato messo alla prova con sequenze molto lunghe, fino a 256.000 token dimostrandosi particolarmente efficace nel gestire grandi volumi di dati senza perdere coerenza o efficienza.

Come abbiamo visto nell’articolo dedicato al funzionamento dei LLM, un token può essere una parola, una parte di una parola o un simbolo (ad esempio la punteggiatura).

Ecco quindi che Codestral Mamba può diventare un valido assistente locale per la generazione di codice: gli sviluppatori possono utilizzarlo sui loro dispositivi per scrivere, completare e correggere il codice di programmazione.

Un tributo a Cleopatra

Il nome Codestral Mamba è un omaggio a Cleopatra, l’ultima regina d’Egitto. Secondo la tradizione, Cleopatra si tolse la vita facendosi mordere da un serpente velenoso, probabilmente un’aspide (un tipo di vipera). Mamba è un tipo di serpente velenoso: il riferimento, a detta di Mistral AI, vuole enfatizzare la potenza e la precisione del nuovo modello, che promette di cambiare il modo in cui gli sviluppatori interagiscono con la generazione di codice.

Disponibilità e distribuzione

Il modello Codestral Mamba è disponibile per il download su Hugging Face e può essere implementato utilizzando il pacchetto SDK mistral-inference, che si basa sulle implementazioni di riferimento pubblicate nel repository GitHub di Mamba.

È anche possibile distribuire il modello tramite TensorRT-LLM; per l’inferenza locale, è previsto il supporto llama.cpp.

Per facilitare il test, Codestral Mamba è disponibile sulla piattaforma Mistral AI, insieme con il “fratello maggiore” Codestral 22B. Mentre Codestral Mamba è rilasciato sotto licenza Apache 2.0, Codestral 22B utilizza una licenza commerciale.