Phind batte il modello GPT-4 nella generazione del codice di programmazione

I modelli generativi sono sempre più utilizzati nello sviluppo software. Basti pensare che buona parte del codice delle applicazioni pubblicate su GitHub è ormai generato con Copilot. In un altro articolo abbiamo visto, ad esempio, come programmare con ChatGPT presentando una serie di consigli utili. Una startup statunitense ha presentato Phind, piattaforma che si basa su un modello di intelligenza artificiale per rispondere a domande tecniche e di codifica. Phind Model V7, secondo gli sviluppatori, è progettato per superare le abilità di GPT-4 (OpenAI) nel campo della codifica, raggiungendo prestazioni simili a quelle di GPT-3.5 ma con una velocità cinque volte superiore. Ciò significa che fornisce risposte di alta qualità a domande tecniche in soli 10 secondi anziché 50.

Cos’è Phind e come usarlo per generare codice di programmazione

Phind V7 si basa su una versione ottimizzata del modello open source CodeLlama-34B, tra i primi a superare il punteggio di GPT-4 su HumanEval, configurandosi come una delle migliori soluzioni in assoluto per la codifica.

HumanEval è un metodo di valutazione che coinvolge valutatori umani per giudicare la qualità, l’efficacia delle risposte e le prestazioni di un sistema di intelligenza artificiale (IA) o di un modello di apprendimento automatico. Questo processo prevede che esseri umani valutino le risposte generate da un modello AI per determinare quanto siano accurate, pertinenti o utili rispetto a determinati criteri. Nel contesto dei modelli di linguaggio come GPT (Generative Pre-trained Transformer) e Phind, HumanEval viene utilizzato per valutare la capacità del modello di fornire risposte coerenti, precise e utili alle domande.

Il Phind Model V7 ha raggiunto un punteggio pari al 74,7% su HumanEval e nel fornire risposte a domande reali, supera ampiamente l’efficacia di GPT-4. Tra le caratteristiche più interessanti del modello, la possibilità di usare le GPU NVidia H100s e il supporto della nuova libreria TensorRT-LLM che consente di gestire 100 token al secondo in un singolo flusso.

Attualmente, tramite il sito Web ufficiale, Phind consente l’utilizzo di input di dimensioni massime pari a 12.000 token; ulteriori 4.000 (per un totale di 16.000 token complessivi) sono lasciati per la gestione dei risultati provenienti dal Web.

Come provare Phind per scrivere codice funzionante

Phind è un servizio a pagamento e prevede diversi piani di abbonamento a seconda dell’utilizzo che si prevede di fare del nuovo strumento. Tuttavia, chiunque si colleghi con la home page del progetto, può effettuare fino a 10 interrogazioni giornaliere, anche in lingua italiana, senza sborsare un centesimo.

Utilizzando la casella Describe your task in detail, è possibile descrivere con dovizia di particolari il codice di programmazione che si desidera ottenere. Phind funziona bene sia con le richieste più generiche che con l’invio di domande più puntuali, che coinvolgano la condivisione di porzioni di codice o la correzione di errori. Cliccando sulla freccia a destra del campo di inserimento, si può far apparire una casella aggiuntivo che consente di specificare codice addizionale.

L’opzione Pair programmer consente di attivare una modalità conversazionale, utile per interagire con una serie di “botta e risposta” come si farebbe con un collega sviluppatore. Questa funzionalità si rivela particolarmente utile per le attività di debug del codice.

Come sottolineano gli ideatori del progetto, ci sono comunque alcune aree di miglioramento: nel caso di domande complesse, Phind potrebbe richiedere più iterazioni successive per arrivare alla risposta corretta rispetto a GPT-4. Il team di sviluppo continuerà a lavorare per migliorare il comportamento del modello.