ChatGPT sbaglia ancora molto quando si parla di programmazione

Uno degli ambiti in cui l’Intelligenza Artificiale sembra ormai più che rodata è il codice di programmazione. Sotto il punto di vista pratico, però, è davvero così efficace?

Secondo quanto emerso da una ricerca, più della metà delle risposte di ChatGPT, ovvero il 52%, su questo tema sono sbagliate. Lo studio, condotto da alcuni ricercatori della Purdue University, ha visto un test basato su 517 domande poste sia a professionisti di programmazione che al suddetto chatbot.

Una volta terminata la sequenza di quesiti, i ricercatori hanno notato come ChatGPT sia risultato tutt’altro che infallibile. Gli esperti hanno notato che, di questi errori, il 54% è costituito da malintesi concettuali, mentre nel 28% delle occasioni sono stati individuati errori logici nel codice.

Uno scenario inaspettatamente imperfetto per un contesto che, almeno a detta di molti, dovrebbe rappresentare uno dei punti forti dell’IA.

ChatGPT e programmazione: uno strumento utile ma non infallibile

Il report che ha seguito la ricerca ha inoltre evidenziato anche altri comportamenti poco apprezzabili da parte di ChatGPT.

Le risposte riguardo le domande sulla programmazione, infatti, sono risultate inutilmente lunghe e ricche di dettagli poco concreti. Tutto ciò non è da sottovalutare visto che un output del genere, invece che confortare un programmatore alle prime armi, potrebbe di fatto confonderlo. Inoltre, quando si ottengono dall’IA risposte molto complesse, anche i più esperti del settore possono andare incontro a fraintendimenti e, dunque, ad errori alquanto clamorosi.

Gli autori della ricerca, pur non negando le notevoli potenzialità di ChatGPT, hanno voluto richiamare l’attenzione dei programmatori. L’IA, per quanto riguarda codice e programmazione, non è ancora del tutto affidabile. Proprio per questo motivo è bene fare un utilizzo cosciente di questo strumento, mantenendo un atteggiamento critico nei confronti degli output proposti.

Nonostante ciò, non è detto che in futuro la situazione possa cambiare. Giusto qualche mese fa, infatti, il presidente di Nvidia Jensen Huang ha invitato le nuove generazioni a smettere di studiare programmazione. Secondo lo stesso, infatti, questo tipo di lavoro sarà presto interamente gestito attraverso l’IA.