ChatGPT come pediatra? Un fiasco totale: ecco i risultati della ricerca

Negli ultimi mesi si parla sempre di come l’Intelligenza Artificiale possa essere impiegata in medicina.

Nonostante alcuni risultati confortanti sotto questo punto di vista, persistono grandi (e giustificati) dubbi a tal proposito. A quanto pare, infatti, ChatGPT è un vero e proprio disastro se utilizzato come pediatra. Secondo uno studio pubblicato dalla rivista JAMA Pediatrics, il chatbot di OpenAI risulta incapace quando si tratta di trattare pazienti in giovane età.

Alcuni test, a quanto pare, hanno rivelato come ChatGPT offre un misero tasso di precisione pari al 17% in casi medici pediatrici. Per lo studio, i ricercatori hanno confrontato il chatbot con 100 sfide di casi pediatrici pubblicati su JAMA Pediatrics e NEJM tra il 2013 e il 2023. Il tutto con esiti, come appena affermato, tutt’altro che lusinghieri.

Gli esperti hanno comunque sottolineato come, se utilizzato come strumento di supporto, il chatbot si rivela in grado di coprire un ruolo essenziale. In tal senso, l’IA viene vista come integrabile e utile in qualunque laboratorio, sebbene sotto la supervisione costante di un professionista.

ChatGPT pediatra: efficace solo nel 17% dei casi, ma in futuro tutto potrebbe cambiare

Ma come è avvenuto, in parole semplici, il test?

I  ricercatori hanno riportato il testo pertinente dei casi nel prompt di ChatGPT, quindi due medici-ricercatori qualificati hanno valutato le risposte generate dall’IA come corrette, errate o non comprese. In quest’ultimo caso, ChatGPT ha individuato una condizione clinicamente correlata che era troppo ampia o non specifica per essere considerata come corretta.

Come accennato, il chatbot ha fornito la risposta giusta solo in 17 casi su 100. In 72 occasioni, l’output fornito è stato considerato errato dai medici mentre in 11 casi la risposta è stata considerata come troppo vaga. Nonostante ciò, non si parla di una bocciatura definitiva.

Per i ricercatori, infatti, con un’adeguato addestramento selettivo, ChatGPT potrebbe diventare un pediatra efficiente. Per raggiungere questo obiettivo, però, secondo gli esperti sarebbe necessario alimentare l’IA con nozioni che vanno oltre ciò che è presente online, focalizzandosi su testi scientifici e simili.