OpenAI lancia CriticGPT, nuovo modello che critica GPT-4

OpenAI ha presentato, giusto poche ore fa, un nuovo modello di Intelligenza Artificiale che lavorerà per identificare eventuali errori di ChatGPT.

Il modello, battezzato con un nome eloquente come CriticGPT, dovrà appurare che gli output di GPT-4 offrano risposte adeguate agli utenti. Questo sistema lavorerà come una sorta di assistente agli essere umani che si occupano di analizzare le risposte del chatbot di OpenAI, analizzando e segnalando potenziali errori difficilmente individuabili dai ricercatori.

Per rendere CriticGPT più efficiente, questo è stato addestrato con un set di dati costituito da bug ed errori di vario tipo, con una sorta di addestramento per riconoscere casi simili in uno scenario reale. Inoltre, per rendere ancora più agevole l’individuazione di eventuali errori, i ricercatori hanno anche creato una nuova tecnica chiamata Force Sampling Beam Search (FSBS). Questa aiuta il modello a scrivere revisioni più dettagliate del codice esaminato.

CriticGPT è un ottimo strumento ma non è ancora infallibile

Sebbene i risultati finora ottenuti da questo strumento siano a dir poco promettenti, il modello IA in questione presenta ancora dei limiti evidenti.

CriticGPT, per esempio, è stato addestrato solo su risposte di ChatGPT relativamente brevi. In caso di testi più lunghi e complessi, non è detto che risulti così efficace (al netto di probabili migliorie future). Va poi considerato che questo sistema permette di individuare un errore in una porzione specifica di codice. Uno scenario artificiale che non si verifica per forza anche sul “campo”, dove gli output possono avere più errori in diverse parti di una risposta.

Un modello che, sebbene ancora imperfetto, rappresenta un passo importante per OpenAI. Con il progredire dell’IA, infatti, si ampliano le possibilità di errore e, avere a disposizione CriticGPT come supporto per le correzioni, può essere un passo fondamentale per la corretta evoluzione di questa tecnologia.