La modalità vocale avanzata di ChatGPT potrebbe clonare la tua voce

Un comportamento inaspettato e un po’ inquietante di ChatGPT si sta verificando durante l’utilizzo della nuova modalità vocale avanzata. Secondo quanto segnalato, talvolta la funzione può arrivare a clonare le voci degli utenti.

La modalità vocale avanzata consente di interagire con l’Intelligenza Artificiale in modo molto profondo, con il chatbot che può effettivamente dialogare con l’utente. OpenAI ha lavorato a lungo per rendere queste conversazioni naturali, anche grazie ad alcune voci preimpostate che è possibile assegnare a ChatGPT. Nonostante ciò, nei test confermati da OpenAI, sembra che il chatbot a volte vada oltre i limiti imposti dai suoi creatori.

Il modello GPT-4o produce voci adottando un prompt di sistema, un set nascosto di istruzioni che gestisce il comportamento del modello durante le interazioni. Quando si entra nel contesto della sintesi vocale, il prompt si basa su un campione audio approvato dalla compagnia. Nonostante ciò, il prompt di sistema che gestisce l’IA non sembra infallibile e, in determinate condizioni, ChatGPT sembra poter generare voci diverse, incluse quella dell’utente con cui si sta interfacciando.

ChatGPT clona le voci? Ecco la contromossa di OpenAI

OpenAI ha spiegato che, durante i test, in rari casi l’IA arriva a generare involontariamente un output che emulare la voce dell’utente. Nonostante ciò, la startup ha voluto rassicurare gli utenti.

Di fatto, la generazione di voci involontarie, è una sorta di bug a cui OpenAI ha attualmente trovato un parziale rimedio. ChatGPT è infatti dotato di un sistema che va a interrompere la conversazione se si verificano casi simili. Al massimo, dunque, la clonazione si limita a pochi secondi di riproduzione audio.

Va comunque tenuto conto che la copia di una voce può risultare abbastanza pericolosa, visto che potrebbe essere soggetta ad abusi. Per i cybercriminali, infatti, poter copiare la voce di un utente (magari abbinando la stessa a un video deepfake) potrebbe offrire ampio spazio di manovra per quanto concerne truffe o simili.

Nonostante ciò il pericolo non è poi così concreto: questo comportamento anomalo, con tutta probabilità, sarà eliminato del tutto con le future versioni di ChatGPT.