Una parte del controllo qualità di ChatGPT coinvolge revisori umani che analizzano conversazioni reali.
A raccontarlo è un’inchiesta di 404 Media dedicata a Project Lily, un programma nel quale collaboratori esterni valutano prompt e risposte del chatbot. I documenti esaminati dalla testata mostrano che il materiale può contenere informazioni personali, comprese quelle relative a situazioni delicate.
OpenAI sostiene di adottare sistemi per rimuovere i dati identificativi prima della revisione, ma riconosce che alcuni dettagli possono comunque essere presenti nei contenuti analizzati. La revisione non significa che ogni conversazione venga letta da una persona: riguarda una parte dei contenuti selezionati per attività di valutazione e miglioramento dei modelli. La questione riguarda quindi soprattutto quali dati l’utente inserisce e quali impostazioni sceglie.
Project Lily porta conversazioni reali alla revisione
Secondo 404 Media, Project Lily coinvolge centinaia di lavoratori incaricati di esaminare conversazioni tra utenti e ChatGPT. I revisori valutano la qualità delle risposte e cercano comportamenti indesiderati del modello, inclusi errori, risposte eccessivamente compiacenti e formulazioni che possono incoraggiare una percezione troppo umana del chatbot.
Il materiale può comprendere sequenze complete di conversazione, quindi non necessariamente una singola domanda isolata. I documenti visionati da 404 Media indicano che i revisori non ricevono i nomi degli account e che OpenAI applica procedure per eliminare le informazioni personali prima della valutazione. La stessa azienda ammette tuttavia che alcuni dati possono sfuggire ai sistemi automatici di filtraggio.
Il punto assume particolare rilevanza perché gli utenti possono utilizzare ChatGPT per scrivere documenti, analizzare problemi personali, discutere questioni lavorative o fornire informazioni private. Inserire un dato in una conversazione significa quindi sottoporlo alle modalità di trattamento previste dal servizio. La documentazione di OpenAI specifica che, per i servizi destinati ai consumatori, i contenuti possono essere utilizzati per migliorare i modelli in base alle impostazioni dell’account e alle condizioni applicabili.
Le impostazioni determinano come vengono usati i dati
OpenAI offre un controllo specifico per impedire che le nuove conversazioni vengano utilizzate per migliorare i modelli. Disattivando “Improve the model for everyone” nella sezione Controllo dei dati, le nuove chat restano nella cronologia ma non vengono impiegate per l’addestramento. La possibilità riguarda il trattamento dei contenuti per il miglioramento dei modelli e non equivale alla cancellazione della conversazione.
Per esigenze differenti esiste Chat temporanea, che non compare nella cronologia, non crea memorie e non viene utilizzata per addestrare i modelli. OpenAI precisa comunque che può conservare una copia per un periodo limitato, fino a 30 giorni, per motivi di sicurezza e che le conversazioni temporanee possono essere sottoposte a revisione per il monitoraggio degli abusi.
Il quadro emerso dall’inchiesta richiede quindi una distinzione tra revisione umana, utilizzo dei dati per il miglioramento dei modelli e controlli disponibili per l’utente. 404 Media documenta l’esistenza di attività di revisione svolte da persone, mentre la documentazione ufficiale di OpenAI descrive le impostazioni che regolano l’impiego dei contenuti. Per informazioni riservate, la scelta più prudente resta non inserire dati che non si desidera sottoporre ai processi di trattamento previsti dal servizio, indipendentemente dall’opzione selezionata.