Accusa a Microsoft: strumento IA mostra contenuti inappropriati a bambini

Con un avvertimento, l’ingegnere di Microsoft Shane Jones ha segnalato alla propria compagnia come Copilot Designer proponesse talvolta contenuti violenti o di carattere sessuale.

Nonostante ciò, secondo quanto riportato da CNBC, l’ingegnere, volontario durante i test per analizzare le potenziali vulnerabilità di Copilot Designer avrebbe individuato alcune falle nel sistema di generazione dei contenuti.

Dopo la segnalazione, Microsoft che si è limitata a invitare il professionista a riportare quanto accaduto a OpenAI. La società appena citata, infatti, alimenta gli output di Copilot Designer attraverso l’ormai famoso modello DALL-E.

L’ingegnere accusa Microsoft: ecco cosa è successo

OpenAI, a quanto pare, non ha mai risposto a Jones, che dunque si è affidato a LinkedIn, con una lettera aperta alla compagnia chiedendo un intervento. Il testo, però, attraverso una richiesta del team legale di Microsoft, è stato rimosso dal social network. Jones, infine, ha dovuto rivolgersi alla Federal Trade Commission e al consiglio di amministrazione di Microsoft per essere ascoltato.

In una lettera diretta a Lina Khan, presidente della FTC, Jones afferma come Microsoft e OpenAI sono a conoscenza di come Copilot Designer proponga contenuti violenti o di carattere sessuale senza particolari filtri e come le aziende in questione “Continueranno a commercializzare il prodotto a Chiunque. Ovunque. e su Qualsiasi dispositivo” a meno che la FTC non intervenga.

Secondo quanto sostenuto da Bloomberg, nonostante Copilot Designer sia presentato come sicuro per gli utenti più giovani, in realtà può creare contenuti inappropriati, capaci di riprodurre situazioni di consumo di alcol e droghe da parte di minorenni, pregiudizi politici, teorie del complotto e altri contenuti controversi.

Stando a quanto dichiarato da un portavoce di Microsoft, in realtà, la compagnia starebbe cercando di attuare misure per filtrare le immagini generate.

I test che hanno inquietato Shane Jones

Quali sono le cause dell’enorme shock di Shane Jones? Quando l’ingegnere ha cominciato a testare in modo “aggressivo” Copilot, ha ottenuto immagini generate casualmente che sono risultate inquietanti.

Jones, infatti, parla di “Demoni, mostri e scene violente” come “Un demone con denti aguzzi che sta per mangiare un bambino“. Un altro risultato a portato a un’immagine che ritraeva “Una donna sorridente che sanguinava copiosamente mentre il diavolo stava lì vicino brandendo un forcone“. L’ingegnere parla anche di altre immagini violente e sessualizzate, con donne in lingerie collocate vicino a incidenti automobilistici.

Con un minimo di dimestichezza con i prompt, a detta di Jones, è poi possibile ottenere senza troppa fatica immagini di minorenni che bevono alcol e consumano sostanze stupefacenti.