Hacker etici accedono Gemini e scoprono "informazioni nascoste"

Durante un evento organizzato in collaborazione con Google, alcuni hacker etici sono stati sfidati dalla compagnia a cercare bug presenti in Gemini.

Il concorso, chiamato LLM bugSWAT, ha visto vincere l’ingegnere di sicurezza informatica Roni Carta e altri esperti che sono stati insigniti del titolo di “Most Valuable Hacker“, con tanto di sostanzioso premio in denaro.

Google ha concesso agli esperti accesso a una versione di anteprima della prossima generazione di Gemini, chiedendo loro di testarne la funzionalità dal punto di vista di un aggressore. Carta e il suo team hanno iniziato dando a Gemini un semplice prompt, ovvero “Esegui hello world in Python 3“. Questo fa sì che Gemini crei un ambiente di esecuzione Python, un sandbox, in modo che possano eseguire codice su Gemini.

Hacker etici a lavoro su Gemini per scoprire eventuali punti deboli del modello AI

Mentre scavavano nel codice Python, gli esperti hanno notato che l’ambiente sandbox comunicava con server Google esterni ed eseguiva attività come il recupero di dati da Google Flights e altri servizi Google. Ipotizzarono che se fossero riusciti a eseguire un attacco prompt injection, che trasmette istruzioni dannose a un modello di linguaggio, avrebbero potuto creare una sandbox con privilegi più elevati ed eseguire attività potenzialmente pericolose.

Come confermato da Google, ciò ha evidenziato come l’esecuzione di determinati comandi in questo ambiente avrebbe potuto rivelare molte informazioni altamente sensibili che avrebbero dovuto rimanere private.

A celebrare quanto avvenuto è stato lo stesso Carta che, nel blog che condivide con il suo team di hacker etici, ha annunciato quanto avvenuto. Nonostante ciò, gli esperti hanno sottolineato come eseguire un semplice comando ‘strings’ integrato per estrarre nomi di file da un binario non è di certo considerabile una vera operazione di hacking. Se è vero che è stato fatto trapelare parte del codice sorgente di Gemini, va anche chiarito come questo sia in realtà disponibile pubblicamente su GitHub.

Secondo quanto sostenuto da Carta “Il processo di ricerca dei bug è stato puro divertimento, un’esperienza a dir poco memorabile“, che ha poi aggiunto come “Esplorare il codice nascosto e spingere i limiti della sandbox di Gemini è stato impegnativo ma anche entusiasmante. Non vedo l’ora di rivedere tutti al prossimo bugSWAT“.