Claude e altri modelli AI a rischio attacchi prompt injection?

A meta del mese di ottobre, Anthropic ha lanciato Claude Computer Use, ovvero un modello di Intelligenza Artificiale in grado di controllare i dispositivi elettronici.

Nonostante le enormi potenzialità di questo strumento, lo stesso si sta rivelando anche alquanto pericoloso. Alcuni ricercatori hanno infatti dimostrato come Claude Computer Use sia potenzialmente manipolabile, divenendo un’arma formidabile nelle mani dei cybercriminali.

Questo è quanto dimostrato da una ricerca di Johann Rehnberger, ricercatore di sicurezza informatica, che ha svelato quanto sia facile far scaricare ed eseguire malware dall’AI. Non solo: la stessa sembra alquanto propensa a connettersi con un’eventuale infrastruttura C2.

Va puntualizzato come Claude Computer Use e come Anthropic abbia sottolineato, attraverso un disclaimer, come l’AI sia ancora da collaudare. Nonostante ciò, l’operato del ricercatore mostra un aspetto inquietante del modello, visto che lo stesso risulta al momento vulnerabile agli attacchi prompt injection.

Prompt injection e non solo: modelli AI a rischio manipolazione

Rehnberger ha battezzato il suo exploit ZombAIs e afferma di essere riuscito a far scaricare allo strumento Sliver, un legittimo framework open source di comando e controllo (C2) sviluppato da BishopFox, che talvolta viene utilizzato in modo improprio dai cybercriminali.

Di solito, i criminali informatici sfruttato Sliver per un “primo contatto” andando poi a installare sull’obiettivo altri framework avanzati come il famigerato Cobalt Strike. A rendere tutto ancora più inquietante vi è una ulteriore rivelazione dell’esperto, secondo cui questo non è l’unico modo per sfruttare gli strumenti di AI generativa per scopi malevoli. Per Rehnberger, è possibile agire facendo scrivere codice C all’AI per poi compilare lo stesso ed eseguirlo. E questo sarebbe solo una delle diverse opportunità.

Con il progredire di questa nuova tecnologia, oltre a moltiplicarsi le opportunità sembrano aumentare drasticamente anche i rischi. Di certo, la diffusione dell’AI rappresenta una nuova e interessante sfida per gli esperti di cybersecurity.