Attenzione, è possibile estrarre dati riservati da Slack AI usando il meccanismo prompt injection

Slack è la nota piattaforma di comunicazione aziendale progettata per facilitare la collaborazione tra i membri di un team. Lanciata nel 2013, Slack consente agli utenti di inviare messaggi, condividere file, effettuare chiamate e organizzare il lavoro attraverso canali dedicati, riducendo la necessità di ricorrere alle email ed evitando comunicazioni frammentate.

Con l’introduzione di Slack AI, gli utenti possono beneficiare di una soluzione di intelligenza artificiale evoluta integrata direttamente nella piattaforma. Le principali funzionalità includono la ricerca basata sull’IA, per trovare rapidamente informazioni e risposte all’interno delle conversazioni e dei file condivisi su Slack; la creazione di sintesi e riepiloghi delle conversazioni; un meccanismo di assistenza conversazionale in grado di fornire risposte e suggerimenti direttamente nelle chat di Slack, sfruttando le “conoscenze” precedentemente accumulate.

D’altra parte, con l’avvento delle nuove tecnologie e l’integrazione dell’intelligenza artificiale nelle piattaforme di comunicazione, emergono anche nuovi rischi per la sicurezza informatica.

Prompt injection per estrarre dati riservati con Slack AI: come funziona l’attacco

Il 14 agosto 2024, gli sviluppatori hanno introdotto un aggiornamento significativo sulla piattaforma Slack AI. I ricercatori di PromptArmor, tuttavia, hanno individuato una vulnerabilità critica che potrebbe consentire a malintenzionati di estrarre dati riservati dai canali privati, anche senza essere membri di tali canali.

Come spiegano gli esperti, il cuore del problema risiede in un fenomeno noto come prompt injection, una tecnica di attacco che sfrutta le difficoltà dei LLM (Large Language Models) nel distinguere tra il “prompt di sistema” creati dallo sviluppatore e il contesto aggiuntivo inserito nelle query. Il modello generativo potrebbe non essere in grado di differenziare tra istruzioni legittime e comandi malevoli nascosti nelle informazioni fornite in input. Questo tipo di problematica può essere sfruttata per indurre l’intelligenza artificiale a eseguire azioni non intenzionali, come divulgare informazioni riservate.

Una variante ancora più subdola è conosciuta come prompt injection indiretto. Si verifica quando un attaccante non interagisce direttamente con la vittima ma sfrutta canali pubblici per inserire istruzioni malevole, successivamente elaborate dal modello. In questo scenario, l’attaccante potrebbe manipolare il LLM per eseguire operazioni potenzialmente pericolose, utili a rivelare dati privati.

Il meccanismo di attacco

Quando Slack AI elabora le query degli utenti, integra dati provenienti sia da canali pubblici che privati. Quando l’utente interroga Slack AI, quindi, l’intelligenza artificiale elabora tutte le informazioni rilevanti disponibili nei canali a cui l’utente ha accesso, ma può anche includere dati provenienti da canali pubblici che l’utente non ha mai visitato. Questo comportamento, sebbene intenzionale, apre la porta a potenziali abusi.

Il team di PromptArmor fa un esempio concreto citando il caso di un utente che memorizza una chiave API in un canale privato, accessibile solo a un unico soggetto. Un attaccante, sfruttando un canale pubblico creato “ad hoc”, può inserire un messaggio contenente un’istruzione malevola. Tale messaggio potrebbe addestrare Slack AI ad includere la chiave API in un link HTTP manipolato. Quando l’utente chiede a Slack AI la chiave API, il sistema combina il messaggio dell’attaccante con la risposta, generando un link che, se cliccato, invia la chiave API al server senza che il proprietario ne sia minimamente consapevole.

Estensione dell’attacco: phishing tramite public channel injection

Una variante dell’attacco prevede l’uso del meccanismo di prompt injection per scopi di phishing. L’attaccante potrebbe manipolare Slack AI affinché generi un link di phishing, mascherato da richiesta legittima, come una “reautenticazione”.

La tecnica, spiega ancora PromptArmor, potrebbe essere particolarmente efficace se il messaggio malevolo fa riferimento a un superiore della vittima o a una figura autoritaria, aumentando la probabilità che l’utente preso di mira faccia clic sul link.

Superficie di attacco ulteriormente ampliabile con le iniezioni da file

Il 14 agosto, Slack ha introdotto un aggiornamento che consente a Slack AI di processare non solo messaggi, ma anche documenti caricati dagli utenti, file di Google Drive e altri contenuti condivisi nei canali. Secondo i ricercatori, questa novità avrebbe significativamente esteso la superficie di attacco: un attaccante potrebbe sfruttare file caricati da terze parti per eseguire il prompt injection.

Immaginiamo che un utente scarichi un documento PDF contenente un’istruzione malevola nascosta (ad esempio, testo bianco su sfondo bianco) e lo carichi su Slack. Slack AI potrebbe processare questo documento come parte di una query, eseguendo l’istruzione malevola senza che l’utente se ne accorga.

L’attacco potrebbe andare a buon fine anche se l’utente malintenzionato non fosse direttamente coinvolto nella conversazione su Slack, aumentando ulteriormente i rischi.

Conclusioni e raccomandazioni

Le “leggerezze” scoperte in Slack AI evidenziano la necessità di un’attenzione particolare alla sicurezza nei sistemi basati sulle intelligenze artificiali, soprattutto nei contesti aziendali in cui la confidenzialità dei dati è cruciale. Sebbene Slack abbia risposto rapidamente alla segnalazione, l’industria deve ancora sviluppare una comprensione completa e soluzioni efficaci contro il fenomeno del prompt injection.

A valle di quanto scoperto, PromptArmor suggerisce di disabilitare la funzionalità che consente a Slack AI di gestire documenti e file condivisi, almeno fino a quando non verranno implementate misure di sicurezza adeguate.

Gli amministratori dovrebbero controllare regolarmente i canali pubblici, specialmente quelli creati di recente, per rilevare eventuali messaggi sospetti. Inoltre, è fondamentale che i dipendenti siano consapevoli dei rischi associati ai link di phishing e ricevano un’adeguata formazione su come identificarli.