Reddit contro i crawler IA: bloccato il loro accesso alla piattaforma

Reddit ha preso una chiara posizione contro parte delle società che si occupano di Intelligenza Artificiale. Più nello specifico, il noto social network ha dimostrato una certa avversione nei confronti dei crawler IA, ovvero gli bot che girovagano in rete per cercare dati per l’addestramento dei modelli IA.

Sebbene la piattaforma abbia dimostrato una certa elasticità nei confronti di questa tecnologia emergente, tanto da stringere un accordo con OpenAI per quanto riguarda l’addestramento dei suoi modelli, in questo caso ha voluto proteggere i propri dati.

Negli scorsi giorni, infatti, il file robots.txt di Reddit è stato modificato andando ad escludere i principali crawler legati alle piattaforme IA. Questo particolare file viene utilizzato da tutti i siti Web per escludere specifici crawler di ricerca, impedendo l’indicizzazione dei contenuti.

Crawler IA, il blocco di Reddit e i casi di Perplexity

Se l’indicizzazione su un motore di ricerca, qualunque esso sia, di solito porta più visitatori (e dunque vantaggi), nel contesto dell’IA questa sorta di “scambio equo” non esiste. Ciò si traduce in vantaggi solo per le società di IA, con l’altra parte spesso che si limita a essere spettatore passivo di quanto succede.

Già in passato, aziende come Perplexity sono state criticate per aver agito scansionando un gran numero di siti, attingendo ai loro contenuti per poi offrire i risultati ai propri utenti. In questo caso specifico, per esempio, Wired e Forbes hanno segnalato come Perplexity abbia attinto ai loro articoli, tra l’altro offrendo risultati che sembrano essere plagi.

La questione dei crawler IA è molto delicata, in quanto questa tecnologia così nuova offre ancora molte zone d’ombra dove le società si muovono andando a “saccheggiare” con strategie molto aggressive. Metodi spesso discutibili, che nel corso dei prossimi mesi potrebbero causare non poche grane legali alle piattaforme che si occupano di IA.