AI e motori di ricerca: nel 60% dei casi citate fonti errate

Secondo una recente ricerca del Tow Center for Digital Journalism della Columbia Journalism Review, l’Intelligenza Artificiale applicata ai motori di ricerca tende ad avere una enorme lacuna.

Lo studio in questione ha preso in esame otto strumenti per la ricerca che operano tramite l’AI, dimostrando come nel 60% dei test effettuati gli stessi rispondevano in modo errato rispetto alle fonti citate. Considerando che un numero sempre maggiori di utenti si affida all’AI per le ricerche, tutto ciò risulta inquietante.

I tassi di errore variavano notevolmente tra le piattaforme testate. Perplexity, per esempio, ha offerto informazioni errate nel 37% delle query testate, mentre ChatGPT Search ha identificato in modo errato il 67% (ben 134 su 200) degli articoli interrogati. Grok 3 sembra aver dimostrato il tasso di errore più elevato, pari al 94%.

Fonti errate: un problema che coinvolge tutti gli strumenti di ricerca AI

Per svolgere i test, i ricercatori hanno inserito estratti diretti da articoli di notizie reali nei modelli AI, quindi hanno chiesto a ciascun modello di identificare il titolo dell’articolo, l’editore originale, la data di pubblicazione e l’URL. In questo modo hanno eseguito 1.600 query su otto diversi strumenti di ricerca generativa.

Lo studio ha evidenziato una tendenza comune tra i modelli coinvolti: anziché rifiutarsi di rispondere quando non avevano informazioni affidabili, i modelli fornivano spesso confabulazioni, ovvero risposte errate o speculative che sembravano plausibili. I ricercatori hanno sottolineato come questo comportamento si sia rivelato più o meno presente in tutti i modelli testati e non limitato a un solo strumento.

Una volta prese in esame le versioni premium, contrariamente alle previsioni, il tasso di errore è aumentato. Perplexity Pro (da 20 dollari al mese) e Grok 3 (da 40 dollari mensili), hanno fornito una percentuale di fonti errate superiori alla controparte gratuita.

I ricercatori coinvolti hanno inoltre notato come, nonostante alcuni fonti di notizie abbiano bloccato i crawler relativi agli strumenti AI, queste limitazioni vengano spesso aggirate. Non solo: più della metà delle citazioni da Gemini e Grok 3 di Google ha portato gli utenti a URL non più esistenti o con vari problemi, con conseguenti pagine di errore.

Di fatto, la situazione per gli editori è alquanto spiacevole. Bloccare i crawler porta alla perdita di potenziali visite (anche se minime) che potrebbero arrivare attraverso la citazione delle fonti, d’altro canto, anche l’apertura agli strumenti AI, non sembra comunque garantire una citazione corretta.