Project Ellmann: Google pensa a un chatbot basato su LLM e foto

Nei prossimi anni, i modelli linguistici di grandi dimensioni (LLM) renderanno possibili una serie di nuove funzionalità nelle app, fino ad oggi inimmaginabili. A questo proposito, Google starebbe pensando di sfruttare l’intelligenza artificiale per creare una visione “dall’alto” della vita degli utenti utilizzando i dati del telefono cellulare come fotografie e ricerche. Secondo quanto riportato dalla CNBC, Project Ellmann (ispirato al critico letterario Richard David Ellmann) utilizzerebbe i LLM per acquisire consapevolezza di ciò che sta realmente accadendo in una foto. Il progetto utilizzerebbe LLM come Gemini per acquisire risultati di ricerca, individuare modelli nelle foto di un utente, creare un chatbot e “rispondere a domande precedentemente impossibili” ecc. Ad esempio, una riunione di classe potrebbe essere riconosciuta come tale: “sono passati esattamente 10 anni dalla laurea e la foto è piena di volti che non si vedono da 10 anni, quindi probabilmente si tratta di una riunione”.

Project Ellmann: una sorta di ChatGPT che conosce tutto della vita degli utenti

Facendo un ulteriore passo avanti, ecco un LLM potrebbe conoscere le preferenze dell’utente per un particolare tipo di cibo (ad esempio francese) basandosi sulle immagini frequenti di determinati piatti (crepes e raclette). Inoltre, screenshot potrebbero essere utilizzati per determinare diversi elementi, dagli interessi, agli acquisti imminenti, ai programmi di viaggio e ai siti web preferiti. Google ha scoperto che gli LLM sono ideali per questo caso d’uso. In particolare, il nuovo Gemini ha capacità multimodali in grado di analizzare immagini, video, audio e testo. Il team di Google avrebbe inoltre presentato un chatbot chiamato “Ellmann Chat”, con la descrizione: “Immagina di aprire ChatGPT ma sa già tutto della tua vita. Cosa gli chiederesti?”. Il chatbot è in grado di sapere quando i parenti dell’utente gli hanno fatto visita l’ultima volta oppure può mostrare città simili a quella in cui questo vive attualmente come possibile meta per trasferirsi.

Project Ellmann proposto potrebbe aiutare gli utenti a creare ricordi di vita sempre più personalizzati. Non si tratterà infatti solo di album, come Google Foto (che grazie all’AI ora può raggruppare foto simili e organizzare screenshot in album facili da trovare). Project Ellmann sarà una vera e propria esperienza per l’utente. Bisogna comunque ricordare che, al momento, il progetto è stato soltanto presentato nel corso un evento interno, che prevedeva anche altre presentazioni del team Gemini. Inoltre, prima che possa essere rilasciato agli utenti, dovranno essere effettuati diversi test. Come rivelato da Mountain View alla CNBC “Si è trattato di una prima esplorazione interna di Google Foto e, come sempre, se dovessimo decidere di implementare nuove funzionalità, ci prenderemo il tempo necessario per garantire che siano utili alle persone e progettate per proteggere la privacy e la sicurezza degli utenti come nostra massima priorità”.