L'intelligenza artificiale scrive sulla carta: la magia di Feels Like Paper!

La carta, considerata un mezzo insostituibile per leggere, annotare e disegnare, si interfaccia con il mezzo tecnologico. E non parliamo di display eInk, altrimenti conosciuti come schermi a inchiostro elettronico, bensì di nuove applicazioni che si servono dell’intelligenza artificiale per scrivere sulla carta, seppur in modo virtuale.

Il designer visionario Lukas Moro ha sviluppato e presentato “Feels Like Paper!”, un progetto che integra carta e intelligenza artificiale (AI) attraverso tre prototipi innovativi: Maths & Questions, Mark & Comment e Draw & Dream.

Risolvere problemi matematici: la risposta appare direttamente sul foglio di carta

Immaginate di scrivere espressioni matematiche su carta e, dopo qualche istante, vedere la risposta apparire impressa sul foglio.

È quanto ha realizzato Moro con Maths & Questions: indossando un visore di realtà mista e servendosi delle API Vision Framework di Apple, l’app sviluppata dal designer riconosce automaticamente segni di uguaglianza e punti interrogativi, trasmettendo le espressioni a un Large Language Model (LLM) per calcolare i risultati.

Morro ha curato anche l’”estetica” dell’applicazione: le cifre e le lettere digitali si animano sul foglio apparendo come fantasmi benigni, in grado di aiutare l’utente nella risoluzione di qualunque problema matematico.

Digitalizzazione automatica dei documenti con note ed evidenziature

Il secondo prototipo presentato da Moro si chiama Mark & Comment: lo strumento permette di evidenziare testo su carta e vederlo automaticamente sottolineato in tempo reale su un dispositivo digitale. Se l’utente tiene la carta con il mignolo e parla, la voce è trasformata in testo utilizzando l’AI di trascrizione Whisper. Il commento trascritto appare direttamente sopra il testo evidenziato.

Il processo utilizza la libreria software OpenCV per convertire il testo evidenziato in una stringa di codici, trasmettendola a GPT-4 con un prompt che restituisce solo il contenuto evidenziato. Questa soluzione consente di digitalizzare selettivamente i contenuti, ottimizzando l’interazione tra carta e schermo.

Animare le opere su carta e trasformarle in digitale

Infine, con Draw & Dream il disegno su carta si trasforma in un’opera visiva generata in tempo reale. L’immagine disegnata sul foglio è elaborata tramite il modello StreamDiffusion, che crea un’interpretazione visiva del disegno. Il risultato viene poi visualizzato in tempo reale tramite Unity, il celebre motore grafico multipiattaforma, arricchendo l’esperienza creativa.

Morro ha implementato una sofisticata pipeline di elaborazione delle immagini in Python, utilizzando OpenCV per rilevare i bordi del foglio. Tecniche come “Brute-Force matcher” e omografia, hanno permesso allo sviluppatore di garantire un riconoscimento preciso anche in caso di ostacoli visivi come la presenza delle mani sul foglio o degli strumenti di disegno.

Il designer ha descritto ciascun prototipo come un’esplorazione unica del rapporto tra uomo e IA: in un caso l’AI va a estendere le abilità intellettive umane, in un altro un assistente è capace di analizzare e comprendere testi scritti, nel terzo l’AI generativa non è solo uno strumento ma una fonte d’ispirazione per la creatività personale.

Il lavoro condotto da Morro dimostra come la tecnologia possa arricchire i mezzi tradizionali, senza sostituirli, reinterpretandoli invece per assicurare esperienze interattive innovative.