ChatGPT per tenere la contabilità? Ecco perché è una cattiva idea

La diffusione di sistemi noti come large language model (LLM), ChatGPT su tutti, ha causato una vera e propria rivoluzione nel rapporto tra uomo e macchina.

Messa alla prova, di fatto l’Intelligenza Artificiale si dimostra egregia nello svolgere in pochi secondi compiti che agli esseri umani possono richiedere ore. Eppure, in alcuni contesti, le chatbot mostrano ancora tutti i suoi limiti.

A quanto pare, infatti, i contabili non devono (per ora) temere la concorrenza di ChatGPT. Secondo alcuni recenti test, infatti, l’IA creata da OpenAI è decisamente negata nei calcoli che caratterizzano questo settore.

I risultati di alcuni esperimenti, portati avanti da David Wood, professore di contabilità della Brigham Young University (BYU), hanno messo a nudo un alto livello di incompetenza dell’IA quando si tratta di affrontare certi conti.

Wood ha deciso di sfruttare il potere della comunità contabile globale attraverso una presentazione sui social media che sollecitava aiuto per mettere ChatGPT alla prova di una sorta di esame di contabilità.

Allo studio hanno partecipato 327 coautori provenienti da 186 istituti scolastici situati in 14 paesi. Questi hanno messo insieme più di 2.000 domande per l’esame di contabilità a cui sottoporre alla chatbot.

Tipico di un esame contabile completo, le domande spaziavano su tutti gli argomenti principali. quali contabilità finanziaria, revisione contabile, contabilità gestionale, fiscale e non solo. I quesiti presentati erano di diversi tipi (scelta multipla, risposte brevi, vero/falso) e con diversi livelli di difficoltà.

ChatGPT bocciata in contabilità: ecco perché

I risultati sono stati inequivocabili: ChatGPT ha registrato un risultato del 47,4% di risposte esatte che, di per sé, non è stato poi così disastroso. Coinvolgendo alcuni studenti impegnati sulla materia, però, si sono dimostrati molto meglio dell’IA, ottenendo una media del 76,7%.

Secondo l’articolo di Wood sul test, ChatGPT ha dimostrato difficoltà a far sì che i suoi neuroni artificiali affrontassero problemi che riguardavano la valutazione fiscale, finanziaria e gestionale, ovvero ambiti  che richiedono elevate competenze matematiche.

Questi risultati possono essere spiegati in diversi modi. Innanzitutto, l’IA è stata alimentata con un numero enorme di dati ma, di queste informazioni, solo una piccola parte sono legate a numeri e matematica.

La stessa struttura di ChatGPT è basata su modelli linguistici, dunque focalizzata nel fornire risposte colloquiali alle domande. A tal proposito, è facile capire come l’IA non si trovi a proprio agio con la contabilità.

Va poi considerato che, il risultato di questi test, può essere in parte condizionato dalla probabilità. In altri contesti e con altre domande, seppur su tematiche simili, ChatGPT potrebbe fornire risultati diversi.