MediaTek accusata di barare nei benchmark punta il dito anche contro i concorrenti

In passato diversi produttori di smartphone sono stati accusati di aver modificato ad arte il comportamento dei rispettivi dispositivi mobili per ottenere giudizi finali ancor più incoraggianti con i vari benchmark (vedere ad esempio Per Huawei e Honor risultati falsati nel benchmark 3DMark: cos’è successo).

Un nuovo report indipendente (AnandTech) punta questa volta il dito contro MediaTek, noto produttore di SoC (una delle principali alternative alle offerte Qualcomm e HiSilicon).
L'”odore di bruciato” è parso evidente quando uno smartphone Oppo Reno 3 Pro (versione europea) basato su SoC Helio P95 è stato paragonato con un Oppo Reno 3 (versione cinese) equipaggiato con un processore Dimensity 1000L.
Il primo dispositivo, infatti, è riuscito a superare Oppo Reno 3 nell’ambito del benchmark PCMark: un’evidente stranezza perché il SoC Helio P95 è basato su core Cortex-A75, vecchi di due generazioni rispetto ai core Cortex-A77 del Dimensity 1000L.

Come spiegano i ricercatori, sullo smartphone Reno 3 Pro è stata installata una versione del benchmark PCMark opportunamente modificata per non essere rilevata dal firmware del dispositivo mobile.
Utilizzando tale benchmark “stealth”, è stato rilevato un calo prestazionale del 30% per quanto riguarda il giudizio finale e un -70% in alcuni test specifici.

La versione cinese del Reno 3 Pro, che usa un SoC Snapdragon 765G al posto dell’Helio P95, non altererebbe invece i dati del benchmark in alcun modo.
Comportamenti anomali sono stati rilevati anche in dispositivi quali Realme C3, Xiaomi Redmi Note 8 Pro e Sony Xperia XA1, quest’ultimo un prodotto datato 2017.

Prima ancora che il reportage su MediaTek venisse pubblicato, l’azienda taiwanese ha voluto illustrare il suo punto di vista.
“MediaTek segue standard industriali universalmente accettati ed è convinta che i benchmark rappresentino accuratamente le capacità dei nostri chip“, si legge nella nota. “Lavoriamo a stretto contatto con i produttori di dispositivi quando si tratta di testare e di effettuare il benchmarking dei vari prodotti che usano i nostri chip ma ogni vendor ha di fatto la libertà di configurare i suoi dispositivi come meglio crede. Molte aziende progettano i dispositivi per funzionare ai massimi livelli di prestazioni possibili quando i benchmark sono in esecuzione al fine di mostrare le potenzialità del chip. Naturalmente, negli scenari del mondo reale ci sono una moltitudine di fattori che determinano le prestazioni dei chip“.
E ancora: “I chip MediaTek sono progettati per ottimizzare la potenza e le prestazioni per fornire la migliore esperienza utente possibile, massimizzando al contempo la durata della batteria. Quando si avviasse un’applicazione che provoca carichi di lavoro importanti, il chip si adatterà in modo intelligente per fornire le migliori prestazioni. Ciò significa che un utente vedrà diversi livelli di prestazioni a seconda delle app in uso poiché il chip gestisce dinamicamente CPU, GPU e le risorse di memoria in base alla potenza e alle prestazioni richieste (…). Inoltre, alcuni brand usano diversi tipi di modalità di funzionamento a seconda dell’area geografica nella quale risiede l’utente: le prestazioni dei dispositivi possono quindi variare in base alle esigenze dei singoli mercati“.

Secondo MediaTek spetta comunque ai produttori “l’ultima parola” sulle ottimizzazioni e le modifiche apportate al fine di gestire specifici file APK.

MediaTek ha anche criticato il reportage indicando che le pratiche di “ottimizzazione nelle attività di benchmarking” sono ormai divenute uno standard nel settore e affermando che i dispositivi basati su SoC di altre aziende concorrenti fanno esattamente la stessa cosa.

“Se fossero stati analizzati altri dispositivi mobili, i ricercatori avrebbero rilevato lo stesso comportamento che viene contestato solamente a noi“, osserva infine MediaTek.

Oppo dice la sua: i dati dei benchmark con il firmware rilasciato il 6 marzo sono assolutamente normali

Dal momento che sono stati citati due suoi dispositivi mobili, il produttore cinese Oppo ha ritenuto opportuno puntualizzare alcuni aspetti importanti.

I tecnici di Oppo rivelano che all’inizio di febbraio i test svolti internamente hanno rilevato che i punteggi ottenuti dallo smartphone Reno 3 Pro 4G risultavano anomali.
Il problema relativo all’errato risultato con i principali benchmark è stato successivamente individuato e corretto con il rilascio, lo scorso 6 marzo, di un aggiornamento correttivo distribuito automaticamente a tutti gli utenti (il numero di versione dell’aggiornamento OTA era CPH2035PU_11.A.08_0080_202003010045).
“Tutti gli smartphone Reno 3 Pro 4G con l’aggiornamento installato hanno da allora prodotto risultati corretti durante le attività di benchmarking“, si legge in una nota fatta pervenire in redazione da Oppo che continua: “dopo il reportage pubblicato da AnandTech lo scorso 8 aprile abbiamo nuovamente analizzato il comportamento dei benchmark sul Reno 3 Pro verificando che i risultati ottenuti sono corretti“.

Abbinando alcuni screenshot, Oppo fa presente che prime dell’aggiornamento correttivo del 6 marzo con il benchmark Antutu lo smartphone Reno 3 Pro otteneva un risultato scorretto pari a oltre 220.000 punti. Dopo l’installazione della patch, i valori sono tornati normali (poco più di 199.800 punti).
Per quanto riguarda PCMark, in precedenza, venivano erroneamente assegnati 9.430 punti circa al terminale; installando l’aggiornamento OTA si è tornati al giudizio corretto di quasi 7.000 punti.