L’intelligenza artificiale inizia a deludere. Le prestazioni calano e in molti si lamentano supportati dagli studi di due università americane piuttosto prestigiose: la Stanford University e l’Università della California Berkeley. Tre ricercatori hanno infatti messo in dubbio le prestazioni costanti dei modelli di linguaggio di grandi dimensioni di OpenAI, in particolare Gpt-3.5 e Gpt-4.

Lingjiao Chen, Matei Zaharia e James Zou hanno testato le versioni di marzo e giugno 2023 su attività come la risoluzione di problemi matematici, la risposta a domande sensibili, la generazione di codice e il ragionamento visivo. Il risultato è che l’intelligentissima Intelligenza Artificiale è crollata sulla matematica. Insomma ChatGpt4 non riesce a individuare soprattutto i numeri primi, o meglio è passata da una precisione del 97,6% di marzo a solo il 2,4% di giugno. Si è in sostanza adeguata alla precisione umana.

Tra le teorie sul calo – il tentativo di risparmiare energie computazionali per accelerare le risposte del software, ma anche una mossa dell’azienda per far pagare agli utenti capacità aggiuntive. “Non abbiamo reso Gpt-4 più stupido, quando si usa in maniera più intensiva si iniziano a notare problemi che non si vedevano prima”, ha scritto in un tweet Peter Welinde, vice presidente di OpenAi, società che ha creato ChatGpt. Arvind Narayanan, professore di informatica all’Università di Princeton, ritiene che i risultati dello studio non dimostrino in modo definitivo un calo delle prestazioni di Gpt-4 e che siano potenzialmente coerenti con gli aggiustamenti apportati da OpenAI.

 

Redazione

Autore

© Riproduzione riservata