Il chatbot ChatGPT basato sull'intelligenza sintetica di OpenAI sembra degradarsi nel tempo e i ricercatori non riescono a determinare il motivo.
In un 18 luglio imparareI ricercatori di Stanford e UC Berkeley hanno scoperto che i modelli più recenti di ChatGPT erano stati molto meno in grado di offrire soluzioni corrette a una serie identica di domande nel giro di pochi mesi.
Gli autori dello studio non sono stati in grado di fornire una risposta trasparente sul motivo per cui le capacità del chatbot di intelligenza artificiale si erano deteriorate.
Per verificare quanto fossero affidabili gli altri modelli di ChatGPT, i ricercatori Lingjiao Chen, Matei Zaharia e James Zou hanno chiesto ai modelli ChatGPT-3.5 e ChatGPT-4 di risolvere una serie di problemi di matematica, rispondere a domande delicate, scrivere nuove tracce di codice ed eseguire ragionamenti spaziali utilizzando suggerimenti.
Abbiamo valutato #ChatGPTha esaminato il comportamento di GPT4 e GPT3.5 nel tempo e ha individuato variazioni vitali all'interno delle soluzioni a *domande identiche* tra il lancio di giugno di GPT4 e GPT3.5 e le versioni di marzo. Le versioni più recenti sono andate peggio in alcuni compiti. con Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
— James Zou (@james_y_zou) Luglio 19, 2023
In risposta all'analisi, a partire da marzo, ChatGPT-4 era in grado di determinare i numeri primi con una precisione del 97.6%. Nello stesso test, eseguito a giugno, la precisione di GPT-4 è scesa solo al 2.4%.
Al contrario, il modello GPT 3.5 precedente aveva apportato miglioramenti nell'identificazione dei numeri principali nello stesso periodo.
associato: Gary Gensler della SEC ritiene che l'IA possa rafforzare il suo sistema di applicazione
Durante la produzione di nuove tracce di codice, le capacità di entrambi i modelli sono diminuite notevolmente tra marzo e giugno.
Lo studio ha anche scoperto che le risposte di ChatGPT a domande delicate, con alcuni esempi che mostrano un'enfasi su etnia e genere, in seguito sono diventate più succinte e si rifiutano di rispondere.
Le versioni precedenti del chatbot offrivano giustificazioni dettagliate sul motivo per cui non era in grado di rispondere a determinate domande delicate. Tuttavia, a giugno, le mode si sono limitate a chiedere scusa al consumatore e si sono rifiutate di rispondere.
"Il funzionamento del servizio 'identico' [modello di linguaggio ampio] può cambiare considerevolmente in un periodo di tempo relativamente rapido", scrivono i ricercatori, citando la necessità di un monitoraggio costante dello standard del modello AI.
I ricercatori hanno beneficiato del fatto che i clienti e le aziende che dipendono dai fornitori di LLM come parte dei loro flussi di lavoro implementano un qualche tipo di analisi di monitoraggio per assicurarsi che il chatbot rimanga aggiornato.
Il 6 giugno, OpenAI ha svelato i piani per creare una forza lavoro per aiutare a gestire i pericoli che potrebbero derivare da un sistema di intelligenza artificiale super intelligente, previsto per tutto il decennio.
Occhio AI: Le IA istruite sui contenuti IA impazziscono. Threads è un responsabile delle perdite per le informazioni AI?
