Le chatbot basé sur l'intelligence synthétique d'OpenAI, ChatGPT, semble se dégrader avec le temps, et les chercheurs ne semblent pas pouvoir déterminer pourquoi.
Dans un 18 juillet apprendreDes chercheurs de Stanford et de l'UC Berkeley ont découvert que les dernières tendances de ChatGPT étaient beaucoup moins capables d'offrir des réponses correctes à un même ensemble de questions en quelques mois.
Les auteurs de l'étude n'ont pas pu fournir de réponse claire quant aux raisons pour lesquelles les capacités du chatbot AI se sont détériorées.
Pour vérifier à quel point les différents modèles de ChatGPT étaient fiables, les chercheurs Lingjiao Chen, Matei Zaharia et James Zou ont demandé aux modèles ChatGPT-3.5 et ChatGPT-4 de résoudre une série de problèmes mathématiques, de répondre à des questions délicates, d'écrire de nouvelles traces de code. , et effectuez un raisonnement spatial à l'aide d'invites.
Nous avons évalué #ChatGPTa examiné le comportement de GPT4 et GPT3.5 au fil du temps et a localisé des variations importantes dans les solutions aux *questions identiques* entre le lancement de juin de GPT4 et GPT3.5 et les versions de mars. Les versions les plus récentes ont empiré à certaines tâches. avec Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
–James Zou (@james_y_zou) 19 juillet 2023
En réponse à l'analyse, en mars, ChatGPT-4 était capable de déterminer les nombres premiers avec une précision de 97.6 %. Lors de la même vérification, effectuée en juin, la précision du GPT-4 est tombée à seulement 2.4 %.
En revanche, l'ancien modèle GPT 3.5 avait apporté des améliorations à l'identification du volume principal au cours de la même période.
Associé: Gary Gensler de la SEC pense que l'IA peut renforcer son système d'application
Lors de la production de nouvelles traces de code, les capacités de chaque mode ont considérablement diminué entre mars et juin.
L'étude a également révélé que les réponses de ChatGPT à des questions délicates – avec quelques exemples mettant l'accent sur l'ethnicité et le sexe – sont devenues plus succinctes et refusaient de répondre.
Les versions antérieures du chatbot offraient des justifications détaillées quant à la raison pour laquelle il était incapable de répondre à certaines questions délicates. Pourtant, en juin, la mode s'est contentée de s'excuser auprès du client et a refusé de répondre.
"La conduite du service" identique "[grand modèle de langage] peut changer considérablement en une période de temps relativement rapide", écrivent les chercheurs, citant la nécessité d'une surveillance constante de la norme du mannequin d'IA.
Les chercheurs ont indiqué que les clients et les entreprises qui dépendent des fournisseurs de LLM dans le cadre de leurs flux de travail mettent en œuvre un certain type d'analyse de surveillance pour s'assurer que le chatbot reste à jour.
Le 6 juin, OpenAI a dévoilé son intention de former une équipe pour aider à gérer les dangers qui découleraient d'un système d'IA super intelligent, ce qui est prévu au cours de la décennie.
Oeil IA : Les IA formées au contenu de l'IA deviennent folles. Threads est-il un chef de file des pertes d'informations sur l'IA ?
