El chatbot basado en inteligencia sintética de OpenAI, ChatGPT, parece estar degradándose con el tiempo, y los investigadores no parecen determinar por qué.
En un 18 de julio aprendenInvestigadores de Stanford y UC Berkeley descubrieron que los modelos más nuevos de ChatGPT eran mucho menos capaces de ofrecer respuestas precisas a un conjunto idéntico de preguntas en cuestión de meses.
Los autores del estudio no pudieron dar una respuesta clara de por qué se habían deteriorado las capacidades del chatbot de IA.
Para probar qué tan confiables eran los otros modelos de ChatGPT, los investigadores Lingjiao Chen, Matei Zaharia y James Zou solicitaron los modelos ChatGPT-3.5 y ChatGPT-4 para resolver una serie de problemas matemáticos, responder preguntas delicadas, escribir nuevos rastros de código y realizar razonamiento espacial utilizando indicaciones.
Evaluamos #ChatGPTExaminó el comportamiento de GPT4 y GPT3.5 a lo largo del tiempo y encontró variaciones importantes en las respuestas a *preguntas idénticas* entre el lanzamiento de junio de GPT4 y GPT3.5 y los lanzamientos de marzo. Las variaciones más nuevas obtuvieron peores resultados en algunas tareas. con Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
—James Zou (@james_y_zou) 19 de Julio de 2023
En respuesta al análisis, a partir de marzo, ChatGPT-4 fue capaz de determinar números primos con una precisión del 97.6 %. En la misma prueba, realizada en junio, la precisión de GPT-4 se redujo a solo un 2.4 %.
En cambio, el modelo GPT 3.5 anterior había realizado mejoras en la identificación de números principales durante el mismo período.
Asociado: Gary Gensler de la SEC cree que AI puede fortalecer su sistema de cumplimiento
Al producir nuevos rastros de código, las capacidades de ambos modelos se redujeron significativamente entre marzo y junio.
El estudio también encontró que las respuestas de ChatGPT a preguntas delicadas, con algunos ejemplos que muestran un énfasis en el origen étnico y el género, luego se volvieron más breves y se negaron a responder.
Las versiones anteriores del chatbot ofrecieron justificaciones detalladas de por qué no pudo responder ciertas preguntas delicadas. Sin embargo, en junio, las modelos simplemente se disculparon con el consumidor y se negaron a responder.
"La conducta del 'idéntico' [modelo de lenguaje grande] El servicio puede cambiar significativamente en un período de tiempo relativamente rápido", escriben los investigadores, citando la necesidad de un seguimiento constante del estándar del modelo de IA.
Los investigadores se beneficiaron de que los clientes y las corporaciones que dependen de los proveedores de LLM como parte de sus flujos de trabajo implementen algún tipo de análisis de monitoreo para asegurarse de que el chatbot se mantenga actualizado.
El 6 de junio, OpenAI reveló planes para formar un equipo que ayude a manejar los riesgos que surgirían de un sistema de IA superinteligente, que se prevé para la década.
Ojo de IA: Las IA educadas en contenido de IA se vuelven locas. ¿Son los subprocesos un jefe de pérdidas para la información de IA?
