ओपनएआई का सिंथेटिक इंटेलिजेंस-आधारित चैटबॉट चैटजीपीटी समय के साथ ख़राब होता जा रहा है, और शोधकर्ता इसका कारण निर्धारित नहीं कर पा रहे हैं।
18 जुलाई को सीखनास्टैनफोर्ड और यूसी बर्कले के शोधकर्ताओं ने पाया कि चैटजीपीटी के नवीनतम मॉडल कुछ ही महीनों में प्रश्नों के समान सेट का सटीक उत्तर देने में बहुत कम सक्षम थे।
अध्ययन के लेखक इस बात का स्पष्ट उत्तर नहीं दे सके कि एआई चैटबॉट की क्षमताएं क्यों खराब हो गई हैं।
यह जांचने के लिए कि चैटजीपीटी के विभिन्न मॉडल कितने विश्वसनीय थे, शोधकर्ताओं लिंगजियाओ चेन, मातेई ज़हरिया और जेम्स ज़ो ने चैटजीपीटी-3.5 और चैटजीपीटी-4 मॉडल से गणित की समस्याओं की एक श्रृंखला को हल करने, संवेदनशील सवालों के जवाब देने, कोड की नई लाइनें लिखने का अनुरोध किया। , और संकेतों का उपयोग करके स्थानिक तर्क-वितर्क करें।
हमने मूल्यांकन किया #चैटजीपीटीसमय के साथ GPT4 और GPT3.5 के संचालन की जांच की और GPT4 और GPT3.5 के जून लॉन्च और मार्च रिलीज़ के बीच *समान प्रश्नों* के उत्तर में महत्वपूर्ण अंतर पाया। नए संस्करण कुछ कार्यों में बदतर हो गए। लिंगजियाओ चेन के साथ @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
- जेम्स ज़ू (@james_y_zou) जुलाई 19, 2023
विश्लेषण के अनुसार, मार्च तक, चैटजीपीटी-4 97.6% की सटीकता के साथ अभाज्य संख्याओं को निर्धारित करने में सक्षम था। जून में किए गए इसी परीक्षण में, GPT-4 की सटीकता घटकर केवल 2.4% रह गई।
इसके विपरीत, पहले के GPT 3.5 मॉडल ने इसी अवधि के दौरान प्राइम वॉल्यूम पहचान में सुधार किया था।
एसोसिएटेड: एसईसी के गैरी जेन्सलर का मानना है कि एआई अपनी प्रवर्तन प्रणाली को मजबूत कर सकता है
कोड की नई लाइनें बनाते समय, मार्च और जून के बीच दोनों मॉडलों की क्षमताएं काफी कम हो गईं।
अध्ययन में यह भी पाया गया कि संवेदनशील सवालों पर चैटजीपीटी की प्रतिक्रियाएँ - कुछ उदाहरणों में जातीयता और लिंग पर जोर देने के साथ - बाद में अधिक संक्षिप्त हो गईं और उत्तर देने से इनकार कर दिया गया।
चैटबॉट के पिछले संस्करणों में विस्तृत औचित्य प्रस्तुत किया गया था कि यह कुछ संवेदनशील प्रश्नों का उत्तर देने में असमर्थ क्यों था। हालाँकि, जून में, मॉडलों ने उपभोक्ता से केवल माफ़ी मांगी और जवाब देने से इनकार कर दिया।
एआई मॉडल की गुणवत्ता की निरंतर निगरानी की आवश्यकता का हवाला देते हुए, शोधकर्ता लिखते हैं, "'समान' [बड़े भाषा मॉडल] सेवा का आचरण अपेक्षाकृत कम समय अवधि में काफी बदल सकता है।"
शोधकर्ताओं ने सलाह दी कि ग्राहक और निगम जो अपने वर्कफ़्लो के हिस्से के रूप में एलएलएम प्रदाताओं पर निर्भर हैं, यह सुनिश्चित करने के लिए कि चैटबॉट अपडेट रहे, कुछ प्रकार के मॉनिटरिंग एनालिटिक्स लागू करें।
6 जून को, ओपनएआई ने सुपर-इंटेलिजेंट एआई सिस्टम से उत्पन्न होने वाले खतरों से निपटने में सहायता के लिए एक कार्यबल बनाने की योजना का अनावरण किया, जिसकी पूरे दशक में भविष्यवाणी की गई है।
ऐ आँख: एआई सामग्री पर प्रशिक्षित एआई पागल हो जाते हैं। क्या थ्रेड्स एआई सूचना के लिए हानि प्रमुख है?
