Der auf synthetischer Intelligenz basierende Chatbot ChatGPT von OpenAI scheint sich im Laufe der Zeit zu verschlechtern, und Forscher scheinen nicht herauszufinden, warum.
An einem 18. Juli in Verbindung, umForscher aus Stanford und der UC Berkeley fanden heraus, dass die neuesten Modelle von ChatGPT weit weniger in der Lage waren, innerhalb weniger Monate korrekte Lösungen für eine Reihe identischer Fragen bereitzustellen.
Die Autoren der Studie konnten keine transparente Antwort darauf liefern, warum sich die Fähigkeiten des KI-Chatbots verschlechtert hatten.
Um zu überprüfen, wie zuverlässig die verschiedenen ChatGPT-Modelle waren, verwendeten die Forscher Lingjiao Chen, Matei Zaharia und James Zou die ChatGPT-3.5- und ChatGPT-4-Modelle, um eine Reihe mathematischer Probleme zu lösen, schwierige Fragen zu beantworten, neue Codespuren zu schreiben und mithilfe von Eingabeaufforderungen räumliches Denken durchzuführen.
Wir haben bewertet #ChatGPTuntersuchte das Verhalten von GPT4 und GPT3.5 im Laufe der Zeit und stellte wesentliche Unterschiede in den Lösungen für *identische Fragen* zwischen der Einführung von GPT4 und GPT3.5 im Juni und den März-Veröffentlichungen fest. Die neueren Versionen waren bei einigen Aufgaben schlechter. mit Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
— James Zou (@james_y_zou) 19. Juli 2023
Laut der Analyse war ChatGPT-4 im März in der Lage, Primzahlen mit einer Genauigkeit von 97.6 % zu bestimmen. Im selben Test, der im Juni durchgeführt wurde, sank die Genauigkeit von GPT-4 auf nur 2.4 %.
Im Gegensatz dazu hatte das frühere GPT 3.5-Modell im gleichen Zeitraum Verbesserungen bei der Identifizierung großer Zahlen erzielt.
Damit verbundenen: Gary Gensler von der SEC glaubt, dass KI ihr Durchsetzungssystem stärken kann
Bei der Erstellung neuer Codespuren verringerten sich die Fähigkeiten beider Modelle zwischen März und Juni erheblich.
Die Studie ergab außerdem, dass die Antworten von ChatGPT auf heikle Fragen – wobei einige Beispiele eine Betonung der ethnischen Zugehörigkeit und des Geschlechts zeigten – später prägnanter wurden und eine Antwort verweigerten.
Frühere Versionen des Chatbots boten ausführliche Begründungen dafür, warum er bestimmte heikle Fragen nicht beantworten konnte. Dennoch entschuldigte sich die Mode im Juni lediglich beim Verbraucher und weigerte sich zu antworten.
„Die Funktionsweise des ‚identischen‘ [großen Sprachmodells] des Dienstes kann sich in relativ kurzer Zeit erheblich ändern“, schreiben die Forscher und verweisen auf die Notwendigkeit einer kontinuierlichen Überwachung der Qualität des KI-Modells.
Die Forscher empfehlen, dass Kunden und Unternehmen, die in ihren Arbeitsabläufen auf LLM-Anbieter angewiesen sind, eine Art Überwachungsanalyse implementieren, um sicherzustellen, dass der Chatbot auf dem neuesten Stand bleibt.
Am 6. Juni stellte OpenAI Pläne zur Bildung eines Teams vor, das dabei helfen soll, die Gefahren zu bewältigen, die von einem superintelligenten KI-System ausgehen würden, was im Laufe des Jahrzehnts vorhergesagt wird.
KI-Auge: KIs, die sich mit KI-Inhalten beschäftigen, werden verrückt. Ist Threads ein Verlustfaktor für KI-Daten?
