OpenAI:n synteettiseen älykkyyteen perustuva chatbot ChatGPT näyttää huonontuvan ajan myötä, eivätkä tutkijat näytä pystyvän määrittämään syytä.
Heinäkuun 18. päivänä oppiaStanfordin ja UC Berkeleyn tutkijat havaitsivat, että ChatGPT:n uusimmat muodit eivät olleet pystyneet tarjoamaan oikeita ratkaisuja identtisiin kysymyksiin muutamassa kuukaudessa.
Tutkimuksen tekijät eivät pystyneet antamaan läpinäkyvää vastausta siihen, miksi AI-chatbotin ominaisuudet olivat heikentyneet.
Tarkistaakseen, kuinka luotettavia ChatGPT:n täysin erilaiset muotit olivat olleet, tutkijat Lingjiao Chen, Matei Zaharia ja James Zou pyysivät ChatGPT-3.5- ja ChatGPT-4-muodeja ratkaisemaan joukon matemaattisia ongelmia, vastaamaan arkaluontoisiin kysymyksiin ja kirjoittamaan uusia koodin jälkiä. ja suorittaa spatiaalista päättelyä kehotteiden avulla.
Arvioimme #ChatGPTtutki GPT4:n ja GPT3.5:n käyttäytymistä ajan mittaan ja löysi tärkeitä variaatioita *identtisten kysymysten* ratkaisuista GPT4:n ja GPT3.5:n kesäkuun julkaisun ja maaliskuun julkaisujen välillä. Uudemmat muunnelmat paranivat joissakin tehtävissä. Lingjiao Chenin kanssa @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
- James Zou (@james_y_zou) Heinäkuu 19, 2023
Vastauksena analyysiin maaliskuusta lähtien ChatGPT-4 pystyi määrittämään alkuluvut 97.6 %:n tarkkuudella. Kesäkuussa tehdyssä identtisessä tarkastuksessa GPT-4:n tarkkuus putosi yksinkertaisesti 2.4 prosenttiin.
Poikkeuksena aikaisempi GPT 3.5 -nukke oli tehnyt parannuksia prime-määrien tunnistamisessa saman ajanjakson aikana.
liittyvä: SEC:n Gary Gensler uskoo, että tekoäly voi vahvistaa täytäntöönpanojärjestelmää
Uusia koodijälkiä valmistettaessa kunkin muodin ominaisuudet heikkenivät huomattavasti maalis-kesäkuussa.
Tutkimuksessa havaittiin lisäksi, että ChatGPT:n vastaukset arkaluontoisiin kysymyksiin – joissakin esimerkeissä korostivat etnistä alkuperää ja sukupuolta – kasvoivat myöhemmin erittäin ytimekkäämmäksi ja kieltäytyivät vastaamasta.
Chatbotin aikaisemmat muunnelmat tarjosivat yksityiskohtaisia perusteluja sille, miksi se ei pystynyt vastaamaan varmiin arkaluontoisiin kysymyksiin. Siitä huolimatta muoti kesäkuussa vain pyysi anteeksi kuluttajalta ja kieltäytyi vastaamasta.
""Identtisen" [suuri kielimalli] Palvelu voi muuttua huomattavasti suhteellisen nopeassa ajassa", tutkijat kirjoittavat ja vetoavat tarpeeseen valvoa jatkuvasti tekoälynuken tasoa.
Tutkijat hyötyvät siitä, että asiakkaat ja yritykset, jotka ovat riippuvaisia LLM-palveluntarjoajista osana työnkulkuaan, ottavat käyttöön jonkinlaisen seuranta-analytiikan varmistaakseen, että chatbot pysyy ajan tasalla.
OpenAI paljasti 6. kesäkuuta suunnitelmansa koota työvoimaa, joka auttaisi käsittelemään vaaroja, joita superälykkäästä tekoälyjärjestelmästä syntyisi vuosikymmenen aikana.
AI-silmä: Tekoälyn sisältömateriaaliin koulutetut tekoälyt tulevat hulluiksi. Onko Threads tekoälytietojen tappiopäällikkö?
