Stanfordski znanstveniki ugotavljajo, da GPT-4 sčasoma postaja neumnejši

Novo študija znanstvenikov z univerze Stanford je potrdilo, nad čimer se uporabniki interneta pritožujejo že tedne: ChatGPT Plus, ki temelji na GPT-4 je res postal bolj neumen - za razliko od GPT-3.5, ki poganja brezplačno različico chatbota.

V svoji študiji so avtorji primerjali odgovore na različne zahteve chatbota, ki temelji na GPT-4 in GPT-3.5. Oni ugotovili, da sta obnašanje chatbota in točnost odgovorov na nekatere zahteve v novi različici precejšnja poslabšalo.

Avtorji so primerjali jezikovna modela GPT-4 in GPT-3.5, izdana marca in januarja. Ugotovili so, da je v tem času natančnost GPT-4 opazno padla, medtem ko se je GPT-3,5, nasprotno, povečala.

Na primer, natančnost odgovora na vprašanje, ali je 17077 praštevilo, je padla za 95,2%, medtem ko se je GPT-3,5, nasprotno, povečala s 7,4% na 86,8%. Prav tako se je v trenutnih različicah obeh modelov zmanjšala možnost uspešne izvedbe kode, ki jo piše nevronska mreža.

Pred tem je že podpredsednik OpenAI Peter Welinder odgovoril na obtožbe uporabnikov ChatGPT Plus:

V enem od odgovorov na ta tvit Welinder vprašal zagotovite dokaze, da je chatbot postal slabši. Študija stanfordskih znanstvenikov se je pojavila 5 dni za tem - in še ni bilo odgovora OpenAI.

To ni prvič, da je bil GPT-4 obtožen posredovanja lažnih podatkov. Marca so analitiki NewsGuard odkritida je ChatGPT, ki temelji na GPT-4, lažje pripraviti do laži - medtem ko sam OpenAI trdi, da je točnost odgovorov 40-odstotna v primerjavi z GPT-3.5. IN zlasti v testih NewsGuard je bilo manj verjetno, da bo nova različica nevronske mreže ovrgla lažne informacije - vključno z lažnimi podatki o sodobnih dogodkih in teorijah zarote.