Teadlased kinnitavad: tehisintellekt ChatGPT muutubki järjest rumalamaks

Teadlased leidsid meetodi, kuidas teiste keelemudelite abiga saab pealt kuulata inimese vestlust suurte keelemudelitega, nagu ChatGPT ja CoPilot. Kuigi alati ei õnnestu sõna-sõnalt sisu välja nuhkida, suudab see meetod üsna täpselt kindlaks määrata, mis teemal juttu aetakse. Foto: Viralyft/Pexels

Juba maikuus hakkasid kasutajad märkama, et tehisintellekti suur keelemudel ChatGPT, mis vastab inimeste mistahes küsimustele, on hakanud kehvemaid tulemusi andma. ChatGPTd arendava idufirma OpenAI asepresident lükkas need kahtlused ümber, kuid nüüd on Stanfordi ja Berkeley ülikooli teadlased avaldanud uurimuse, mis väidab, et ChatGPT uusim keelemudel GPT-4 on tõesti laisemaks ja rumalamaks läinud.

Värskes uuringus leidsid Stanfordi ja Berkeley teadlased, et mõne kuu jooksul muutsid nii GPT-3.5 kui ka GPT-4 keelemudelid oluliselt oma käitumist ning tehisintellekti vastuste täpsus näis langevat, kinnitades kasutajate kaebusi tarkvara viimaste versioonide ilmse halvenemise kohta, kirjutab Gizmodo.

Teadlaste uuringus, mis on loetav siit, jõutakse järeldusele, et uuem keelemudel GPT-4, mis tuli välja märtsis 2023, oli väga hea algarvude tuvastamisel (täpsus 97,6 protsenti), kuid seesama GPT-4 sai juunis samade küsimustega väga kehva tulemuse: täpsus oli vaid 2,4 protsenti. Huvitaval kombel oli vanem keelemudel GPT-3.5 (juuni 2023) selles ülesandes palju parem, kui GPT-3.5 märtsis.

Samuti oli ChatGPT tehisintellekti keelemudel GPT-4 juunis vähem valmis tundlikele küsimustele vastama ja mõlema keelemudeli puhul esines juunis koodi genereerimisel rohkem vormindusvigu kui märtsis.

Mis on ChatGPT?

ChatGPT on tehisintellektil põhinev juturobot, mis kasutab vastuste loomisel suurt keelemudelit. Mudelisse on sisestatud tekstikorpus (Interneti avalik sisu ja muud andmed aastast 2021), mille põhjal on ChatGPT võimeline looma loogilist ja asjakohast teksti. Keelemudel töötab põhimõttel, et iga järgmine sõna lauses arvutatakse välja tõenäosuse põhjal, et saada parim võimalik tulemus.

ChatGPT töötas välja USA idufirma OpenAI. Teenust kasutatakse küsimustele vastuste saamiseks mistahes teemal, soovitud sisu ja stiiliga tekstide loomisel, programmikoodi kirjutamisel, tekstide analüüsil, toimetamisel, tõlkimisel, kokkuvõtete tegemisel jm.

Teadlaste uuringutulemused näitasid, et sama tehisintellekti teenuse käitumine võib suhteliselt lühikese aja jooksul suuresti muutuda ja üldse mitte paremuse suunas.

OpenAI asepresident Peter Welinder väitis aga, et kasutajad ise on nüüd nõudlikumad ja sellepärast tundub neile, nagu oleks tehisintellekt samal ajal rumalamaks läinud:

No, we haven't made GPT-4 dumber. Quite the opposite: we make each new version smarter than the previous one.

Current hypothesis: When you use it more heavily, you start noticing issues you didn't see before.

— Peter Welinder (@npew) July 13, 2023