:format(webp)/nginx/o/2022/12/26/15046148t1hb157.jpg)
:format(webp)/nginx/o/2025/01/12/16592191t1haffe.jpg)
Kogenud tehisintellektimudelid saavad küll päris hästi hakkama professionaalsete meditsiinieksami testidega, kuid jäävad hätta ühe kõige olulisema arsti ülesandega: patsientidega suhtlemisega, et koguda meditsiinilist teavet ja anda täpne diagnoos.
«Kuigi suured keelemudelid näitavad valikvastustega testides muljet avaldavaid tulemusi, langeb nende täpsus inimestega jooksvas vestlustes märkimisväärselt,» ütleb Pranav Rajpurkar Harvardi ülikoolist.
Rajpurkar ja tema kolleegid töötasid välja tehisintellekti võrdlusvahendi CRAFT-MD, mis hindab kliinilise tehisintellekti mudeli mõtlemisvõimet simuleeritud arsti-patsiendi vestluste põhjal. Need vestlused loodi 2000 meditsiinilise juhtumi põhjal, mis pärinevad USA meditsiinipraktikast.
Erinevad katsed näitasid, et neli juhtivat keelemudelit – OpenAI GPT-3.5 ja GPT-4, Meta Llama-2-7b ning Mistral AI Mistral-v2-7b – esinesid vestluspõhises võrdlustestis märksa kehvemini kui juhtumite kirjalike kokkuvõtete põhjal diagnoose tehes. OpenAI, Meta ja Mistral AI ei vastanud New Scientisti kommentaaritaotlustele.
Näiteks oli GPT-4 täpsus diagnoosimisel 82 protsenti, kui see pidi struktureeritud juhtumite kokkuvõtete põhjal valima õige diagnoosi valikvastustest. Kui mudel pidi aga diagnoosi tegema simuleeritud patsiendivestluste põhjal, langes täpsus vaid 26 protsendini (vt lähemalt dx.doi.org/g8xhs8, Nature Medicine).
Samuti ebaõnnestusid tehisintellekti mudelid täieliku haigusloo kogumisel märkimisväärsel hulgal juhtudest. Juhtiv mudel GPT-4 suutis seda õigesti teha vaid 71 protsendil juhtudest. Isegi kui haiguslugu õnnestus koguda, ei viinud see alati õige diagnoosi määramiseni.
Artikkel avaldati algselt populaarteaduslikus ajakirjas New Scientist ja ilmub Postimehes väljaande loal. Inglise keelest tõlkis Kaido Einama.