Valeuudiste detektor valetab ise ka, selgus teadlaste uuringust

Foto: Memyselfaneye / Pixabay

Kõikvõimalikud libauudiste detektorid, mida seni kasutatakse, on ühe olulise veaga, selgus Rutgersi ülikooli teadlaste uuringust. See tähendab, et mõnikord võib tõese või vale teksti väljaselgitamine olla nagu kulli ja kirja viskamine.

Põhimõtteliselt tugineb valdav enamik neist algoritmidest artikli «allika» ehk veebisaidi või domeeni usaldusväärsuse hindamisele, mitte ei hinda iga üksiku artikli usaldusväärsust eraldi, juhtisid teadlased tähelepanu asjaolule, miks valeuudiste detektorid mõnikord ise valetavad.

Rutgersi kommunikatsiooni- ja teabekooli dotsent ning OSFHome'is avaldatud uuringu «Väärteabe tuvastamise algoritmid ja õiglus poliitilistes ideoloogiates: artikli taseme märgistamise mõju» kaasautor Vivek K. Singh tõi teadustöös selle kohta näite: «Ei ole nii, et kõik «usaldusväärseks» märgitud allikates (näiteks The New York Times) avaldatud artiklid on täpsed, samuti pole nii, et iga «mitteusaldusväärseks» märgitud väljaandes avaldatud lugu on võltsuudis.» 

Teadlaste analüüs näitas, et artiklite sildistamine allika põhjal õigeks või valeks on sama halb mõte, kui lihtsalt mündiga «kulli ja kirja» viskamine.

Allika tasemel usaldusväärsuse siltide kasutamine andis tulemuseks 51% usaldusväärsuse, mis loomulikult pole mingi kindel määramismeetod, vaid pigem tähendabki loosi tõmbamist tulemuse teadasaamiseks.

Probleemi lahendamiseks pakub uuring välja huvitava algoritmi ajakirjandusliku kvaliteediga artiklite andmekogumi uurimiseks ning vastava «koodi» valeinfo tuvastamiseks. Nii saab usaldusväärsemalt hinnata artikli usutavust ning mõnikord pole põhjalikum uurimine üldse vajalik. Näiteks kohe esimeses etapis, kus tuvastatakse, et artikkel ei puuduta üldse poliitikat ja poliitikuid, võibki uuringu lõpetada ja edasi järgmiste sammude juurde pole mõtet minna, kuna üsna tõenäoliselt ei ole enam tegu libauudisega. Mõnes järgmises etapis aga võib tõeväärsuse hindamisest loobuda, kui artikkel on täiesti neutraalne või on tegemist silmnähtavalt satiiri või naljaga.

Teadlased hindasid oma töös ligi 1000 uudise usaldusväärsust ja poliitilist kalduvust ning kasutasid tulemusi artiklite tasemel valeinformatsiooni tuvastamise algoritmi koostamiseks. Seejärel hindasid nad, kuidas märgistamise metoodika (veebilehe või domeeni põhine usutavuse määramine versus artikli tasemel hindamine) mõjutab valeinformatsiooni tuvastamise algoritmide täpsust.

Autorid nentisid, et senised veebiartiklites valeinformatsiooni tuvastamiseks kasutatavad algoritmid toimivad just nii, nagu need on toimima pandud sellepärast, et uudisteartiklite eraldamiseks on vähe tööriistu, mis suudaksid iga teksti eraldi analüüsida ja sildistada, kohati ei pruugi see olla võimalik, arvestades tohutut mahtu veebis avaldatud ja levitatavatest uudistest. Samas pole õige kahtluse alla seada kogu väljaande usaldusväärsus tervikuna või usaldada pimesi kõiki usaldusväärses allikas avaldatud lugusid.

«Veebiuudiste õigsuse kinnitamine ja valeinformatsiooni leviku tõkestamine on usaldusväärse veebikeskkonna tagamiseks ja demokraatia kaitsmiseks ülioluline,» kirjutasid autorid oma töös ja lisasid, et nende uuringu eesmärgiks ongi suurendada üldsuse usaldust valeinformatsiooni tuvastamise vahendite vastu.

Igaüks saab proovida uudise tõeseks või libauudiseks liigitamist teadlaste välja pakutud soovituste põhjal siin: https://osf.io/2z6bj.