NOBELI PREEMIAD 2024 ⟩ Nobeli füüsikapreemia anti õppivate masinate tegelikele loojatele

Foto: Nobeli komitee

8. oktoobril kell pool üks päeval Eesti aja järgi anti Rootsi kuninglikus akadeemias Stockholmis teada 2024. aasta Nobeli füüsikapreemia saajad, kes olid John Hopfield Princetoni ülikoolist ja Geoffrey Hinton Toronto ülikoolist.​ Nende loodud lahendused on aluseks ka tänasele tehisintellektile, mida aina laiemalt kasutatakse.

Kungliku akadeemia tegevsekretär Hans Ellegren andis teada, et Nobeli selle aasta preemia anti õppivate masinate loomise eest John Hopfieldile Princetoni ülikoolist ja Geoffrey Hintonile Toronto ülikoolist.​ Tegemist on teadlastega, kes lõid neurovõrgud, millega pandi alus ulatuslikule masinõppele. Nobeli komitee on Hopfiieldi ja Hintoni rolli teaduses kokku võtnud järgnevalt:

Paljud inimesed on kogenud, kuidas arvutid suudavad tõlkida keelte vahel, tõlgendada pilte ja isegi pidada mõistlikke vestlusi. Võib-olla vähem tuntud on see, et seda tüüpi tehnoloogia on pikka aega olnud teadusuuringute jaoks oluline, sealhulgas tohutute andmehulkade sortimisel ja analüüsimisel. Masinõppe areng on viimase viieteistkümne kuni kahekümne aasta jooksul plahvatuslikult kasvanud ja kasutab struktuuri, mida nimetatakse tehisnärvivõrguks. Tänapäeval, kui me räägime tehisintellektist, peame sageli silmas just seda tüüpi tehnoloogiat.

Kuigi arvutid ei suuda mõelda, suudavad masinad nüüd jäljendada selliseid funktsioone, nagu mälu ja õppimine. Sellele on kaasa aidanud tänavused füüsika laureaadid. Füüsika põhikontseptsioone ja meetodeid kasutades on nad välja töötanud tehnoloogiad, mis kasutavad teabe töötlemiseks võrkude struktuure.

Masinõpe erineb traditsioonilisest tarkvarast, mis toimib nagu teatud tüüpi retsept või täpne juhis millegi tegemiseks. Tarkvara võtab vastu andmed, mida töödeldakse vastavalt selgele kirjeldusele, ja annab tulemused, umbes nagu siis, kui keegi võtab erinevaid toidu koostisosi ja töötleb neid retsepti järgides, valmistades kooki. Selle asemel õpib arvuti masinõppes eeskuju kaudu, võimaldades tal lahendada probleeme, mis on liiga ebamäärased ja keerulised, et neid samm-sammult juhiste järgi hallata. Üks näide on pildi tõlgendamine sellel olevate objektide tuvastamiseks.

Ajutegevuse imiteerimine

Tehisnärvivõrk töötleb teavet, kasutades kogu võrgustruktuuri. Inspiratsioon tuli algselt soovist mõista, kuidas aju töötab. 1940. aastatel olid teadlased hakanud arutlema matemaatika üle, mis on aju neuronite ja sünapside võrgustiku aluseks. Veel üks pusletükk pärines psühholoogiast tänu neuroteadlase Donald Hebbi hüpoteesile selle kohta, kuidas õppimine toimub, kuna neuronitevahelised ühendused tugevnevad, kui nad töötavad koos.

Hiljem järgnesid neile ideedele katsed taasluua, kuidas ajus olev võrgustik toimib, luues tehisnärvivõrke arvutisimulatsioonidena. Nendes jäljendavad aju neuroneid sõlmed, millele on antud erinevad väärtused, ja sünapse esindavad sõlmedevahelised ühendused, mida saab muuta tugevamaks või nõrgemaks. Donald Hebbi hüpoteesi kasutatakse siiani ühe põhireeglina tehisvõrkude värskendamiseks protsessi nimega koolitus.

1960. aastate lõpus panid mõned heidutavad teoreetilised tulemused paljusid uurijaid kahtlustama, et nendest närvivõrkudest pole kunagi reaalset kasu. Huvi tehisnärvivõrkude vastu ärkas aga uuesti 1980. aastatel, mil mõju avaldasid mitmed olulised ideed, sealhulgas tänavuste laureaatide tööd.

Assotsiatiivne mälu

Kujutage ette, et proovite meelde jätta üsna ebatavalist sõna, mida kasutate harva, näiteks selle kaldus põranda kohta, mida sageli leidub kinodes ja loengusaalides. Sa otsid oma mälust. See on midagi kaldtee sarnast … aga see sõna lihtsalt ei meenu ja kogu lugu!

Sarnaste sõnade otsimise protsess õige leidmiseks meenutab assotsiatiivset mälu, mille füüsik John Hopfield avastas 1982. aastal. Hopfieldi võrk suudab salvestada mustreid ja omab meetodit nende taasloomiseks. Kui võrgule antakse mittetäielik või veidi nihestatud muster, võib meetod leida kõige sarnasema salvestatud mustri.

Hopfield oli varem kasutanud oma füüsikaalast tausta molekulaarbioloogia teoreetiliste probleemide uurimiseks. Kui teda kutsuti neuroteaduste teemalisele konvrentsile, puutus ta kokku aju struktuuri uurimisega. Ta oli õpitust lummatud ja hakkas mõtlema lihtsate närvivõrkude dünaamikale. Kui neuronid toimivad koos, võivad nad tekitada uusi ja võimsaid omadusi, mis pole nähtavad kellelegi, kes vaatab ainult võrgu eraldi komponente.

1980. aastal lahkus Hopfield oma ametikohalt Princetoni ülikoolis, kus tema uurimishuvid olid viinud ta väljapoole valdkondi, kus tema füüsika kolleegid töötasid. Ta kolis risti üle riigi ning võttis vastu pakkumise saada keemia ja bioloogia professoriks Caltechis (California tehnoloogiainstituut) Pasadenas Lõuna-Californias. Seal oli tal juurdepääs arvutiressurssidele, mida ta sai kasutada tasuta katsetamiseks ja oma ideede arendamiseks närvivõrkude kohta.

Siiski ei hüljanud ta oma aluspõhja füüsikas, kust sai inspiratsiooni mõistmaks, kuidas paljude väikeste komponentidega koos töötavad süsteemid võivad tekitada uusi ja huvitavaid nähtusi. Talle oli eriti kasulik õppida tundma magnetilisi materjale, millel on erilised omadused tänu nende aatomi spinnile – omadus, mis muudab iga aatomi pisikeseks magnetiks. Naaberaatomite spinnid mõjutavad üksteist; see võib võimaldada domeenide moodustumist spinniga samas suunas. Ta suutis luua mudelivõrgu sõlmede ja ühendustega, kasutades füüsikat, mis kirjeldab, kuidas materjalid arenevad, kui spinnide pöörlemised üksteist mõjutavad.

Võrk salvestab pildid maastikul

Hopfieldi ehitatud võrgul on sõlmed, mis on kõik ühendatud erineva tugevusega ühenduste kaudu. Iga sõlm võib salvestada individuaalse väärtuse – Hopfieldi esimeses töös võib see olla kas 0 või 1, nagu mustvalge pildi pikslid.

Hopfield kirjeldas võrgu üldist olekut omadusega, mis on samaväärne füüsikas leiduva spinnsüsteemi energiaga; energia arvutatakse valemi abil, mis kasutab kõiki sõlmede väärtusi ja nendevaheliste ühenduste kõikide seoste tugevusi. Hopfieldi võrk on programmeeritud kujutisega, mis suunatakse sõlmedesse, mille väärtus on must (0) või valge (1). Seejärel reguleeritakse võrguühendusi energiavalemi abil, nii et salvestatud pilt saab madalaima energiataseme. Kui võrku sisestatakse mõni muu muster, siis kehtib reegel, et sõlmed ükshaaval läbi käia ja selle sõlme väärtuse muutmise korral kontrollida, kas võrgus on madalaim energiatase või mitte. Kui selgub, et energia väheneb, kui must piksel on hoopis valge, muudab see värvi. Seda protseduuri jätkatakse seni, kuni edasisi parandusi pole võimalik leida. Selle punkti saavutamisel on võrk sageli reprodutseerinud algse pildi, mille järgi seda koolitati.

See ei pruugi tunduda nii tähelepanuväärne, kui salvestate ainult ühe mustri. Võib-olla mõtlete, miks te lihtsalt ei salvesta pilti ennast ja siis võrdlete seda mõne teise testitava pildiga, kuid Hopfieldi meetod on eriline, kuna korraga saab salvestada mitu pilti ja võrk suudab neid tavaliselt eristada.

Hopfield võrdles võrgust salvestatud oleku otsimist palli veeretamisega läbi mäetippude ja orgude maastiku koos hõõrdumisega, mis aeglustab selle liikumist. Kui pall kukutatakse kindlasse kohta, veereb see lähimasse orgu ja peatub seal. Kui võrgule antakse muster, mis on ühele salvestatud mustritest lähedane, liigub see samamoodi edasi, kuni jõuab energiamaastiku oru põhja, leides seeläbi oma mälust lähima mustri.

Hopfield ja teised on jätkanud Hopfieldi võrgu toimimise üksikasjade väljatöötamist, sealhulgas sõlmede, mis suudavad salvestada mis tahes väärtust, mitte ainult nulli või ühte. Kui mõelda sõlmedele kui pildi pikslitele, võivad need olla erinevat värvi, mitte ainult mustad või valged. Täiustatud meetodid on võimaldanud salvestada rohkem pilte ja eristada neid ka siis, kui need on üsna sarnased. Täpselt samamoodi on võimalik tuvastada või rekonstrueerida mis tahes teavet, kui see on üles ehitatud paljudest andmepunktidest.

Klassifikatsioon 19. sajandi füüsika järgi

Kujutise meeldejätmine on üks asi, kuid sellel kujutatu tõlgendamine nõuab veidi enamat.

Isegi väga väikesed lapsed võivad osutada erinevatele loomadele ja kindlalt öelda, kas see on koer, kass või orav. Nad võivad aeg-ajalt valesti minna, kuid üsna pea on neil peaaegu kogu aeg õigus. Laps saab seda õppida isegi ilma diagramme või mõisteid, nagu seda on «liik» või «imetaja», teadmata-nägemata. Olles kohanud mõnda näidet iga loomatüübi kohta, langevad erinevad kategooriad lapse peas paika. Inimesed õpivad kassi ära tundma või sõnast aru saama või tuppa sisenedes märkama, et midagi on muutunud, kogedes neid ümbritsevat keskkonda.

Kui Hopfield avaldas oma artikli assotsiatiivse mälu kohta, töötas Geoffrey Hinton USAs Pittsburghis Carnegie Melloni ülikoolis. Ta oli varem Inglismaal ja Šotimaal õppinud eksperimentaalpsühholoogiat ja tehisintellekti temaatikat ning mõtles, kas masinad suudavad õppida mustreid töötlema sarnaselt inimestega, leides ühtlasi sobilikud kategooriad teabe sorteerimiseks ja tõlgendamiseks. Koos oma kolleegi Terrence Sejnowskiga alustas Hinton Hopfieldi võrgustikust ja laiendas seda statistilise füüsika ideede abil, et ehitada sootuks midagi uut.

Statistiline füüsika kirjeldab süsteeme, mis koosnevad paljudest sarnastest elementidest, näiteks gaasis olevatest molekulidest. Kõiki gaasimolekule on raske või võimatu jälgida, kuid neid on võimalik ühiselt arvesse võtta, et määrata kindlaks gaasi üldised omadused, nagu rõhk või temperatuur. Gaasimolekulidel on palju võimalikke viise, kuidas liikuda läbi ruumala, milles gaas paikneb, ja teha seda individuaalse kiirusega ja olla kirjeldatud ikkagi samade kollektiivsete omadustega.

Olukordi, milles üksikud komponendid võivad ühiselt eksisteerida, saab statistilise füüsika abil analüüsida ja arvutada nende esinemise tõenäosust. Mõned seisundid on tõenäolisemad kui teised; see oleneb saadaoleva energia hulgast, mida kirjeldas oma võrrandis juba 19. sajandil tegutsenud füüsik Ludwig Boltzmann. Hintoni võrk kasutas seda võrrandit ja meetod avaldati 1985. aastal silmatorkava nimetuse all – Boltzmanni masin.

Uute sama tüüpi näidete äratundmine

Boltzmanni masinat kasutatakse tavaliselt kahte erinevat tüüpi sõlmedega. Teave edastatakse ühte rühma, mida nimetatakse nähtavateks sõlmedeks. Teised sõlmed moodustavad peidetud kihi. Varjatud sõlmede väärtused ja ühendused määravad ka võrgu kui terviku energiataseme.

Masinat käitatakse, rakendades reeglit sõlmede väärtuste ükshaaval värskendamiseks. Lõpuks jõuab masin olekusse, kus sõlmede muster võib muutuda, kuid võrgu kui terviku omadused jäävad samaks. Igal võimalikul mustril on konkreetne tõenäosus, mille määrab Boltzmanni võrrandi järgi just võrguenergia. Kui masin peatub, on see loonud uue mustri, mis teeb Boltzmanni masinast generatiivse mudeli varajase näite.

Boltzmanni masin võib õppida – mitte juhiste, vaid näidete põhjal. Seda treenitakse võrguühenduste väärtuste värskendamisega, nii et näidismustrid, mis selle treenimise ajal nähtavatesse sõlmedesse söödeti, on masina töötamise ajal võimalikult suure tõenäosusega. Kui sama mustrit korratakse selle treeningu jooksul mitu korda, on selle mustri tõenäosus veelgi suurem. Koolitus mõjutab ka uute mustrite väljastamise tõenäosust, mis sarnanevad näidetega, mille järgi masinat õpetati.

Treenitud Boltzmanni masin suudab ära tunda tuttavaid jooni teabes, mida ta varem pole näinud. Kujutage ette, et kohtute sõbra õe-vennaga ja näete kohe, et nad peavad olema sugulased. Samamoodi suudab Boltzmanni masin ära tunda täiesti uue näite, kui see kuulub õppematerjalis leiduvasse kategooriasse, ja eristada seda erinevast materjalist.

Algsel kujul on Boltzmanni masin üsna ebaefektiivne ja lahenduste leidmine võtab kaua aega. Asi muutub huvitavamaks, kui seda arendatakse (koolitatakse) mitmel viisil, mille uurimist Hinton on jätkanud. Hilisemaid versioone on harvendatud, kuna osade sõlmede vahelised ühendused on eemaldatud. Selgub, et see võib masinat tõhusamaks muuta.

1990ndatel kaotasid paljud teadlased huvi kunstlike närvivõrkude vastu, kuid Hinton oli üks neist, kes jätkas sellel alal tööd. Ta aitas käivitada ka põnevate tulemuste uue plahvatuse; 2006. aastal töötas ta koos kolleegide Simon Osinderoga, Yee Whye Tehiga ja Ruslan Salakhutdinoviga välja meetodi võrgu eelkoolitamiseks, kasutades kihtide kaupa Boltzmanni masinaid, mis paiknevad üksteise peal. See eelkoolitus andis võrguühendustele parema lähtepunkti, mis optimeeris selle koolitust piltidel elementide äratundmiseks.

Boltzmanni masinat kasutatakse sageli suurema võrgu osana. Näiteks saab seda kasutada filmide või telesarjade soovitamiseks vastavalt vaataja eelistustele.

Masinõpe – täna ja homme

Tänu oma tööle alates 1980. aastatest ja edasi on John Hopfield ja Geoffrey Hinton aidanud panna aluse masinõppe revolutsioonile, mis sai alguse 2010. aasta paiku.

Areng, mille tunnistajaks me praegu oleme, on saanud võimalikuks tänu juurdepääsule tohututele andmemahtudele, mida saab kasutada võrkude koolitamiseks, ja tänu arvutusvõimsuse tohutule kasvule. Tänapäeva tehisnärvivõrgud on sageli tohutud ja konstrueeritud paljudest kihtidest. Neid nimetatakse süvanärvivõrkudeks ja nende treenimise viisi nimetatakse süvaõppimiseks.

Kiire pilk Hopfieldi artiklile assotsiatiivse mälu kohta aastast 1982 annab sellele arengule mõningase perspektiivi. Selles kasutas ta 30 sõlmega võrku. Kui kõik sõlmed on omavahel ühendatud, on ühendusi 435. Sõlmedel on oma väärtused, ühendustel on erinev tugevus ja kokku on jälgimiseks vähem kui 500 parameetrit. Ta proovis ka 100 sõlmega võrku, kuid see oli liiga keeruline, arvestades arvutit, mida ta sel ajal kasutas. Võime võrrelda seda tänapäeva suurte keelemudelitega, mis on üles ehitatud võrkudena, mis võivad sisaldada rohkem kui ühte triljonit parameetrit (miljonit miljonit).

Paljud teadlased arendavad praegu masinõppe rakendusvaldkondi. Milline on kõige elujõulisem, jääb alles näha, samas kui selle tehnoloogia arendamist ja kasutamist ümbritsevate eetiliste küsimuste üle käib laiaulatuslik arutelu.

Kuna füüsika on aidanud kaasa tööriistade loomisele masinõppe arendamisel, on huvitav näha, kuidas füüsika kui uurimisvaldkond saab kasu ka tehisnärvivõrkudest. Masinõpet on pikka aega kasutatud valdkondades, millega oleme tuttavad varasematest Nobeli füüsikaauhindadest. Nende hulka kuulub masinõppe kasutamine Higgsi bosoni avastamiseks vajalike tohutute andmemahtude läbisõelumiseks ja töötlemiseks. Muud rakendused hõlmavad müra vähendamist mustade aukude kokkupõrkest tulenevate gravitatsioonilainete mõõtmisel või eksoplaneetide otsimist.

Viimastel aastatel on seda tehnoloogiat hakatud kasutama ka molekulide ja materjalide omaduste arvutamisel ja ennustamisel – näiteks valgusmolekulide struktuuri arvutamisel, mis määrab nende funktsiooni, või väljatöötamisel, millised materjali uued versioonid võivad olla parimate omadustega kasutamiseks tõhusamates päikesepatareides.

Vaata ka toimunud ülekannet:

Geoofrey Hinton 2023. aastal Ontarios. Foto: GEOFF ROBINS

Geoffrey Everest Hinton

(sündinud 6. detsembril 1947) on Briti-Kanada arvutiteadlane ja psühholoog, kes on enim tuntud oma töö tõttu tehisnärvivõrkude alal, mis on toonud talle «AI ristiisa» tiitli. Aastatel 2013–2023 töötas Google'is (Google Brain ) ja Toronto ülikoolis, enne kui teatas 2023. aasta mais avalikult oma lahkumisest Google'ist, viidates murele tehisintellekti (AI) tehnoloogia riskide pärast. 2017. aastal oli ta Toronto Vectori instituudi kaasasutaja ja temast sai peamine teaduslik nõustaja.

John Hopfield 2005 aastal. Foto: WCC

John Hopfield

sündis 1933. aastal poola füüsiku John Joseph Hopfieldi ja füüsiku Helen Hopfieldi perekonnas. Helen oli Joseph Hopfieldi teine ​​naine. John on Hopfieldide lastest kuues ning tal on kolm last ja kuus lapselast.

Ta sai 1954. aastal Swarthmore'i kolledžist AB ja doktorikraadi, 1958. aastal Cornelli ülikoolis füüsika erialal (juhendaja Albert Overhauser). Ta töötas kaks aastat Bell Laboratoriesi teooriarühmas ja oli seejärel California ülikooli Berkeley (füüsika), Princetoni ülikooli (füüsika), California tehnoloogiainstituudi (keemia ja bioloogia) ja taas Princetoni õppejõud, kus ta oli molekulaarbioloogia professor ja nüüd emeriitprofessor. 35 aastat jätkas ta ka koostööd ettevõttega Bell Laboratories.

1986. aastal oli ta Caltechi arvutus- ja närvisüsteemide doktoriprogrammi kaasasutaja.