Eesti IT teadlased hoiavad töös Euroopa superarvuti LUMI vereringet

2022. aasta suvel alustas Soomes Kajaani linnas tööd Large Unified Modern Infrastructure ehk LUMI, mis on Euroopa võimsaim superarvuti. Poolt superarvuti jõudlusest saavad kasutada LUMI konsortsiumi liikmed, mille hulka kuulub ka Eesti, eesotsas Tartu Ülikooli teadusarvutuste keskusega. Keskuse juhataja ja LUMI Eesti-poolne kuraator Ivar Koppel oli lahkesti nõus selgitama, kuidas on siiani töö LUMIga edenenud ja millised on põnevamad saavutused.

Soomlased on LUMI üle superuhked ja peavad seda Nokia järel järgmiseks suureks Soome tehnoloogiaalaseks edulooks. Ka täna osalevad mitmed endised Nokia eestvedajad LUMI tegemistes.

LUMI arvutipark on püsti pandud vanasse puidutöötlemistehasesse, mis kulutab aastas üle 7 MW elektrienergiat, kuid tänu Soomes asuvatele hulgalistele veekogudele kasutab ka tehas loomulikult hüdroenergiat, mistõttu on arvutipargi süsinikujälg olematu.

Ivar Koppel kirjeldab superarvutit kui üsna kapriisset asja ja toob võrdluseks, et kui buss on suhteliselt igapäevane ja lollikindel asi, siis superarvuti on pigem nagu vormel 1. Et sa saad küll väga hea tulemuse, aga selleks tuleb seda ka kõvasti ette valmistada, et midagi kätte saada.

LUMI arvutipark on püsti pandud vanasse puidutöötlemistehasesse, mis kulutab aastas üle 7 MW elektrienergiat, kuid tänu Soomes asuvatele hulgalistele veekogudele kasutab ka tehas loomulikult hüdroenergiat, mistõttu on arvutipargi süsinikujälg olematu. Foto: Mikael Kanerva, CSC

Kapriissus seisneb selles, kuidas 260 000 protsessorit ehk CPUd ja 12 000 videokaarti ehk GPUd omavahel üheskoos tööle panna ühe eesmärgi nimel. Peamine jõudlus tuginebki 12 000 videoprotsessoril, millest enamik on AMDd, mis on peamiselt toodetud Taiwanis. Superarvutite eripära juures on märkimist vääriv ka see, et masin pannakse kokku tavaliselt sellistest osadest, mis laiatarbeturul ei ole veel saadaval, aga enne turule tulekut jõuavad need superkeskustesse, mis tähendab, et need on esialgu üsna toored. Samas peab enamik töid käima mitme arvuti peal korraga, mis tähendab, et see ühendus peab nende vahel olema väga-väga hea ja võrk peab laitmatult toimima.

Selle olukorra lahendusse on oma märkimisväärse panuse andnud ka Tartu Ülikooli teadlased koos OpenNode OÜga, kes töötasid välja andmejaotussüsteemi Waldur, mida LUMI oma andmevahetuse sujuvuse tagamiseks kasutab. Eestis on Waldur leidnud laialdast kasutust ETAISi baasplatvormina, pakkudes teadlastele ja inseneridele keskset vahendit arvutusressursside kasutamiseks ja haldamiseks. Samuti on see platvorm võtmerollis RIT Riigipilve teenustes, pakkudes riigiasutustele turvalist ja paindlikku IT-ressursside jagamist.

TÜ arvutiteaduse instituudi teadusarvutuste keskuse juhataja IT arendusjuhi Ivar Koppeli sõnul on LUMI konsortsiumi liikmena Eesti ühe maailma tähtsaima teadustööriista kaasomanik. Foto: Margus Ansu

Lisaks ETAISile kasutavad Waldurit mitmed mainekad organisatsioonid maailmas. Rahvusvaheliselt on Waldur kasutusel näiteks Omaani Riigipilves ning maailma juhtivates superarvutite keskustes, sealhulgas Ühendkuningriigi ja Šveitsi suurimates superarvutites. Need kasutusjuhtumid tõestavad Walduri suutlikkust vastata kõige keerukamatele IT-vajadustele.

Koppeli sõnul on järgmine suur töö ühendada Walduri abil kõik EU superarvutid ja kvantarvutid ja andmekeskused, mille tarbeks kuulutas Euroopa Komisjon välja 20 miljoni eurose hanke, mille tulemused peaksid saama avalikuks lähiajal ja milles Walduril on head eeldused saada hankest suur amps.

Teadlased kasutavad Kajaanis asuvat keskust ka oma teadustööde andmete säilitamiseks, sest väga suuri andmesäilituskeskusi Euroopas napib. Kokku 120 petabaiti kettaruumi tundub küll hoomamatu maht, kuid ainuüksi Eesti Geenivaramul on arhiivide maht 5 petabaiti. Arvestades, et LUMI konsortsiumi kuulub 10 riiki, on seda mahtu täitsa piisavalt, selleks et arvutada jooksvaid töid.

Koppel ütleb, et 120 petabaiti salvestusmahtu ei olegi mõeldud andmete pikaajaliseks hoidmiseks.

TÜ arvutiteaduse instituudi teadusarvutuste keskuse juhataja Ivar Koppel koordineerib Eesti-poolset tegevust Euroopa võimsamas superarvutis LUMI.   Foto: Margus Ansu

Millised on märkimisväärseimad tööd ja valdkonnad, mille ülesandeid LUMI abil lahendatakse?

Koppeli käes on LUMI kasutusstatistika ja veerand töödest on tehtud füüsika valdkonnas arvatavasti CERNi ja keskkonnateadlaste poolt, teine 25 protsenti oli AI mudelite treenimine, millele järgnevad keemia- ja meditsiinialased analüüsid ja simulatsioonid. LUMI arvutusoskusi kasutavad usinalt ka Tallinna Tehnikaülikooli mereakadeemia teadlased Läänemerel toimuvate protsesside jäljendamiseks.

Üks suur osa, kes kasutavad LUMI arvutusvõimekust, on keeleteadlased, kes treenivad erinevaid keelemudeleid. Ja suur hulk kasutajaid on meditsiiniga tegelevad inimesed, kes vaatavad röntgenpilte või 3D-pilte, mida masinal analüüsida lasevad, et saada teada, kas tegu on kasvajaga või mitte.

Samuti kasutatakse superarvuteid selleks, et analüüsida, kas mesi on õige või võltsitud. Lisaks sellele on meil juba olemas Geenivaramu andmed, mida saaks tulevikus LUMI-AI peal edukalt uurida. Need on vaid mõned näited, kuidas Eesti saab LUMI arvutusvõimekusest otsest kasu. Koppel rõhutab, et ka eraettevõtetele ja avaliku sektori asutustele on LUMI-le ligipääs tagatud. See võttis alguses veidi aega, aga nüüd on näha, et see pidevalt kasvab.

LUMI superarvutuskeskuse sisevaade. Foto: Fade Creative

Tulevik – LUMI AI ehk tehisarutehas

Suures plaanis tuleks vahet teha sellel, et täna on LUMI ikkagi treenimise koht, kuid lähimas tulevikus on plaanis luua LUMI AI ehk tehisarutehas (AI Factory). Seda saaks samal ajal kasutada nii treenimiseks kui mudelite jooksutamiseks. Tehisarutehase rajamise eelarve on umbes pool miljardit eurot, millesse on Soome riik lubanud panustada 250 miljonit eurot. Eelarvest 385 miljonit kulub seadmete peale ja ülejäänud 6 miljonit aasta jooksva kasutuse peale. Selle kohta on tulnud välja ka juba Euroopa Komisjonilt pressiteade, mis kinnitab uute tehisarutehaste käivitumist alates 2025. aastast. Eesti riik on panustanud LUMI esimesse varianti kahe miljoniga ja tulevasse LUMI AI superarvutisse plaanitakse suunata 5 miljonit eurot ja selle investeeringu teeb haridus ja teadusministeerium, kommenteeris teadustaristu valdkonnajuht Aile Tamm. Niisuguse, konteksti arvestades suhteliselt väikese investeeringu eest saada vastu võimalus kasutada kogu Euroopa kõige võimsamat masinat, on Koppeli hinnangul peaaegu ideaalne variant mitmel põhjusel. Sellist arvutit, millel EstGPTd nullist ehitama ja seda treenima hakata sama raha eest, oleks Koppeli arvates üsna mõttetu. Samal ajal saavad meie teadlased hetkel kasutada kogu LUMI arvutusvõimekust, küll piiratud ajaraamis, aga nad saavad oma asjad seal selle ajaga tehtud. Ja teine suur väärtus on see, et me saame targematelt õppida, saame sealt kogemused ning oskused.

On täiesti mõistetav, kui paljud lugejad mõtlevad, et miks nii võimast arvutit ei kasutataks otseselt raha tootmiseks ehk krüptoraha kaevandamiseks, kuid Koppeli sõnul on LUMIga see tegevus välistatud. Koppel teab hästi, et soov niisugust võimast arvutiparki sellisel otstarbel kasutada võib mõnel hõlptulu teenijal olla suur. Seda, et mõni oma töötaja või klient seda salamisi teeks, peab Koppel välistatuks, sest krüptoraha kaevandamisel on väga spetsiifiline võrguliiklus, mis tuleks üsna ruttu välja.

Kokkuvõttes on Eestil LUMI näol võimalus osa saada maailma tipparvutusvõimekusest koos parima oskusteabega, mille kõige endale ehitamiseks kuluks Eesti mõistes pöörane summa, kuid juba hetkel on ka ilma superarvutit siia ehitamata meil olemas ligipääs Euroopa parimale süsteemile. Lisaks on tänu LUMI projektile Eesti IT teadlastel olemas erakordselt avar väljund. Kui peatselt saab valmis LUMI AI oma kordades suuremate arvutusvõimetega, võiks meie teadlased ja IT arendajad olla valmis, et sinna oma lahendusi ja andmeid osata suunata.

Kuula samal teemal ka Marek Strandbergi KUKKUVA ÕUNA saadet:
 

Eesti teadust kajastavat ajakirjandust toetab Eesti Teadusagentuur.