Luupin alla

HIIT:in arvovaltainen ja oppinut tieteellinen neuvottelukunta vieraili yhdeksän jäsenen voimin luonamme toukokuun 26.-28. päivänä. Neuvottelukunnan kokouksen tavoitteena oli arvioida kriittisesti laitoksen toimintaa ja antaa sekä sille itselleen että sen isäntäyliopistoille suosituksia laitoksen ja sen tutkimustoiminnan edelleen kehittämiseen.

Ulkopuolinen arviointi on osa tutkijan arkea. HIIT tai osia siitä on ollut kokonaisvaltaisen arvioinnin kohteena sekä vuonna 2005 (HY:n tutkimuksen arviointi) että 2007 (Suomen Akatemian suorittama suomalaisen tietojenkäsittelytieteen tutkimuksen arviointi). Seuraava tällainen arviointi on odotettavissa jo ensi vuonna, kun myös TKK:ssa suoritetaan tutkimuksen kokonaisarviointi. Luupin alla ollaan myös joka kerta, kun jokin julkaisu toimitetaan tieteelliseen lehteen tai konferenssiin, ja oikeastaan aina kun tutkija astuu ulos kammiostaan ja kertoo tuloksistaan toisille muodossa tai toisessa.

Vertaisarviointi ja kritiikki ovat elimillinen osa tutkimustyön prosessia. Tutkimustuloksen arvo mitataan lopulta sen mukaan, missä määrin asiaa oikeasti ymmärtävät kollegat ovat valmiita hyväksymään tuloksen oikeaksi. Heidän suosionsa puolestaan riippuu niistä argumenteista, joita tutkija voi tuloksensa tueksi esittää, kuten teoreettisista pohdinnoista, koetuloksista tai tuloksen selitysvoimasta. Ihanteellisesti argumentoinnin tulisi olla läpinäkyvää siten, että tulos voidaan tarkistaa riippumattomalla päättelyllä, esimerkiksi toistamalla vastaavat koejärjestelyt ja niiden tulosten tarkastelut.

Yksittäisen tutkijan tieteellinen status rakentuu sen varaan, että hän on osoittanut pystyvänsä toistuvasti ja säännöllisesti tuottamaan tällaisen vertaiskritiikin arvostamia tuloksia. Kuten luottamus yleisemminkin, vertaisten arvostus rakentuu hitaasti ja voi sortua nopeasti. Tämän takia varsinainen väärillä tuloksilla huijaaminen on lopulta harvinaista. Myös lainahöyhenillä koristautuminen - toisten tulosten esittäminen ominaan - on useimmiten toisille tutkijoille läpinäkyvää.

Kuten yksittäisen tutkijankin, myös tutkimusryhmän, -linjan tai -laitoksen maine perustuu sen koeteltuun kykyyn esittää mielenkiintoisia kysymyksiä ja tuottaa niihin mielenkiintoisia vastauksia. Lisäksi voidaan arvioida sitä, missä määrin tällaisen tutkimusyksikön toimintatavat ja puitteet tuottavat lisäarvoa tutkimukselle. Lisäarvo voi kummuta monenlaisista lähteistä, kuten monitieteisyydestä, tutkimusinfrastruktuurista, tutkimusta rikastavista yhteistyösuhteista tai tutkimuksen kohdentamisesta. Syvin lisäarvon lähde lienee tutkimusyksikön jäsenten välinen kriittinen mutta arvostava "rikastava vuorovaikutus", joka suosii uusien ideoiden syntymistä, kehittelyä ja hiomista kritiikin kestäviksi tuloksiksi.

Kuten melkein mikä tahansa yhteisöllinen ilmiö, myös vertaisarviointi on altis erilaisille vääristymille. Pienen sisäpiirin muodostama keskinäisen kehun kerho, joka sulkee väärinajattelijat ulkopuolelleen, ei ole kovinkaan harvinainen ilmiö. Hyvillä tutkijoilla on kuitenkin tarkka vainu haistamaan tällaista toimintaa, ja myös puskaradio toimii tehokkaasti. Aidosti riippumaton vertaisarviointi on myös tehokas kaatamaan Potemkinin kulisseja arveluttavalta tuoksahtavan toiminnan edestä. Arvioijana toimivat kokeneet senioritutkijat näkevät kyllä kulissien läpikin ponnistuksetta.

Vertaisarvioinnin suurin hienous on luullakseni siinä, että tiedeuransa edistyessä tutkija löytää itsensä tuota pikaa myös toiselta puolelta pöytää arvioimassa toisten tutkijoiden töitä jatko-opintoseminaareissa, työpajoissa, konferenssien valmistelussa, opetuksessa jne. Tämä pitää yllä koko toiminnan integriteettiä: kukapa haluaisi asettaa mainettaan vaakalaudalle arvioimalla löperösti toisten töitä tai laskemalla läpi arveluttavia julkaisuja?

Toinen vertaisarvioinnin hieno piirre on se että sen kautta kuka tahansa tutkija voi halutessaan saada työlleen asiantuntevaa ja puolueetonta kritiikkiä. Tässä tosin vertaisarvioinnin edellyttämien resurssien rajoitukset tulevat esiin: luotettavien ja hyvien arvioijien kuormitus muodostuu usein kohtuuttomaksi. Vertaisarvointi onkin arvokas resurssi, joka pitäisi kohdentaa viisaasti.

Julkaisujen ja muiden tutkimustulosten arviointi on vertaisarvioinnin kova ydin, mutta tutkijoiden kasvoista kasvoihin tapaaminen antaa lisää informaatiota. Jos näin ei olisi, miksi konferensseja pidettäisiin? Tämän takia tutkimuslaitosten arviointi perustuu tulosten arvioinnin ohella ennen muuta paikan päällä vierailuun ja tutkijoiden tapaamisiin. Myös HIIT:in arvioinnissa kaikille laitoksen tutkijoille tarjottiin tilaisuus tuoda oma työnsä tieteellisen neuvottelukunnan näkyville postereiden tai demonstraatioiden muodossa. Ylimalkaan pyrimme olemaan niin läpinäkyviä kuin mahdollista käytettävissä olevan ajan ja vaivannäön puitteissa.

Mitä tieteellisen neuvottelukunnan arviointi antoi meille? En esittele tässä tarkemmin tuloksia, mutta saamamme kommentit olivat kyllä hyvin myönteisiä. Ennen muuta saimme tukea valitsevallamme peruslinjalle, jossa etsimme lisäarvoa kokoamalla saman katon alle sekä "analyyttis-tieteellistä" että "teknologiasuuntautunutta empiiristä" tutkimusta. Tämä oli tyydyttävää varsinkin siksi, että edellisessä v. 2004 pidetyssä arvioinnissa olimme osaksemme myös varsin ankaraa kritiikkiä.

Saimme myös kosolti suosituksia tulevaisuuden varalle ja muutenkin ajattelemisen aihetta sen suhteen, miten HIIT:in pitäisi pyrkiä kehittämään toimintaansa. Tietenkin saimme myös kritiikkiä: "every silver lining has a cloud", kuten neuvottelukunnan puheenjohtajana toiminut Berkeleyn yliopiston professori Randy Katz asian muotoili.

Arvioitavana oleminen ei kenties ole kovin mukavaa, ja kiistatta käytimme sangen paljon aikaa ja vaivaa tieteellisen neuvottelukunnan kokoukseen valmistautumiseen. Joku voi kysyä, onko tämä vaivan arvoista: sama aikahan olisi voitu käyttää varsinaisen työnkin tekemiseen. Niin kyllä; mutta mistä me tietäisimme, teemmekö oikeita asioita? Riippumattoman vertaisarvioinnin kasvojemme eteen nostama peili on juuri paljastavuudessaan arvokas ja tuottaa meille tietoa, jota muuten emme voisi saada.