Living Labs, osa II: Tutkijan näkökulma

In HIIT -blogissa aiemmin kerrattujen suopeiden kehityskulkujen ansiosta on HIIT lähitulevaisuudessa kantava yhä raskaampaa viittaa suomalaisessa Living Lab -hovissa. On siksi ajankohtaista kirjoittaa auki kantamme tähän problematiikkaan. Living Lab on avokätisimmänkin arvion mukaan käsitteenä hieman epäselvä, vasta hakemassa paikkaansa platonisessa ideoiden taivaassa. Kuten Prof. Mäntylä sarjan ensimmäisessä osassa totesi, erinäiset käärmeöljy-linimenttien kaupustelijat ovat vehkeilleet itsensä mukaan hoviin.

Siinä missä Mäntylä luotasi soveliaimpia ja toivotuimpia tarkoitusperiä ”elävälle laboratoriolle”, tämä kirjoitus pyrkii kuvaamaan systemaattisemmin sen luonnetta tieteellisenä menetelmänä. Tuloksena on karakterisointi sen mahdollisuuksista, rajoista sekä horisontissa siintävistä haasteista nimenomaan tutkijoille. Lähtökohdakseni otan Mäntylän lainaaman Prof. Mitchellin alkuperäisen määritelmän: Living Labin päämääränä on ”luoda metodiikka, jolla voitaisiin päästä läheiseen vuorovaikutukseen todellisten käyttäjien kanssa heidän todellisessa käyttötilanteissaan ja sen kautta tunnistaa, kehittää, kokeilla ja hioa ratkaisuja esiinnouseviin monisyisiin ongelmiin.”

Metodologiselta kannalta tämä määritelmä kattaa kuitenkin enemmän ”Labin” tavoitteita kuin sen luonnetta.

Oman näkemykseni kristallisoin seuraavasti:

Kokeellisen tutkimuksen teknisiä termejä käyttäen Living Lab on tutkimusalusta suuren mittaluokan kvasi-kokeille, joiden tarkoituksena on prototyyppien konstruktiivinen evaluointi lopputuotteen kannalta realistisessa kontekstissa.

Tämä on kirjoitukseni takeaway—kiireellisimmät ”show me the money” -lukijat voivat tämän sisäistettyään siirtyä vaikka seuraamaan putoavia pörssikursseja. Kärsivällisemmille lukijoille esitän seuraavassa ruumiinavauksen ja prognoosin.

Tiukasti ottaen Living Lab ei siis itsessään ole tieteellinen menetelmä vaan tutkimusalusta, jonka päällä voidaan käyttää useita menetelmiä. Kun jokin alue tai yhteisö on instrumentoitu ja infrastruktuuri rakennettu, voidaan sovelluksia testata useasti eikä vain kerran. Tätä Living Lab -terminäkin vihjaa: voidaanhan vaikka kemian laboratoriotakin voidaan käyttää useisiin kokeisiin. Alustan toivotaan laskevan yksittäisen kokeen kustannuksia.

Mutta aivan kuten ”oikeatkin” laboratoriot, määrittää Living Lab puitteissaan suoritetuille kokeille reunaehtoja. Purettuna leikkauspöydälle, Living Labin sisältä löytyy viisi yhteistä nimittäjää sen piirissä suoritettavalle tutkimukselle:

1. Suuri mittaluokka. Tutkittavaan kenttään on sisällytetty tekijöitä suuremmassa mittakaavassa kuin mitä aikaisemmat menetelmät ovat mahdollistaneet.

2. Naturalistisuus. Tutkimus toteutetaan luonnollisissa olosuhteissa, vähintäänkin laboratorion ulkopuolella.

3. Teknologia-keskeisyys. Tutkimuksessa tuotettu tieto koskee ensisijassa jotakin teknologista prototyyppiä.

4. Kontrollin osittaisuus. Tutkimuksen tapahtumat on (vain) osittain tutkijan harjoittaman kontrollin piirissä.

5. Konstruktiivisuus. Tutkimuksen tavoite on luoda konstruktiivista ymmärrystä, sellaista josta on hyötyä suunnittelussa ja päätöksenteossa.

Käydäänpä läpi näitä yksi kerrallaan.

1. Suuri mittakaava on ehkä distinktiivisin piirre, mutta valitettavasti relativistinen. Suuri mihin nähden? Mieleen tulee omaa häntäänsä jahtaava kissa. Living Lab –retoriikka on lyönyt vastapalloon nimenomaan nykyistä evaluonti-metodiikkaa, joka on ollut otannoiltaan rajoittunutta. Living Lab on lupaus tavoittaa sellaisia emergenttejä ilmiöitä teknologian käytössä, joiden ajatellaan (tai luullaan) olevan pienempien kokeiden saavuttamattomissa. Mäntylä luetteli useita ilmiöitä, joita näillä haetaan, enkä näe niitä tarpeen kerrata. Living Labia on oikeastaan turha järjestää, mikäli pyydykseen ei aiota saada juuri tällaisia ilmiöitä. Esimerkiksi olisi arveluttavaa järjestää Living Lab pelkästään tutkiakseen kännykän LCD-näyttöjen ulko- ja sisätilakäyttöä tai jonkin nettisivuston layouttia. Yleisemmin ottaen, ”suuruuden” kategorioita ovat ainakin:

- Kokeen kesto. Nykyiset kestot ovat kertaluokkaa viikko.

- Osallistujamäärä. Tyypillinen n mitataan kymmenissä ei sadoissa.

- Toimijaryhmät. Tätä voidaan ajatella myös laajemmin osallistujaryhmien lukumäärällä, jos peruskäyttäjien lisäksi on mukana muita toimijoita kaupallisista kunnallisiin ja yhteisöllisiin.

- Geografinen laajuus. Yksittäisen kodin sijasta koko kaupunginosa.

- Sovelluskonteksti. Yksittäisen sovelluksen sijasta kokonainen ICT-paradigma?

Toteutuneissa Living Labeissa, kuten Rotuaari, on osasia jokaisesta kategoriasta.

Suuruus on investointi myös kahden muun tutkimuspäämäärän kannalta: a) tilastollinen voima ja b) tulosten yleistyvyys. Yksinkertaisesti mitä enemmän on havaintopisteitä, sitä pienempiä ja pienempiä ilmiöitä datasta voidaan luotettavasti eritellä. Toiseksi, mitä enemmän on havaintopisteitä tuottavia ihmisiä, sitä laajempaan joukkoon tulostenkin voidaan toivoa yleistyvän. Molemmat hyödyt voidaan kuitenkin vesittää harkitsemattomalla koeasuunnittelulla. Jo niin triviaali asia kuin tilastollisen testin valinta voi mennä pieleen, esimerkiksi jos ei huomioida epätasapainoista koeasetelmaa, puuttuvaa dataa tai ei-gaussilaisia jakaumia.

2. Toinen piirre, naturalistisuus, on näennäisesti yhtä vaikea piirre kuin ensimmäinen. Tämä piirre on kuitenkin merkityksellinen rajanvetona laboratoriossa järjestetyille kokeille. Tässä kontekstissa se on siksi helppo määritellä: naturalistisuus tarkoittaa yksinkertaisesti, että kokeessa vaikuttavat tekijät syntyvät ja elävät tutkijan vaikutuksen ulkopuolella. No, Living Labin järjestely väistämättä vaikuttaa esiin nouseviin ilmöihin. Ajatellaan esimerkiksi Oulun Rotuaaria. Se, että kyseinen alue oli instrumentoitu ja sinneoli tuotu uusia vimpaimia ei voinut olla merkkaamatta aluetta paikalliseksi kuriositeetiksi jota tullaan ehkä katsomaan matkankin takaa kuten isoisämme sirkusten friikkejä. Hyvää tahtovat Living Lab -turistit tahtomattaan tuottavat näin ei-todenmukaista dataa tutkijan mielipahaksi. Johtopäätösten validiteetin kannalta on äärimmäisen tärkeää pystyä selvittämään tämä solmuinen vyyhti: missä määrin jokin havaittu ilmiö oli keinotekoisten tekijöiden ja missä määrin luonnollisten tekijöiden aikaansaama?

3. Living Lab on noussut esille nimenomaan ICT:n ympärillä olevissa keskusteluissa, ja on luonnollista liittää se ponnisteluihin, jotka tähtäävät prototyyppien kehittämiseen. Tällä kriteerillä esimerkiksi MIT:n Reality Mining -koe ei ollut Living Lab. Ko. kokeessa 60 MIT:n opiskelijalle annettiin ContextPhone-puhelimet, jotka keräsivät sensoridataa lukukauden ajan. Tutkimuksen tarkoitusperänä ei ollut sovellusprototyypin (tai itse kännykän) testaaminen vaan yhteisön jäsenten liikkeiden ja kohtaamisten louhiminen ja mallintaminen. Yleisemminkin, ihmis- ja sosiaalitieteelliset kokeet oikeilla ihmisillä oikeissa konteksteissa eivät ole Living Labeja vaan vain suuren mittakaavan naturalistisia kokeita. Ne ovat Living Labeja vasta kun niiden tarkoitus on konstruktiivinen: prototyypin kehittäminen sitä oikeilla käyttäjällä testaamalla. Tämän rajanvedon takia näen tämän kolmannen kriteerin keskeisenä.

4. Neljäs piirre on suoraa seurausta toisesta ja kolmannesta. Living Lab on koe. Piste. Yksikään Living Lab ei väistä tätä ongelmaa, koska jokaisessa on vähintään se kontrollin aspekti, että jokin prototyyppi tuodaan käyttäjien luonnolliseen elinympäristöön. Kontrollia voidaan harjoittaa toki monella sofistikoituneemmallakin tavalla, mm. käyttäjäpopulaation valinnalla, tuotteen eri variaatioissa, käyttöliittymämuutoksin, ohjeistuksin, hinnotteluin, teknologisia ja kaupallisia toimijoita sisällyttämällä yms. Mutta koska tutkija ei pysty kontrolloimaan kaikkia ilmiöön vaikuttavia aspekteja, se on vain ”muka koe”, kvasi-koe (engl. quasi-experiment). Miksi tämä on ongelma? Tehdessään päätelmiä muutoksesta tiede nojaa aina ns. kontrafaktuaaliseen päättelyyn: muutos (efekti) päätellään vertaamalla kahta havaintoa ikään kuin ne olisivat syntyneet samassa paikassa samalla hetkellä. Esimerkiksi uuden prototyypin impaktia verrataan joko kuvitteelliseen tai todella kerättyyn vertailukohtaan siitä, millaista käyttäjien elämä oli ennen prototyyppiä.

Laboratoriossa, jossa muut kausaaliset tekijät voidaan (ideaalisesti) eristää kokeen ulkopuolelle, tämä kontrafaktuaalinen päättely toimii kohtuullisen luotettavasti. Living Labille tästä avautuu kuitenkin keskeinen haaste. Huolellisen kontrollin kautta nostetaan tutkijan kykyä attribuoida havaitut muutokset teknologiaan ja sen piirteisiin eikä satunnaisilmiöihin. Esimerkiksi kuvitteellisessa paikkatietoista palvelua testaavassa Living Labissa voitaisiin esimerkiksi havaita, että tietyn sovelluksen käytön aikana ihmiset käyvät tavarataloissa useammin kuin toisten sovellusten aikana. Onko tämä sovelluksen ansiota? Entä jos kyseinen testi tapahtui joulun aikana, kuinka tutkija pystyy erottelemaan joulun ja itse sovelluksen vaikutukset toisistaan? Tästä kysymyksestä palaamme luonnollisen ja keinotekoisen (koeasetelman luoman) ongelmaan. Vain osa keinotekoisesti tuotetuista ilmiöistä on hyväksyttäviä, osa ei ole.

5. Prototyypit ovat, by definition, epätäydellisiä artefakteja. Niistä puuttuu jokin piirre tai toiminnallisuus, joka mahdollistaisi niiden korottamisen oikean tuotteen tai palvelun kastiin. Living Labien suuri lupaus perustuu arveltuun potentiaan tämän epätäydellisyyden (ja tietämättömyyden) paikkaamisessa. Tämän takia ensimmäinen kysymys Living Lab –tutkimusta mietittäessä tulisi olla: Mikä on kysymys. Living Labit ovat ongelmanratkaisun ja päätöksenteon välineitä. Niillä tuotetaan tutkimustietoa koskien jotakin epäkypsää, ts. prototyypin asteella olevaa konseptia ja näin ratkaisevasti edesautetaan sen kehitystä tuotteeksi. On keskeistä tietää mikä tuo epäkypsä kohta on ja millainen tutkimus voisi sitä mitenkään auttaa.

Lainaten Mäntylää, Suomi on viimeaikoina menestynyt hyvin nimen omaan tuotteiden kehittäjänä, mutta painopiste on siirtymässä tuotteista lisäarvoa tuottaviin palveluihin. Tällä alueella suomalaiset eivät ole olleet lainkaan yhtä kilpailukykyisiä. Niiden kehittäminen edellyttää tekniikan osaamisen ohella käyttäytymis-, yhteiskunta- ja suunnittelutiedeiden osaamista. Living Lab näyttäytyy tässä kriisissä keitaana erämään keskellä. Valitettavasti Living Lab on käsitteellistetty eräänlaisenä “brute force” -ratkaisuna: järjestetään iso koe ja katsotaan mitä käyttäjät pitävät. Keidas voikin olla kangastus. Ensin pitää identifioida yksikin niin merkittävä ongelma, että kevyemmät menetelmät eivät työhön sovellu ja on aivan pakko haaskata miljoonia asian selvittämiseksi. Sen jälkeen on työstettävä suunnitelma tinkimättömästä kokeesta, joka tuottaa kiistämättömän vastauksen kysymykseen eikä sorru kokeellisen tutkimuksen lapsentauteihin.

Kirjoituksiani teknologian evaluoinnista:

Oulasvirta, A. (2005). Grounding the innovation of future technologies. Human Technology, 1 (1), 58-75.

Oulasvirta, A. (2008). Black boxes and white boxes: Where is evaluation heading. interfaces, 72, 7-9.

Oulasvirta, A. (painossa). Field experiments in HCI: Promises and challenges. Future Interaction Design, Part 2. Springer.