Mitä oikeastaan tarkoittaa vaikuttavuus tai sen mittaaminen? Oppimisesta tai muunlaisesta muutoksesta puhuttaessa vaikuttavuus tarkoittaa aikaansaatua muutosta. Oppiminen ja muutokset ylipäänsä tähtäävät jonkinlaisen muutoksen aikaansaamiseen, ja vaikuttavuuden mittaamisella tarkoitetaan tämän muutoksen tavoittamista ja konkretisoimista.
Jotta vaikuttavuutta voidaan jollain tavalla selvittää saatikka mitata, tarvitaan kaksi asiaa:
- tarve tai tavoite
- tieto lähtötilanteesta
Tarve tai tavoite on tärkeä siksi, että oppimissisällön tai muutoshankkeen tulisi tähdätä tarpeen tai tavoitteen täyttymiseen. Jotta tarve tai tavoite on mahdollista määritellä, kohderyhmän ja/tai asian, johon halutaan vaikuttaa, tulee myös olla selvillä. Ja lopuksi, jotta voidaan selvittää, onko jokin muuttunut, pitää tietää, mistä tilanteesta lähdetään liikkeelle.
Vaikuttavuutta mittaamalla voidaan parhaassa tapauksessa myös saada selville, miten kannattavia muutoshankkeiden toteutukset tai esimerkiksi koulutushankinnat ovat olleet, jopa euromääräisesti.
Vaikuttavuuden mittaamisen edellytykset
Aloita tarvemäärittelystä tai määrittele tavoite
Tarve tai tavoite kertoo sen, mihin halutaan päästä. Mikä on haluttu lopputulos? Tällainen haluttu lopputulos voi olla esimerkiksi ”työturvallisuusrikkomusten väheneminen”. Kun tarve tai tavoite on selvillä, voidaan tarkastella sitä, minkä tulisi muuttua. Tässä asiayhteydessä varmaankin työyhteisön pitäisi noudattaa työturvallisuusmääräyksiä tarkemmin. No nyt jo aletaan nähdä, että mahdollisesti tavoitteeseen voitaisiin päästä toteuttamalla jonkinlaista täydennyskoulutusta. Täydennyskoulutus on tässä yhteydessä siis muutoshanke, joka toteutetaan, jotta tavoite voidaan saavuttaa.
Määrittele kohderyhmä tai kohdeasia
Kun tavoite tai tarve on selvillä, seuraavaksi tulisi miettiä, mikä on se kohderyhmä tai asia, jonka tulee muuttua. Tässä esimerkissämme henkilöstön käytöksen tulisi muuttua, jotta työturvallisuusrikkomusten määrä voisi vähentyä. Kohderyhmänä on siis organisaation henkilöstö. Kohderyhmä tai kohdeasia on se, johon muutoshanke tai oppimissisältö kohdistetaan ja jonka käyttäytymisen muutosta seurataan.
Selvitä nykytilanne
Jotta varmuudella voidaan sanoa, että jokin asia on muuttunut, tai jotta voidaan puhua vaikuttavuudesta, lähtötilanteen on oltava selvillä. Lähtötilanne tarkoittaa sitä tilannetta joka vallitsee, ennen kuin mitään muutokseen tähtäävää on aloitettu. Lähtötilannetta tullaan muutoshankkeen jälkeen vertaamaan lopputilanteeseen.
Nykytilanteen selvittämiseen on monia keinoja, ja ne riippuvat siitä, millaisesta asiasta on kyse. Esimerkkimme tapauksessa lähtötilanne voisi olla työturvallisuusrikkomusten määrä vuosi-, kvartaali- ja kuukausitasolla, mahdollisesti yksiköittäin. Lisäksi lähtötilanteeseen voitaisiin ottaa mukaan tieto siitä, miten moni henkilökunnan jäsen on suorittanut työturvallisuuteen liittyvä koulutuksen ja miten pitkä aika koulutuksen suorittamisesta on. Tulimme muuten samalla ottaneeksi käyttöön uuden mittarin, joka on organisaatiossa jo valmiiksi käytössä.
Toteuta muutoshanke
Kun tarve on selvillä, kohderyhmä määritelty ja nykytilanne kartoitettu, on aika toteuttaa muutoshanke. Esimerkissämme se tarkoittaa työturvallisuuskoulutuksen tarjoamista koko organisaation henkilöstölle. Kun muutoshanke on toteutettu, tai jo sen aikana, vaikuttavuutta voidaan alkaa seurata.
Erilaiset vaikuttavuuden mittaamisen tavat
Vaikuttavuuden mittaamiseen on lukemattomia eri tapoja, jotka riippuvat siitä, miten vaikuttavuus määritellään ja kenen näkökulmasta vaikuttavuutta tarkastellaan. Tähän tekstiin olen valinnut vaikuttavuuden tarkastelun
- yksilön
- tiimin
- organisaation
tasoilla ja näkökulmista. Käydään seuraavaksi läpi, mitä nämä eri tasot ja näkökulmat tarkoittavat ja mitä hyötyjä tämänkaltaisesta ajattelutavasta voisi olla.
Yksilötasolla vaikuttavuutta voidaan todentaa subjektiivisesti. Kun esimerkissämme työturvallisuutta käsittelevään oppimissisältöön muodostetaan mitattavassa muodossa olevat oppimistavoitteet, esimerkiksi oppimissisällön lukuihin liittyen, oppija voi itse arvioida, miten oppimistavoitteet täyttyvät.
Käytännössä tämä on helppoa toteuttaa siten, että oppimissisällön aluksi ja lopuksi oppimistavoitteet esitellään oppijalle ja häntä pyydetään arvioimaan, miten hyvin tavoitteet täyttyvät koulutuksen aluksi ja koulutuksen lopuksi. Kun oppija saa itse mahdollisuuden arvioida omaa osaamistaan, tuetaan samalla oppimisen itsesäätelyprosessia ja oppiminen tehdään oppijalle itselleen helpommin seurattavaksi ja todennettavaksi. Oppija voi myös reflektoida omaa oppimistaan hyödyntämällä yksinkertaista oppimistavoitteiden täyttymisen arviointia.
Tiimitasolla näitä oppimistavoitteiden täyttymisen arviointeja voidaan hyödyntää tarkastelemalla kootusti, millainen oppijoiden itsearvioitu lähtötaso oli, ja verrata lähtötasoa lopputasoon. Näin saadaan yhdellä kertaa tietoa oppimissisällön koetusta vaikuttavuudesta koko kohderyhmässä ja osaamisen kertymisestä.
Organisaatiotasolla voidaan ottaa tarkasteluun nämä oppimistavoitteet ja niiden alku- ja lopputasot sekä huomioida myös edellä mainitut organisaatiossa jo olemassa olevat mittaristot: työturvallisuusrikkomusten määrä tietyn ajanjakson aikana sekä suoritettujen koulutusten määrä.
Organisaatiotasolla tällainen vaikuttavuuden seuraaminen lisää läpinäkyvyyttä sekä johdon osalta (oppimistavoitteiden avulla nähdään, miten koettua oppimista tapahtuu missäkin tiimeissä ja muiden mittareiden avulla nähdään, miten laajempaa muutosta tapahtuu). Lisäksi tällainen vaikuttavuuden seuranta auttaa ohjaamaan päätöksentekoa dataan perustuen. Organisaation on tärkeää tietää, millaiset oppimissisällöt tuottavat halutunkaltaisen lopputuloksen: siis, millainen koulutus on vaikuttavaa tai mitkä osiot koulutuksesta tuottavat parhaat lopputulokset. Tällä tavoin koulutussisältöä on myös mahdollista tarvittaessa muokata uudelleen tuottamaan paremmin tavoitteita vastaavia tuloksia.
Ja lopulta, kun vaikuttavuuden seurantaa toteutetaan kuvatulla tavalla, voidaan nähdä euromääräisesti koulutuksiin tai muihin muutoshankkeisiin tehtyjen investointien tuotto, tässä tapauksessa euromääräisesti, kun nähdään, muuttuuko työturvallisuusrikkomusten (ja niistä mahdollisesti aiheutuneiden kustannusten) määrä muutoshankkeen toteutuksen johdosta jotenkin.
Vaikuttavuuden mittaaminen auttaa todentamaan tehtyjen investointien kannattavuutta
Muutoshankkeet maksavat aina – kyse voi olla rahasta tai kyse voi olla muutoshankkeisiin käytetystä ajasta. Jotta organisaatio voi tehdä parhaat mahdolliset lopputulokset tuottavia päätöksiä, on dataan perustuva päätöksenteko olennaisen tärkeää. Dataa saadaan mittaamalla, ja muutosten ja koulutusten vaikuttavuutta voi mitata yllättävän yksinkertaisesti.