Mittaroi, älä monitoroi - webinaarin teemana opiskelun tuen ROI

Järjestimme perjantaina 31.3.2023 Annie-webinaarin otsikolla “Voiko opiskelijan tuen vaikuttavuutta mitata?”.

Annie-webinaari oli menestys: ilmoittautuneita oli yhteensä 176, joten aihe on selvästi kiinnostava ja ajankohtainen. Webinaarin lopuksi myös syntyi mielenkiintoista keskustelua päivän teemoista. Kiitos vielä esiintyjille ja osallistujille! Tässä postauksessa käydään vielä webinaarin kohokohdat läpi.

Hyviä mittareita on paljon – miten sovelletaan arjessa?

Kaakkois-Suomen ammattikorkeakoulun tutkimusjohtaja Arto Pesola toi puheenvuorossaan esiin tärkeitä ja mielenkiintoisia näkökulmia hyvinvoinnin mittaamiseen. Erilaisia tutkimusperusteisia mittareita hyvinvoinnin mittaamiseen on olemassa lukuisia. Esimerkkinä Pesola nosti esiin viime vuonna julkaistun australialaistutkimuksen, jossa toteutettiin hyvinvointi-interventio korkeakoulun psykologian kurssin yhteydessä. Interventio koostui lukuisista eri aktiviteeteista (mm. onnellisuuskirje, meditaatio, itsemyötätuntoharjoitukset) joiden vaikutuksia mitattiin kolmella eri mittarilla: mielenterveysoireiden frefkenssi (MHC-SF), positiiviset ja negatiiviset tunteet (PANAS) sekä onnellisuuden arvottamista mittaava Valuing Happiness Scale. Tulosten perusteella interventio lisäsi opiskelijoiden hyvinvointia ja suojasi heitä lukukauden aikaiselta stressiltä.

Toisaalta on epäselvää, kuinka hyvin tällaista mittarointia voitaisiin soveltaa käytännön oppilaitosarjessa. Esimerkiksi edellä mainituista mittareista MHC-SF koostuu 14 kysymyksestä ja PANAS 20 kysymyksestä. Lisäksi kyselyjä olisi toistettava riittävän usein, jotta hyvinvoinnissa tapahtuvia muutoksia saadaan tunnistettua. “Kysymys kuuluu, että onko se käytännöllistä arjessa, onko se opiskelijoille motivoivaa, kuka niihin jaksaa vastata?” Pesola pohtii. Vaihtoehtona Pesola esittää, että opiskelijalta yksinkertaisesti kysytään, miten menee. Tällaisella yksinkertaisella mittarilla on varsin hyvä validiteetti. Toisaalta hienoisia käänteitä hyvinvoinnissa ei saada yhtä hyvin kiinni kuin laajemmilla kyselyillä.

Tärkeintä onkin pohtia, mihin mittaamisella pyritään. Millä perusteella vastaukset johtavat minkäkin tyyppisiin johtopäätöksiin, ja mihin vedetään raja siihen, kenelle opiskelijoille lähdetään tarjoamaan lisätukea tai ohjaamaan opiskelijaterveydenhuoltoon? “Ennen kuin käytetään tosi paljon resursseja mittaamiseen, pitäisi ehdottomasti miettiä että mitä me tällä tiedolla sitten tehdään”, Pesola kiteyttää.

Mittaaminen on vaikuttamista

Yhtenä näkökulmana Pesola toi esille, että mittaaminen itsessään on vaikuttamista. Aina kun opiskelijalta kysytään jotain, se saa opiskelijan prosessoimaan ja reflektoimaan kyseessä olevaa ilmiötä. Huomionarvoista on, että vaikutukset voivat olla tilanteesta riippuen positiivisia tai negatiivisia. Esimerkiksi mielenterveystutkimuksissa on havaittu, että mielenterveyden edistämiseen tarkoitettu interventio voi myös saada ihmiset havaitsemaan omia puutteitaan mielenterveyteen liittyen, ja siten – ainakin kyselyaineiston perusteella – heikentää mielenterveyttä. Toisaalta koettu hyvinvointi ja onnellisuus ovat myös suhteessa odotuksiin. “Opiskelijoilla saattaa olla itselleen liiankin suuret odotukset opinnoissa – yksi tapa edistää hyvinvointia on vähentää niitä odotuksia”, Pesola kertoo.

Lopuksi Pesola korosti, että erityisen tärkeää mittaamisessa on miten se asemoidaan ja viestitään opiskelijoille: “Mittaamisesta ei saisi tehdä ylhäältä päin monitorointina, vaan se pitäisi tuoda opiskelijoille asiana, jota tehdään yhdessä, joka on opiskelijan parhaaksi, hänen lähtökohdistaan”.

Kustannusvaikuttavuusnäkökulma pudokkuuden ehkäisyyn

Diakonnissalaitoksen palvelualuejohtaja Vesa Sarmia esitteli nuorten syrjäytymisen ehkäisemiseen tähtäävää Vamos-toimintaa ja erityisesti sen yhteydessä kehitettyjä kustannusvaikuttavuusanalyysejä. Vamoksessa on vuodesta 2018 tehty ammattioppilaitosten ja ammattikorkeakoulujen kanssa yhteistyötä nuorten pudokkuuden ehkäisemiseksi. Vamoksen toimintamalli perustuu intensiiviseen ryhmä- ja yksilövalmennukseen sekä nuorten tarvitsemien palvelujen kokoamiseen. Erityistä huomiota on kiinnitetty tiedolla johtamisen mahdollisuuksiin muun muassa tukikeinojen kohdennuksessa, tuen oikea-aikaisuudessa ja riskitekijöiden tunnistamisessa.

Sarmia jakoi opintoihin liittyvät riskitekijät kahteen ryhmään: opiskelijan taustaan liittyvät riskitekijät (peruskoulun arvosanat, hakutoivejärjestys, kesken jääneet aiemmat opinnot sekä HOKS-keskustelun huomiot) sekä opintojen aikana esiin nousevat riskitekijät (väliaikaiset keskeytykset, näyttöjen puuttuminen tai viivästyminen, poissaolot, työelämässä oppimisen keskeytyminen, suoritusten viivästyminen, huoli havaintojen perusteella). Näistä kertyvien riskipisteiden perusteella voidaan kohdentaa tukea ja interventioita kohonneessa pudokkuusriskissä oleville opiskelijoille. Haasteena kuitenkin on, että valmius systemaattiseen opiskelijadatan hyödyntämiseen vaihtelee paljon. “Ensisijaiseksi pullonkaulauksi tuli se, kuinka systemaattisesti tietoa eri oppilaitoksissa kerätään, ja miten sitä voidaan hyödyntää. Eniten puutteita on siinä, että me ei pystytä hyödyntämään opiskelijoiden tausta- tai historiatietoa interventioiden kohdentamisessa”, Sarmia kertoo.

Interventioiden vaikutusten arviointi

Vamoksen interventioiden tulokset ovat olleet erinomaisia. Valmennusjakson päättäneistä 81 % osallistujista pudokkuusriski oli saatu ehkäistyä. Interventiot ovat olleet myös oppilaitostaloudellisesti kannattavia: ne ovat tuottaneet panostuksen keskimäärin 1,5-kertaisesti takaisin suoritusrahoituksen kautta (ROI, return on investment). Tulokset saatiin hankkeessa kehitetyn kustannusvaikuttavuuden mallintamismenetelmän avulla. Siinä intervention kustannukset oppilaitokselle (palkat, muut kulut) suhteutetaan intervention vaikutuksiin ja intervention oletettuun osuuteen vaikutusten saavuttamisessa. “Vaikuttavuusanalysoinnin keskeinen haaste on, miten erotetaan intervention vaikutus muiden tekijöiden vaikutuksesta. Ottamalla datasta samanlaisilla tausta- tai  herätetiedoilla verrokkiryhmä voidaan arvioida mikä intervention hyöty on ollut”, Sarmia havainnollistaa.

Sarmia konkretisoi kustannusvaikuttavuusmallia esimerkillä, jossa viidelle opiskelijalle kohdennetun pudokkuuden ennaltaehkäisyn intervention kustannus oli 15 000 euroa. Intervention seurauksena kohderyhmän opiskelijat kerryttivät oppilaitokselle ammatillisen koulutuksen valtionrahoituksen rahoitusmallin suorituspisteitä 1000 pistettä enemmän, mikä tarkoittaa 23 000 euroa enemmän suoritusrahoitusta. Näin ollen intervention arvioitu vaikutus on nettopositiivinen, +8 000 euroa.

Annie ja vaikuttavuus

Annie-tukibotin osalta vaikuttavuusteemaa voidaan tarkastella kahdesta näkökulmasta. Ensiksi, tukibotti-interventioiden tavoitteena on ylläpitää opiskelijoiden hyvinvointia, auttaa opintojen edistämisessä ja ehkäistä opintojen keskeyttämistä. Tästä onkin saatu positiivisia tuloksia: esimerkiksi Vantaan ammattiopisto Varialla havaittiin Annien käyttöönottovuonna vuosittaisessa eronneiden opiskelijoiden osuudessa merkittävä pudotus 14,6 prosentista 10,7 prosenttiin.

Toisena näkökulmana on Annie-tukibotin hyödyntäminen vaikuttavuuden arvioinnissa. Ohjattuaan ensin opiskelijan sopivien tukipalvelujen tai materiaalien äärelle, tukibotti valitun viiveen jälkeen tiedustelee opiskelijalta onko tämä saanut apua. Näin kertyvän tiedon pohjalta voidaan sekä tunnistaa vaikuttavimmat tukimuodot, että tarjota lisätukea opiskelijoille jotka eivät ole kokeneet saaneensa apua.