GPT-4 opiskelijan tukena?

Miten nyt pinnalla oleviin tekoälykielimalleihin (mm. GPT-4)  tulisi suhtautua opiskelun tuen osalta? Kun tuen resurssit ovat rajattuja, voisiko tekoälyavusteinen tuki lisätä tuen saavutettavuutta laajemmalle joukolle? Lähestyimme asiaa tekemällä kokeilun käyttäen GPT-4-kielimallia sekä WhatsApp-viestisovellusta. Testaa Whatsapp-tukibottia numerossa 041 7458116.

Annien tuotekehityksessä suhtautumisemme tekoälyyn on ollut varovaisen kiinnostunut. Toistaiseksi Annie-tukibotin kommunikaatio on perustunut suhteellisen yksinkertaisiin, sääntöpohjaisiin puurakenteisiin (jos opiskelija kirjoittaa näin, vastaa opiskelijalle näin). Lähestymistavan etuna on ollut sen tehokkuus ja läpinäkyvyys. Muutamalla hyvin suunnitellulla viestinvaihdolla saadaan opiskelijan huoli kartoitettua, ja tukibotin toimintalogiikka on helposti hahmotettavissa kaikille osapuolille. Lisäksi, kun käsitellään opiskelijoiden hyvinvointiin liittyvää dataa, on tietojen käsittelyssä oltava erityisen tarkkana (katso tarkemmin Annie Security Principles). Tekoäly on kuitenkin viime aikoina ottanut valtavia harppauksia, ja on selvää että sillä tulee olemaan vaikutuksia myös opiskelun tuen alueella.

GPT-4 -versio Anniesta?

Open AI:n uusin kielimalli, GPT-4, julkaistiin 14.3.2023. Liityin itse pian julkaisun jälkeen GPT-4:n ohjelmointirajapinnan (API) jonotuslistalle, ja viime viikolla sähköpostilaatikkoon kolahti kutsu testaajaksi. Päätin kokeilla, miten GPT-4 voisi toimia Annien osana eli opiskelijan tuen tarpeen tunnistamisessa ja ohjaamisessa oikealle taholle. Väylänä botin kanssa keskustelemiseen päätin käyttää WhatsAppia, jota olemme muutenkin testanneet mahdollisena viestikanavana tukibotin ja opiskelijoiden väliseen kommunikaatioon.

GPT:lle voi antaa ohjeita, mikä botin rooli tulisi olla. Annoin botille seuraavanlaisen ohjeistuksen:

you are the student support bot called Annie, your role is to collect student support need information for school, the user is writing to you because they have some worry or need related to studies or wellbeing you need to act as a first listener of their worries and find out what is their issue or worry, your do not need to solve their problem but to show empathy and let them know that support is available and it is good thing that they told about their worries, once the student has explained enough about their problem tell that the student will be contacted later by school staff and say goodbye

Tämän jälkeen oli ensimmäisen kokeilun aika:

Ensivaikutelman perusteella botti selviytyi tilanteesta varsin hyvin. Erityisen vakuuttavaa oli yllättävänkin hyvä suomen kieli sekä emojien luonteva käyttö osana viestintää. Muutamaa asiaa jäin kuitenkin pohtimaan. Ensinnäkin, tarvitseeko botin tietää minkälaista kiusaaminen on? Miten kontrolloidaan, kuinka tarkasti botti utelee opiskelijan huolesta, ennen kuin päätyy välittämään sen eteenpäin? Toiseksi, nyt botti suoraan toteaa että kouluhenkilökunta ottaa yhteyttä myöhemmin. Mitä jos opiskelija ei halua, että asia välitetään henkilökunnalle?

Päädyin tarkentamaan botin ohjeistusta, ja lisäämään, että opiskelijalta pitää pyytää hyväksyntä ennen kuin hänen huolensa välitetään eteenpäin:

once the student has explained enough about their problem confirm with the student that you can tell their worry to school staff so that the staff can contact the student if this is ok tell that the student will be contacted later and say goodbye

Sitten on seuraavan kokeilun aika:

Tällä kertaa botti ei alkanut utelemaan huolista yhtä tarkasti kuin ensimmäisessä kokeilussa. Kun kieltäydyin asian välittämisestä henkilökunnalle, vastaus oli yllättävän hyvä. Ja kun epäröin, että kenellehän huoleni kerrotaan, botti myös ehdotti useita vaihtoehtoja. Toisaalta, botilla ei oikeasti ole käytettävissään tietoja siitä, minkä ammattiryhmien edustajia kussakin koulussa on töissä – se vain “arvaa”. Lisäksi nyt suomen kielen kanssa oli haasteita; “se on täysin kunnossa” on selvä anglismi (that’s alright). Kaikkiaan botti kuitenkin suoriutui tehtävästään varsin mallikkaasti.

Seuraavaksi annoin botin testattavaksi kollegoilleni. Opiskeluhyvinvoinnin asiantuntijamme Mia onnistuikin testauksessaan heti osumaan botin heikkouksiin:

Nyt opiskelija haluaisi päästä psykologille, mutta koululla ei ole psykologia. Botti ehdottaa että huoli välitetään henkilökunnalle, ja kysyttäessä tarkemmin että kenelle, botti ei osaa kertoa mutta sanoo että yksi vaihtoehto olisi psykologi – jota koululla ei ole. Myöskin ilmaisu “onko se jokin erityinen syy vai yleinen tilanne, joka estää sinua pääsemästä psykologille” on kömpelö. Tällä kertaa botti ei siis selvinnyt yhtä hyvin tehtävästään kuin aiemmissa kokeiluissa.

Testaa itse!

Yksi ohjelmistojen testaamisen perussäännöistä on, että teknologian kehittäjä itse ei yleensä ole paras mahdollinen testaaja teknologialle. Halutessasi voitkin itse testata GPT-4 demoamme lähettämällä WhatsAppissa viestin numeroon 041 7458116. Huomioithan, että botti on tarkoitettu vain teknologiakokeiluksi, eikä sitä tule käyttää todellisissa tilanteissa avun pyytämiseen! Testaamalla bottia myös hyväksyt Annie Advisorin tietosuojalausekkeen mukaisen tietojen käsittelyn. Mikäli päädyt testaamaan bottia, kuulisin mielelläni kokemuksistasi!

Yhteenveto kokeilusta

Kokeiluni perusteella tekoäly toimii hyvin opiskelijan huolien validoinnissa ja kykenee käyttämään myötätuntoista kieltä. Varsinaiseen haasteiden ratkaisemiseen sen kyvykkyys on kuitenkin vielä hyvin rajallinen – tämä voi toki muuttua tulevaisuudessa. Jatkamme Anniella tekoälykokeiluja, mutta tekoälyn soveltamisessa laajemmassa mittakaavassa tulee olla varovainen – etenkin kun tekoälyyn liittyy tällä hetkellä monia eettisiä sekä lainsäädännöllisiä haasteita. Tällä viikolla varsin nimekäs joukko tutkijoita ja vaikuttajia julkaisi avoimen kirjeen jossa ehdotetaan puolen vuoden aikalisää oppivien kielimallien kehitykseen. Aikalisän tarkoituksena olisi kehittää pelisääntöjä kielimallien kehitykseen sekä rakentaa yhteisesti hyväksytyt suojamekanismit tekoälykehitykseen, jotta sitä voitaisiin jatkaa hallitummin.

Jaan kannanoton huolen kehityksen tahdista. Se, että jokin on teknisesti mahdollista ei suoraan tarkoita että niin kannattaisi tehdä, ja tekoälykilvoittelun keskellä tällainen harkinta voi jäädä tekemättä. Tukibotin osalta keskeistä on, tuoko teknologia aidosti lisäarvoa. Tämän kokeilun perusteella GPT-4 -pohjaisella botilla päästään käytännössä samaan lopputulokseen kuin nykyisellä sääntöpohjaisella botilla, mutta pidemmin viestein. Toisaalta sillä, että botti validoi opiskelijan huolen, voi olla opiskelijalle erittäin suuri merkitys.