– OAHOT-hankkeen loppuraportti 2020–2022
Kirjoittajat: Laura Hirsto, Sanna Väisänen, Teemu Valtonen & Erkko Sointu
OAHOT-hankkeen tavoitteena oli kehittää tutkimusperustaisesti oppimisanalytiikan hyödyntämistä itseohjatun oppimisen tukemisessa koulutuspolun eri vaiheissa. Hanketta rahoitti Business Finland vuosina 2020-2022, ja hankkeen myötä Itä-Suomen yliopistoon rakentui iso OAHOT-tutkimusryhmä. Hanke jakautui neljään työpakettiin. Hanketta johti professori Laura Hirsto ja projektipäällikkönä toimi KT Sanna Väisänen. Työpaketteja johtivat professori Erkko Sointu, professori Teemu Valtonen ja professori Matti Turtiainen.
Seuraavassa kuvataan ensin kunkin työpaketin keskeisiä tuloksia, ja lopuksi vedetään yhteen OAHOT-hankkeen keskeistä antia. Hankkeen tuloksia on tieteellisten artikkelien lisäksi esitetty OAHOT-blogin ja avoimien webinaarien ja seminaarien kautta. Näissä seminaareissa oppimisanalytiikan, oppimisen ja pedagogiikan kansalliset ja kansainväliset tutkijat, kehittäjät ja käyttäjät pitivät valmisteltuja asiantuntijapuheenvuoroja, ja niissä käytiin keskustelua oppimisanalytiikan tutkimuksesta, ajankohtaisista tuloksista sekä tutkimus- ja kehittämistarpeista. Hankekauden lopulla järjestettiin myös kansainvälinen ensimmäinen Finnish Learning Analytics and Artificial Intelligence in Education (FLAIEC) -konferenssi syksyllä 2022 yhteistyössä Joensuun yliopistosäätiön ja Itä-Suomen yliopiston kanssa.
Työpaketti 1: Työelämän joustavan oppimisen menestystekijät
Ensimmäisessä OAHOTin työpaketissa keskityttiin aikaisemmin hankittuun oppimisanalytiikkadata-aineistoon, joka saatiin käyttöön hankkeessa mukana olleilta yrityksiltä. Tavoitteena oli aikaisempien isojen data- aineistojen avulla hahmottaa oppimisanalytiikkadatan mahdollisuuksia opiskelijoiden opiskelu- ja oppimisprosessien ymmärtämiseen. Aineistojen perusteella pystyttiin identifioimaan tiettyjä oppimisanalytiikan haasteita oppimis- ja opiskeluprosessien tunnistamisessa, tarkastelemaan opintomenestyksen ja opintojen etenemisen haasteita opintojen alkuvaiheen datan perusteella sekä tunnistamaan jatkuvan oppimisen opiskelijoiden prosesseja täydennyskoulutuksen kontekstissa. Ensimmäisessä työpaketissa julkaistiin kolme tieteellistä artikkelia, ja yksi käsikirjoitus on vielä työnalla.
López-Pernas, Kleimola, Väisänen, ja Hirsto (painossa) tarkastelivat ammatillisen koulutuksen kontekstissa opintojen keskeyttämisen ennustamisen mahdollisuuksia instituutiotasoisen oppimisanalytiikkadatan ja erilaisten analyysimenetelmien avulla. Tutkimuksessa tarkasteltiin, millaiset tekijät hakuvaiheessa annetun datan perusteella ennustavat keskeyttämistä ammatillisessa koulutuksessa. Tulosten perusteella keskeyttämisvaarassa olivat etenkin sellaiset opiskelijat, jotka aloittavat ammatilliset opinnot peruskoulupohjalta sekä opiskelijat, jotka työskentelevät opintojen ohella tai etsivät samalla työtä. Iällä ei havaittu olevan juurikaan vaikutusta ennustettaessa keskeyttämistä. Keskeisinä johtopäätöksinä voitiin todeta, että opintojen joustavoittaminen ammatillisessa koulutuksessa on tärkeää opintojen loppuunsaattamiseksi. Myöskin kohdennetun tuen tarjoaminen opintojen ajalle sekä opiskelijoiden eri elämäntilanteiden huomioiminen ovat merkityksellisiä. Ohjausta tulisi fokusoida erityisesti peruskoulusta tulevien opiskelijoiden tukemiseen sekä opiskelijoiden itseohjautuvuuden ja itsesäätelytaitojen kehittymistä tulisi entisestään vahvistaa.
Kleimola, López-Pernas, Väisänen, Saqr, Sointu ja Hirsto (arvioitavana) tarkastelivat myös ammatillisen koulutuksen dataa, mutta siinä hyödynnettiin syvällisemmin datan kvalitatiivista aineistoa. Tässä tutkimuksessa tarkasteltiin tarkemmin lähihoitajaopiskelijoiden opiskelumotivaatiota, motivaatioprofiileja sekä niiden yhteyttä opiskelijoiden suoriutumiseen opinnoissa. Tutkimuksessa havaittiin, että lähihoitajaopiskelijoiden motiivit hakeutua koulutukseen painottuivat enemmän käytännöllisiin ja ammatillisiin tekijöihin ja vähemmän prososiaalisiin, altruistisiin syihin. Opiskelumotiivien välillä havaittiin kompleksisia yhteyksiä, joista osa näkyvämpiä kuin toiset. Motivationaalisten profiilien ja opintojen suoriutumisen välillä ei tässä aineistossa havaittu tilastollista yhteyttä. Oppimisanalytiikka tarjoaa kuitenkin hyödyllisiä näkymiä opiskelijoiden motivaatiotekijöihin erityispiirteineen. Johtopäätöksinä voidaan ehdottaa, että oppimisanalytiikan avulla rakentuneen ymmärryksen avulla voidaan kehittää toimintamalleja, jotka mahdollistavat entistä tehokkaamman tuen motivaation rakentumiselle opintojen aikaa. Motivaatiotekijöiden tunnistaminen auttaa myös mm. vetovoiman kehittämisessä, läpäisyn tukemisessa ja keskeyttämisen ehkäisemisessä, jotka tunnistetaan yleisesti ammatillisen koulutuksen haasteiksi. Tutkimustiedon kytkemistä oppimisanalytiikkaan voidaan pitää erityisen tärkeänä. Koulutuksellisia prosesseja, tiedonkeruukäytäntöjä ja tietohallintojärjestelmiä on kehitettävä systemaattisesti esimerkiksi niin, että ne mahdollistaisivat datan huolellisen keräämisen, tehokkaan hyödyntämisen ja oppimisanalytiikan käyttöönoton entistä laajemmin.
Kolmannessa työpaketista julkaistussa artikkelissa Saqr, Tuominen, Valtonen, Sointu, Väisänen ja Hirsto (2022) tarkastelivat opettajien täydennyskoulutuksesta kerättyä laajaa dataa klusteroinnin ja prosessien jäljittämisen avulla. strategioidensa perusteella. Ensimmäinen ryhmä koostui opettajista, jotka liikkuivat opiskeltavassa materiaalissa harkiten ja järjestelmällisesti, ja he suorittivat tutkitun opintokokonaisuuden lyhyessä ajassa, käyttivät enemmän aikaa jokaiseen oppituntiin ja siirtyivät melko lineaarisesti eri oppituntien välillä. Toinen ryhmä puolestaan oli joukko opettajia, joilla opintokokonaisuuden suorittaminen kesti pidempään ja he toistivat opintokokonaisuuden sisältöjä useita kertoja ja siirtyivät oppitunneilla myös taaksepäin tarkastaakseen oppitunteja toistuvasti. Kolmas ryhmä sijoittui näiden väliin. Tulosten perusteella näytti siltä, että myös opettajille oppimisen itsesäätely voi olla haastavaa. Voisikin pohtia, missä määrin opettajankoulutuksessa tulisi korostaa oppimisstrategioiden aktiivista hyödyntämistä ja itsesäädellyn oppimisen taitoja, jotta opettajat kehittyisivät myös itse oppijoina ja voisivat mahdollisesti myös paremmin tukea oppilaita näiden taitojen kehittämisessä.
Työpaketti 2: Yliopisto-oppimisen tukemisen avaintekijät oppimisanalytiikan näkökulmasta
Toisessa työpaketissa tarkasteltiin oppimisanalytiikan hyödyntämistä yliopistokontekstissa. Tätä varten toteutettiin useita tapaustutkimuksia, joissa kiinnitettiin huomiota oppimisanalytiikan hyödyntämisessä tarvittaviin pedagogisiin näkökulmiin sekä laajennetun oppimisanalytiikan mahdollisuuksiin. Yliopistokontekstin työpaketissa oli mukana neljä eri tieteenaloihin kuuluvaa opintojaksoa. Opintojaksot rakentuivat käänteisen opetuksen ja käänteisen oppimisen lähestymistavoille. Lisäksi osassa opintojaksoja toteutettiin etäopetusta em. lähestymistavoilla.
Pilotoitavalla opintojaksolla aineisto kerättiin kahtena vuonna, jolloin oppimisalusta, aineistonhankintamenetelmän toimivuus ja pedagogiset lähestymistavat saatiin pilotoitua tutkimuskontekstissa. Pilottiopintojaksolla ratkaistiin oppimisanalytiikkadatan opetus- ja oppimiskäytön haasteita. Pääasiallinen tutkimusaineistonkeruu toteutettiin lukuvuonna 2021–2022. Aineistoja kerättiin monipuolisesti niiden käsittäessä käytetystä oppimisalustasta kerättyä oppimisanalytiikan (OA) ja jatketun oppimisanalytiikan (kysely) (JOA) -aineistoja, opiskelijoiden ja opettajien haastatteluaineistoja sekä erikseen kerättyjä alku- ja loppukyselyaineistoja. OAHOT-hankkeen aikana työpaketista julkaistiin viisi artikkelia.
Sointu, Valtonen, Hallberg, Kankaanpää, Väisänen, Heikkinen, Saqr, Tuominen ja Hirsto (2022) tarkastelivat tutkimuksessaan opettajaopiskelijoiden oppimiseen liittyviä tekijöitä. Opintojakson aiheena olivat määrälliset tutkimusmenetelmät, jotka ovat monesti hyvinkin haastavia ja jopa pelottavia opettajaopiskelijoille. Näin olleen opintojakso tarjosi toimivan mahdollisuuden tutkia, miten etäopetukselle ja käänteiselle oppimiselle rakennetulla opintojaksolla voidaan tukea opiskelijoita oppimisanalytiikan keinoin. Jatketun oppimisanalytiikka -aineiston keinoin tarkasteltiin viidessä mittauspisteessä muutosta itsesäätelyssä, orientaatioissa ja tunteissa. Tuloksien perusteella opiskelijoiden ajanhallintataidot paranivat sekä välttelyorientaatio laski. Lisäksi ahdistuneisuus ja koettu tylsyys kvantitatiivisten menetelmien opiskeluun vähenivät. Tuloksien perusteella voidaan alustavasti päätellä, että hyvin suunniteltu pedagoginen lähestymistapa, teknologia ja oppimisanalytiikan käyttö opetuksessa tukevat opettajaopiskelijoiden sisältöjen oppimista.
Toisessa artikkelissa Sointu, Saqr, Valtonen, Hallberg, Väisänen, Kankaanpää, Tuominen ja Hirsto (2022) tutkivat jatketun oppimisanalytiikan ja oppimisanalytiikan keinoin opettajaopiskelijoiden tunneperäistä käyttäytymistä määrällisten menetelmien opintojaksoilla. Opettajaopiskelijoiden emotionaaliset profiilit (eli klusterit) muodostettiin opintojakson alkumittauksen jatketun oppimisanalytiikkadatan emotionaalisten ulottuvuuksien perusteella ja eri klusteriryhmien käyttäytymistä sähköisellä oppimisalustalla tarkasteltiin perinteisemmän oppimisanalytiikkadatan perusteella. Aineistosta löydettiin kolme erilaista klusteria: “keskitasoiset”, “pro kvantitatiiviset” ja “pelokkaat” kvantitatiivisten menetelmien opettajaopiskelijat. Tuloksien perustella voidaan todeta, että käytetyt pedagogiset lähestymistavat sekä analytiikan tarjoamat mahdollisuudet tarjoavat tukea opiskelijoille, varsinkin pelokkaille opiskelijoille. Lisäksi paremmin määrällisiä menetelmiä hallitsevat opiskelijat voivat ehkä toteuttaa opiskelua itsenäisemmin. Käänteisen opetuksen ja teknologian monipuolinen käyttö tarjoaa opettajalle mahdollisuuden tukea erityisesti pelokkaita opiskelijoita, jolloin opiskelu muuttuu sujuvammaksi.
Kolmannessa yliopisto-oppimiseen liittyvän työpaketin artikkelissa Sointu, Valtonen, Väisänen ja Hirsto (painossa) tarkastelivat yhteen opintojaksoon osallistuneiden opiskelijoiden opintojaksopalautteita. Oppimisanalytiikan (OA) ja jatketun oppimisanalytiikan (JOA) käyttö opetuksessa on vaikeaa, mutta niiden käyttämisessä on paljon potentiaalia yliopistonkontekstin opetuksessa ja oppimisen tuessa. Käänteinen oppiminen etäopetuskontekstissa tarjoaa mahdollisuuden kerätä oppimisanalytiikkadataa. Lisäksi tarvitaan teknologian monipuolista käyttöä, jotta OA- ja JOA-datoja voidaan käyttää oppimisen tukeen. Teknologiaan oppimisen tuessa kuuluvat (1) digitaaliset oppimisalustat, (2) konferenssiteknologiat (esim. Zoom ja Teams), (3) OA- ja JOA-datojen kerääminen ja käyttö sekä (4) sisältökohtainen teknologia. Tutkimuksessa tarkasteltiin kahden opintojaksototeutuksen opintojaksopalautelomakkeita. Yleisesti ottaen tulokset opetuksessa käytettävään pedagogiikkaan ja monipuoliseen lähestymistapaan olivat positiivisia. Esimerkiksi käänteisellä oppimisella etäopetuksen kontekstissa voidaan toteuttaa teknologian avulla toimivaa vuorovaikutusta opettajan ja opiskelijoiden välillä. Toisaalta opiskelijoiden omat näkemykset oppimiseen olivat heikompia, joskaan eivät matalia. Tästä huolimatta opiskelijoiden oman oppimisen ymmärtämiseen ja oppimisen tukeen on kiinnitettävä tulevaisuudessa huomiota.
Neljännessä artikkelissa Sointu, Hirsto, Väisänen, Cutucache ja Valtonen (2022) tutkivat etäopetuksena toteutettua käänteisen opetuksen mukaisesti järjestettyä määrällisten tutkimusmenetelmien opintojaksoa, jossa opiskelijoiden oppimista tuettiin aktiivisesti erilaisilla teknologisilla lähestymistavoilla. Tulosten perusteella tällainen oppimisympäristö näytti tuottavan myönteisiä vaikutuksia vähentäen opiskelijoiden tehtävänvälttelyä ja ahdistusta sekä parantaen ajankäyttöä. Myös opiskelijoiden tietämys oppimisanalytiikasta ja asenteet oppimisanalytiikan hyödyntämistä kohtaan paranivat. Tulokset osoittivat, että käännettyjä lähestymistapoja verkkoympäristöissä voidaan käyttää opettajaopiskelijoiden kanssa haastavissa sisällöissä.
Viidennessä yliopisto-oppimiseen liittyvässä artikkelissa Elmoazen, Saqr, Tedre ja Hirsto (painossa) tutkivat, kuinka sosiaalinen vuorovaikutus herättää opiskelijoiden tuottavaa online-ongelmapohjaista oppimista. Tutkimus tehtiin käyttämällä prosessi- ja sekvenssilouhintamenetelmiä tietokoneella tuetun yhteistoiminnallisen oppimisen yhteydessä. Analyysin perusteella opiskelijoiden yleisin toiminta oli argumentoimatonta keskustelua, seuraavaksi eniten oli tiedon jakamista ja sosiaalista vuorovaikutusta. Prosessilouhinnan pohjalta opiskelijoiden keskustelut alkoivat useimmiten ensin tiedon jakamisella, jota seurasi muiden viestien arvioiminen tai argumentointi ja keskustelun päättäminen sosiaaliseen vuorovaikutukseen. Sekvenssilouhinnan näkökulmasta yleisimmät aloitustoiminnot olivat sosiaalinen vuorovaikutus ja ei-argumentatiivinen vuorovaikutus. Nämä kaksi analyyttista lähestymistapaa näyttivät antavan tutkijoille mahdollisuuden tunnistaa verkkofoorumikeskusteluiden eri vaiheita.
Työpaketti 3: Perusopetuksen oppilaan oppimisen tukemisen kriittiset tekijät itsesäätelyn taitojen kehittymisessä
Kolmannessa työpaketissa tarkasteltiin oppimisanalytiikkaa perusopetuksen kontekstissa. Myös tässä empiirisen aineiston hankkimiseksi luotiin kaksi erilaista oppimisympäristöä ja tarkasteltiin sekä kehitettiin perusopetuksen erityispiirteitä huomioivaa oppimisanalytiikan hyödyntämistä ja siihen liittyvää pedagogiikkaa. Työpakettiin kolme rakentui kaksi ilmiöopintojaksoa, jossa toteutukset olivat erilaiset. Toteutukset tehtiin alakoulussa, tarkemmin 5.–6. luokissa. Ilmiöopintojaksoilla toimi sama verkko-oppimisympärisö, joka oli rakennettu tukemaan itseohjattua oppimista.
Tässä työpaketissa kerättiin monipuolisesti aineistoa. Kokonaisuudessaan aineisto koostui opettajien ja oppilaiden haastatteluista, oppituntien aikana tehdyistä kyselyistä (jatkettu oppimisanalytiikka), sekä verkkoympäristöön kertyneestä käyttäjädatasta. Perusopetuksen kontekstiin suuntautuvasta työpaketista julkaistiin hankkeen aikana kolme tutkimusartikkelia.
Ensimmäisessä peruskoulun kontekstiin liittyvässä artikkelissa Väisänen, Hallberg, Valtonen, Tervo, Kankaanpää, Sointu ja Hirsto (2022) tutkivat alakoulun oppilaiden näkemyksiä oppimisanalytiikasta ja itseohjatusta oppimisesta opintojakson aikana. Oppilaita sekä havainnoitiin opintojakson aikana että osa oppilaista haastateltiin sen jälkeen. Tutkimus osoitti, että yleisesti ottaen oppilaiden kokemukset itseohjatusta oppimisesta sekä oppimisanalytiikasta olivat positiivisia ja oppimisanalytiikka nähtiin toimivana ja motivoivana. Oppimisanalytiikan myös nähtiin auttaneen heidän oppimistaan. Oppilaat näyttivät kehittyvän itseohjautuvammiksi opintojakson aikana. Tästä huolimatta tavoitteiden asettaminen ja niiden saavuttaminen näyttivät olevan melko vaikeaa useille oppilaille. Tämän tutkimuksen tulokset tarjosivat uusia näkökulmia oppimisanalytiikan rooliin tärkeänä lisätukena oppilaiden itseohjatulle oppimiselle. Kaiken kaikkiaan tulokset viittaavat tarpeeseen kehittää edelleen pedagogisia lähestymistapoja oppimisanalytiikan käyttöön alakoulukontekstissa.
Toisessa artikkelissa Hirsto, Valtonen, Saqr, Hallberg, Sointu, Kankaanpää ja Väisänen (2022) tarkastelivat kokemuksia ja näkökulmia oppimisanalytiikkaan sekä itsesäädeltyyn oppimiseen jatketun oppimisanalytiikkadatan avulla. Tutkimus suoritettiin kahden ilmiölähtöisen opintojakson jälkeen, jotka käsittelivät avaruutta sekä kestävää kehitystä ja tuotteen elinkaarta. Oppilaat työskentelivät ensimmäisellä opintojaksolla pääsääntöisesti itsenäisestä ja toisella jaksolla painottui ryhmätyöskentely. Tulosten perusteella oppilaiden ymmärrys oppimisanalytiikasta säilyi melko alhaisella tasolla, mutta heidän näkemyksensä oppimisanalytiikan hyödyntämisestä oli melko positiivista. Eniten oppimisanalytiikka hyödyntäneillä oppilailla näytti olevan myös myönteisemmät kokemukset analytiikan käytöstä.
Hankkeen aikana havaittiin, että perusopetuksen kontekstiin liittyvää oppimisanalytiikka tutkimusta ei ylipäätään näyttänyt olevan kovin paljon. Sen vuoksi Hirsto, Saqr, López-Pernas ja Valtonen (painossa) toteuttivat systemaattisen narratiivisen katsauksen useasta tietokannasta poimituista perusopetusta koskevista oppimisanalytiikkaa käsittelevistä tieteellisistä artikkeleista. Tulosten perusteella peruskoulun kontekstissa tutkittuja teemoja näyttivät olevan pelillistäminen ja multimodaaliset lähestymistavat. Lisäksi tutkimukset voitiin jakaa sen mukaan, onko oppimisanalytiikka sinänsä tutkimuskohteena vai tutkimusmenetelmänä. He havaitsivat myös, että useimmilta tutkimuksilta puuttui vahva kasvatustieteellinen teoreettinen perusta, mikä korostaa tarvetta luoda kehittyneempiä teoreettisia perusteita koulutason oppimisanalytiikka-tutkimukselle.
Työpaketti 4: Oppimisanalytiikan kehittäminen itseohjautuvan oppimisen tueksi
Neljännessä työpaketissa pyrittiin aikaisemman tutkimuksen avulla vetämään yhteen oppimisanalytiikan hyödyntämisen mahdollisuuksia laajemmin sekä hahmottamaan tulevaisuuden haasteita. Tässä työpaketissa myös rakennettiin oppimisanalytiikan tutkimusverkostoa, vierailtiin kansainvälisissä tutkimusryhmissä jakamassa tietoa OAHOTin tutkimuksista ja saamassa palautetta sekä viestittiin aktiivisesti avointen seminaarien sekä webinaarien kautta. OAHOTin tutkijoita kutsuttiin myös puhujiksi erilaisiin kansallisiin ja kansainvälisiin oppimisanalytiikan teemoja käsitteleviin konferensseihin ja tilaisuuksiin.
OAHOT-hankkeen webinaarit ja seminaarit järjestettiin puolivuosittain, niistä tehtiin videot avoimesti saataville hankkeen sivuille, ja niissä oli puhumassa alan keskeisiä kansainvälisiä ja kotimaisia tutkijoita ja kehittäjiä:
- Kick off -tapahtuma 18.5.2020 (Keynote Dirk Ifenthaler, University of Mannheim)
- Webinaari 8.12.2020 (Keynote Mohammed Saqr, Itä-Suomen yliopisto, diskusantit Erkko Sointu, Itä-Suomen yliopisto ja Anssi Gröhn, Karelia-ammattikorkeakoulu)
- Webinaari 11.5.2021 (Diskusantit Sonsoles López-Pernas, Universidad Politecnica de Madrid ja Anja Emonds, University of Maastricht)
- Hybridiseminaari 17.11.2021 (Keynote Sonsoles López-Pernas, Universidad Politecnica de Madrid, diskusantit Hanni Muukkonen, Oulun yliopisto ja Riina Kleimola, Itä-Suomen yliopisto)
- Seminaari 4.5.2022 (työpajoja sekä paneelikeskustelu; Vesa Paajanen, Itä-Suomen yliopisto, Teija Paavilainen, Itä-Suomen yliopiston harjoittelukoulut, Ville Tuominen, Valamis ja Ulla-Maaria Koivula, Thinglink)
- Päätösseminaari 28.11.2022 (Keskeisten tulosten esittely ja keskustelu tulosten merkityksestä sekä hankkeen arviointi)
Työpaketissa neljä pyrittiin löytämään laajempia näkökulmia läpi tutkittujen kontekstien oppimisen itsesäätelyn tukemisen oleellisista tekijöistä oppimisanalytiikan kehittämisen kannalta. Tähän liittyen hankkeessa julkaistiin seitsemän vertaisarvioitua artikkelia taikka kirjoitusta, ja hankkeen myötä toimitettu FLAIEC-konferenssin teemanumero on painossa.
Ensimmäisessä työpaketti neljän artikkelissa Valtonen, López-Pernas, Saqr, Vartiainen, Sointu ja Tedre (2022) tarkastelivat bibliografisen analyysin avulla opetusteknologiaan liittyvän tutkimuksen teemojen kehitystä ja suuntaviivoja. Sen perusteella oppimisanalytiikkaan ja tekoälyyn liittyvät teemat näyttivät tutkimusten asiasanojen perusteella olevan tihentyvän kiinnostuksen kohteena.
Toisessa artikkelissa Elmoazen, Saqr, Tedre ja Hirsto (2022) tutkivat systemaattisen kirjallisuuskatsauksen avulla sitä, miten episteemisten verkostojen analyysiä on hyödynnetty opetukseen ja oppimiseen liittyvässä empiirisessä tutkimuksessa. Episteemisten verkostojen analyysiä on kehitetty ja hyödynnetty erityisesti oppimisanalytiikan tutkimuksen kentällä, mutta sen metodinen kehittely näyttää olevan vielä kesken. Analyysiohjelmien tuottamat episteemiset verkostot voivat kuitenkin tuottaa havainnollistuksen esimerkiksi yhden ihmisen erilaisten kokemusten tai käsitysten rakenteista.
Kolmannessa artikkelissa Saqr, Elmoazen, Tedre, López-Pernas ja Hirsto (2022) tarkastelivat systemaattisen analyysin avulla erilaisten tilastollisten yhteyslukujen suhdetta opiskelijoiden opintomenestykseen teknologiatuetussa yhteistoiminnallisessa oppimisessa. Yhteysluvuilla on pyritty kuvaamaan esimerkiksi sitä, miten opiskelijat tekevät yhteistyötä toisten opiskelijoiden kanssa opintojakson aikana. Tulosten perusteella havaittiin, että näitä yhteyslukuja ja niiden laskentaperusteita on hyvin paljon erilaisia, ja joidenkin yhteys opintomenestykseen on noussut esille selvästi monessa tutkimuksessa, kun taas joidenkin tunnuslukujen merkitys näyttää vähäisemmältä. Se, mikä yhteysluku kulloinkin on merkityksellinen oppimisen kannalta, on kuitenkin paljolti riippuvainen myös opintokokonaisuuden pedagogisesta mallista, joten sekin olisi hyvä jatkossa huomioida erilaisten tunnuslukujen merkitystä ja niiden mahdollista visualisointia pohtiessa.
Neljännessä artikkelissa Valtonen, Hirsto, Sointu ja Väisänen (2022) nostavat esille oppimisanalytiikan pedagogisen suunnittelun haasteita ja merkitystä. Erilaiset oppimiskäsitykset tuovat omanlaisiaan haasteita oppimisanalytiikan kehittämiselle ja hyödyntämiselle. Perinteisesti oppimisanalytiikan tuottama data ja sen visualisoinnit ovat perustuneet opintojen etenemisen seurantaan, jolloin opiskelija voi analytiikan avulla tarkastella esimerkiksi sitä, missä vaiheessa mitäkin tehtäviä on pitänyt saada tehdyksi ja missä vaiheessa oma opintojakson suorittamien on. Myös opettajan oma pedagoginen ajattelu vaikuttaa siihen minkälaista oppimisanalytiikka opetuksen ja oppimisen tueksi olisi tarpeen kehittää. Lisäksi erilaiset oppimisen teemat ja episteemiset rakenteet voivat vaikuttaa oppimisanalytiikkadatan keräämisen ja sen visualisoinnin tarpeisiin; onko jokin oppiaines selkeästi kumulatiivista vai jollakin tavalla holistista taikka systeemistä.
Viides kirjoitus (Saqr ja López-Pernas, painossa) nostaa esille yksilöllisen lähestymistavan tarpeen oppimisanalytiikan edelleen kehittämisessä. Oppimisanalytiikan tutkimuksessa on perinteisesti pyritty hahmottamaan isoja datoja ja suuren joukon yhteisiä näkökulmia liittyen oppimisen prosesseihin. Kun katsotaan otostasolla, voidaan kuitenkin hukata yksilöllisten prosessien erot ja erilaiset kehityskulut opiskelijoiden välillä. Jos ajatellaan pedagogiikan kehittämistä ja opiskelijoiden mahdollisuuksia hyödyntää oppimisanalytiikkaa omassa oppimisessaan, pitäisi ehkä ymmärtää myös omaa oppimisprosessia ja sen variaatiota ja tukea siten myös opiskelijan omaa toimijuutta oman oppimisensa peräsimessä.
Kuudentena tämän työpaketin vertaisarvioituna kirjoituksena Hirsto, Sointu, Valtonen, Turtiainen ja Väisänen (2022) vetävät yhteen OAHOT-hankeen tuloksia. Siinä tarkastellaan oppimisanalytiikan hyödyntämisen pedagogisia näkökulmia sekä nostetaan esille hankkeen työpakettien ja eri empiiristen osioiden tuloksia. On selvää, että perinteinen opiskelijan käyttäytymiseen perustuva oppimisalustojen ja -ympäristöjen logidata ei oppimisen ja opetuksen prosessien ymmärtämisessä riitä kovin pitkälle. Olisikin tärkeää miettiä, minkälaista jatkettua oppimisanalytiikkadataa tarvitaan jatkossa erilaisissa opetuksen ja oppimisen konteksteissa, ja miten oppimisanalytiikan näkökulmia huomioidaan opetuksen pedagogisen suunnittelun kannalta.
Työpakettiin neljä liittyen ja osana hankkeen toimintaa järjestettiin tiedeyhteisölle ja aiheesta kiinnostuneille julkinen, Suomen ensimmäinen Finnish Learning Analytics and Artificial Intelligence in Education – Emphasizing educational perspectives in LA and AI research (FLAIEC 2022) -konferenssi Itä-Suomen yliopiston Joensuun kampuksella 29.9-30.9.2022. Lisäksi konferenssiin kuului 28.9.2022 mahdollisuus osallistua ohjatulle kouluvierailulle Rantakylän normaalikoulussa. Konferenssin tavoitteena oli tuoda yhteen tutkijoita eri maista esittelemään tutkimustaan oppimisanalytiikan saralla sekä keskustelemaan oppimisanalytiikan hyödyntämisestä oppimisen ja opetuksen tukena. Tämä tavoite täyttyi loistavasti.
Konferenssi tarjosi hienon mahdollisuuden päästä kuulemaan kansainvälisesti arvostettuja Keynote-puhujia: professori Dragan Gašević (Australia), professori Sanna Järvelä (Suomi), professori Dirk Ifenthaler (Saksa) ja professori Laura Hirsto & OAHOT-projektin henkilöstö (Suomi). Kaikki pääpuhujamme saapuivat paikalle Joensuuhun ja osallistuivat aktiivisesti koko konferenssin ajan esitysten seuraamiseen ja yhteiseen keskusteluun tuoden suuren lisäarvon konferenssille.
Konferenssi järjestettiin hybridimallisena, ja yhteensä 74 ihmistä ilmoittautui konferenssiin. Paikan päällä oli noin 35 ihmistä loppujen ollessa etäyhteydellä. Konferenssi herätti paljon myös kansainvälistä kiinnostusta ja kv-osallistujia oli joukossa yli 20 mm. Afrikasta, USA:sta ja eri puolilta Eurooppaa. Osallistujat myös edustivat eri organisaatioita ja koulutuksen eri tasoilta, joten rikasta analytiikkaan ja tekoälyyn liittyvää keskustelua käytiinkin useasta eri näkökulmasta ja kontekstista käsin. Esityksiä pääpuheiden lisäksi oli 27. Konferenssista ilmestyy konferenssijulkaisu (Hirsto, López-Pernas, Saqr, Sointu, Valtonen & Väisänen, painossa) CEUR Workshop Proceedings -julkaisukanavan kautta vuonna 2023. Konferenssi sai paljon kiitosta osallistujilta ja toiveita konferenssin järjestämisestä uudestaan.
Hankkeen luonteen vuoksi tehtiin myös selvitystä kaupallisesta vaikuttavuudesta (Business Impact) kauppatieteen tutkijan toimesta. Arviointia varten toteutettiin keskeisten hanketoimijoiden haastattelut hankkeen koetuista hyödyistä ja nousseista tutkimuskysymyksistä sekä jatkokehitysnäkökulmista. Hanke hyödytti mukana olleita yrityksiä tuoden tuotekehitystyöhön vahvan kasvatustieteellisen näkökulman, joka huomioi aikaisempaa paremmin oppimiseen liittyvät taustaprosessit. Yritykset kokivat hyötyneensä myös avautuneista yhteistyömahdollisuuksista partneriyritysten kesken. Hankkeen aikana syntyi useita uusia tutkimuskysymyksiä liittyen tekoälyratkaisuihin, Opetus- ja kulttuuriministeriön mukaan ottamiseen sekä tulosten ja löydösten tulkintaan eri konteksteissa jatkossa. Kaikki mukana olleet yritykset totesivat, että yliopiston, kasvatustieteilijöiden sekä yritysten yhteistyölle on jatkossa nimenomaan kaupallinen tarve ja kiinnostus.
Yhteenvetoa
Hankkeen tuloksia verrattaessa suunnitelmaan, voidaan sanoa, että hanke saavutti hyvin asetetut keskeiset tavoitteet ja avasi sekä tutkimuksellisesti että mukana olleiden yritysten näkökulmasta uusia näkökulmia ja kehityskohteita myös jatkokehittämisen pohjaksi. OAHOT-hanke on toteuttanut aktiivista, myös tutkimusjulkaisuja laajentavaa julkaisu- ja asiantuntijatoimintaa. Lisäksi tässä OAHOT-blogissa on julkaistu hanketta ja sen tutkimusta popularisoivia kirjoituksia. Kaikkinensa blogitekstejä on julkaistu tällä hetkellä kahdeksan kappaletta. Tarkoituksena on jatkaa blogia, vaikka Business Finlandin rahoittama hankeosuus onkin päättynyt. Hankkeen tutkimusteemojen työstäminen ja syventäminen jatkuu muiden tähän mennessä saatujen jatkorahoitusten turvin ainakin vuoteen 2026.
Tutkimustyö nosti esille oppimisanalytiikan mahdollisuuksia ja haasteita. Keskeisenä alan haasteena näyttäytyy analytiikan ja pedagogiikan toistaiseksi vähäinen vuoropuhelu. Käyttäjädatalle rakentuvat mallit ja käytänteet eivät vielä kykene riittävästi vastaaman tämän hetken pedagogisiin haasteisiin. Varsinkin erilaisten yhteisöllisen oppimisen avainmekanismien tuominen analytiikalla visualisoitavaan muotoon vaatii vielä lisää tutkimus- ja kehitystyötä. Lisäksi opettajien tuominen tiiviimmin osaksi analytiikkajärjestelmien suunnittelua toisi käytännönläheisen näkökulman järjestelmien kehittämistyöhön, tuoden lisäarvoa analytiikan hyödyntämiselle. Näihin haasteisiin OAHOT-hankkeessa otettiin ensimmäisiä askelia, nostaen esille arvokkaita näkökulma oppimisanalytiikan jatkokehitystyöhön.
Tutkimuksen aikana nousi vahvasti esille jatketun oppimisanalytiikan (JOA) rooli ja mahdollisuudet. Oppimisanalytiikkakirjallisen puitteissa JOA on jäänyt sangen pieneen rooliin. Kuitenkin JOA voi toimia siltana vahvasti tietojenkäsittelytieteen traditiolle rakentuvan oppimisanalytiikkatutkimuksen edelleen kehittämiseen ja laajentamiseen. JOA tarjoaa välineitä tuoda pitkälle kehitettyjä kasvatustieteen ja psykologian instrumentteja syventämään pelkän käyttäjädatan varaan rakentuvaa analytiikkaa. Ylipäänsä, OAHOT-hankkeen myötä esille nousi vahvasti tarve kasvatustieteiden ja tietojenkäsittelytieteiden tiiviimmälle vuoropuhelulle. Oppimisanalytiikan perinteet nojaavat tietojenkäsittelytieteen tutkimukseen, erilaisten analyysimallien ja algoritmien kehittämiseen. Jatkossa tämän kehitystyön lähtökohdaksi ja tueksi tarvitaan vahvemmin kasvatustieteellistä osaamista. Kasvatustieteen avulla analytiikan tarjoamat mahdollisuudet voidaan kohdistaa niille alueille, joissa käyttäjädata ja JOA tarjoavat parhaimman lisäarvon.
Kaiken kaikkiaan oppimisanalytiikka tarjoaa mielenkiintoisia mahdollisuuksia oppimistilanteiden ymmärtämiseen ja erilaisten oppimisprosessien tukemiseen. Analytiikan avulla voidaan tehdä näkyväksi oppimiseen ja opettamiseen liittyviä ilmiöitä tavalla, joka aikaisempien teknologioiden avulla ei ollut mahdollisia. Analytiikan hyödyntämistä osana oppimista, varsinkin perusasteella, on ajoittain kritisoitu mm. siitä, että analytiikka ohjaa oppimisprosessit vanhoihin ohjelmoidun oppimisen malleihin, estäen opiskelijoiden itseohjautuvan oppimisen sekä luovuuden. Analytiikka on nähty jopa eräänlaisena oppilaiden valvontajärjestelmänä. OAHOT-hankkeen myötä olemme voineet nostaa esille toisenlaisen näkökulman oppimisanalytiikkaan. Analytiikassa keskeistä on järkevä pedagogiikka. Oppimisanalytiikka on rakennettava palvelemaan opettajien pedagogisia tavoitteita, tuottamaan opettajille ja oppilaille tietoa oppimisen ydinmekanismeista. Oppimista ja opettamista on tutkittu kauan, tuloksena on syntynyt teorioita oppimisesta, pedagogisia malleja, tapoja organisoida oppimistilanne ja skriptata yhteisöllisiä oppimisprosesseja jne. Näiden pohjalta meillä on tietoa keskeisistä oppimista tukevista elementeistä. Analytiikan avulla nämä elementit pitää saada näkyviksi. Tavoitteena on tukea oppilaiden pedagogisesti mielekästä toimintaa, tukea heidän opiskelutaitojen kehittymistä hyödyntäen kasvatustieteen tarjoamaa tutkimustietoa.
Lähteet:
Elmoazen, R., Saqr, M., Tedre, M., & Hirsto, L. (2022). A Systematic Literature Review of Empirical Research on Epistemic Network Analysis in Education. IEEE Access 10, doi: 10.1109/ACCESS.2022.3149812.
Hirsto, L., López-Pernas, S., Saqr, M., Sointu, E., Valtonen T., & Väisänen, S. (painossa) (toim.). Proceedings of the First Finnish Learning Analytics and Artificial Intelligence in Education Conference (FLAIEC 2022), Joensuu, Finland 2022
Hirsto, L., Saqr, M., López-Pernas, S., & Valtonen, T. (painossa). A systematic narrative review of learning analytics research in K-12 and schools. Teoksessa, L. Hirsto, S. López-Pernas, M. Saqr, E. Sointu, T. Valtonen, & Väisänen S. (toim.) Proceedings of the First Finnish Learning Analytics and Artificial Intelligence in Education Conference (FLAIEC 2022), Joensuu, Finland 2022.
Hirsto, L., Sointu, E., Valtonen, T., Turtiainen, M. & Väisänen, S. (2022). Learning analytics in teaching and learning processes in multiple contexts. Teoksessa, T. Bastiaens (toim.), Proceedings of EdMedia + Innovate Learning (pp. 359-361). New York City, NY, United States: Association for the Advancement of Computing in Education (AACE). Retrieved from https://www.learntechlib.org/primary/p/221312/.
Hirsto, L., Valtonen, T., Saqr, M., Hallberg, S., Sointu, E., Kankaanpää, J., & Väisänen, S. (2022). Pupils’ experiences of utilizing learning analytics to support self-regulated learning in two phenomenon-based study modules. Teoksessa, E. Langran (toim.), Proceedings of Society for Information Technology & Teacher Education International Conference (pp. 1879-1885). San Diego, CA, United States: AACE.
Kleimola, R., López-Pernas, S., Väisänen, S., Saqr, M., Sointu, E., & Hirsto, L. (arvioitavana). Learning Analytics to Explore the Motivational Profiles of Practical Nurse Students: A Mixed-Methods Approach. Empirical Research in Vocational Education and Training. SpringerOpen.
López-Pernas, S., Kleimola, R., Väisänen, S., & Hirsto, L. (painossa). Early detection of dropout factors in Vocational Education: A large-scale case study from Finland. Teoksessa, L. Hirsto, S. López-Pernas, M. Saqr, E. Sointu, T. Valtonen, & Väisänen S. (toim.) Proceedings of the First Finnish Learning Analytics and Artificial Intelligence in Education Conference (FLAIEC 2022), Joensuu, Finland 2022.
Elmoazen, R., Saqr, M., Tedre, M. & Hirsto, L. (painossa). How Social interactions kindle productive online Problem Based Learning: an exploratory study of the temporal dynamics. Teoksessa, L. Hirsto, S. López-Pernas, M. Saqr, E. Sointu, T. Valtonen, & Väisänen S. (toim.) Proceedings of the First Finnish Learning Analytics and Artificial Intelligence in Education Conference (FLAIEC 2022), Joensuu, Finland 2022.
Saqr, M., Elmoazen, R., Tedre, M., López-Pernas, S. & Hirsto, L. (2022). How well centrality measures capture student achievement in computer-supported collaborative learning? – A systematic review and meta-analysis. Educational Research Review 35, 100437.https://doi.org/10.1016/j.edurev.2022.100437
Saqr, M. & López-Pernas, S. (painossa). The idiographic paradigm shift needed: bringing the person back into research and practice. Teoksessa, L. Hirsto, S. López-Pernas, M. Saqr, E. Sointu, T. Valtonen, & Väisänen S. (toim.) Proceedings of the First Finnish Learning Analytics and Artificial Intelligence in Education Conference (FLAIEC 2022), Joensuu, Finland 2022.
Saqr, M., Tuominen, V., Valtonen, T., Sointu, E., Väisänen S. & Hirsto, L. (2022). Teachers’ Learning Profiles in Learning Programming: The Big Picture! Frontiers in Education, advanced online publication, https://doi.org/10.3389/feduc.2022.840178
Sointu, E., Hirsto, L., Väisänen, S., Cutucache, C. & Valtonen, T. (2022). Insight of supporting the learning of a challenging content for special education preservice teachers with learning analytics. Teoksessa, T. Bastiaens (toim.), Proceedings of EdMedia + Innovate Learning (pp. 861-869). New York City, NY, United States: AACE. Retrieved from https://www.learntechlib.org/primary/p/221384/
Sointu, E., Saqr, M., Valtonen, T., Hallberg, S., Väisänen, S., Kankaanpää, J., Tuominen, V., & Hirsto, L. (2022). Emotional behavior in quantitative research methods course for preservice teachers. Learning analytics approach. Teoksessa, E. Langran (toim.) Proceedings of Society for Information Technology & Teacher Education International Conference (pp. 1880-1889). San Diego, CA, United States: Association for the Advancement of Computing in Education (AACE). Retrieved from https://www.learntechlib.org/primary/p/220997/.
Sointu, E., Valtonen, T., Hallberg, S., Kankaanpää, J., Väisänen, S., Heikkinen, L., Saqr, M., Tuominen V., & Hirsto, L. (2022). Learning analytics and Flipped Learning in onlineteaching for supporting preservice teachers’ learning of quantitative research methods. Seminar.net – International Journal of Media, Technology & Life-long Learning, 18(1). https://doi.org/10.7577/seminar.4686 .
Sointu., E., Valtonen, T., Väisänen, S. & Hirsto, L. (painossa). Flipped Online Approach with Learning Analytics for Supporting Higher Education Students’ Learning. Course Feedback Results. Teoksessa, L. Hirsto, S. López-Pernas, M. Saqr, E. Sointu, T. Valtonen & S. Väisänen (toim.) Proceedings of the Finnish Learning Analytics and Artificial Intelligence in Education Conference (FLAIEC22), Joensuu, Finland. CEUR Workshop Proceedings. Forthcoming
Valtonen, T., Hirsto, L., Sointu E., & Väisänen, S. (2022). Learning Analytics Pedagogy – Possibilities and Challenges. Teoksessa, T. Bastiaens (toim.), Proceedings of EdMedia + Innovate Learning (pp. 362-366). New York City, NY, United States: AACE. Retrieved from https://www.learntechlib.org/primary/p/221313/
Valtonen, T., López-Pernas, S., Saqr, M., Vartiainen, H., Sointu, E. T., & Tedre, M. (2022). The nature and building blocks of educational technology research. Computers in Human Behavior, 128, 107123.
Väisänen, S., Hallberg, S., Valtonen, T., Tervo I.-A., Kankaanpää, J., Sointu, E., & Hirsto, L. (2022). Pupils’ experiences of learning analytics visualizations in supporting self-regulated learning in an elementary school classroom. Seminar.net – International Journal of Media, Technology & Life-long Learning, 18(1). doi: 10.7577/seminar.4690
