UEF Law School kokeili vertaisarviointia ja vertaispalautetta immateriaalioikeuden massakurssilla

Professori Katja Weckström Lindroos
Opetus- ja tutkimusavustaja Aaro Eränen

Immateriaalioikeuden massakurssilla toteutettiin vertaispalauteharjoitus, jossa opintojaksolle osallistuneet 83 opiskelijaa jaettiin noin kymmenen hengen ryhmiin. Opiskelijat olivat itsenäisesti laatineet soveltavaan viikkotehtävään vastauksen. Vertaispalauteharjoituksessa jokainen ryhmä sai noin kymmenen kappaletta opiskelijoiden anonymisoituja vastauksia sisältävän paketin luettavaksi.

Ensimmäiseksi tehtävänä oli arvioida vastaukset HYV/HYL- asteikolla alkuperäisen tehtävänannon mukaan. Ryhmän tuli tuottaa yhteinen yksimielinen arvostelupäätös kaikista vastauksista. Työskentely tapahtui Moodlen verkkokeskustelualueella. Toiseksi tehtävänä oli laatia yksi yhteinen mallivastaus alkuperäiseen tehtävänantoon, ja tässä osiossa työskentely tapahtui Sharepointissa, jossa jokainen ryhmän jäsenistä pääsi muokkaamaan ryhmän yhteistä Word-tiedostoa.

Tässä kirjoituksessa keskitymme erityisesti eroavaisuuksiin, joita arvostelussa ja opiskelijoiden arvioinnissa ilmeni sekä vertaispalauteharjoituskokemuksen antiin oppimista edistävänä työkaluna.

Vertaisarvioinnin ja arvosteluperusteiden vertailu

Varsinaisessa tehtävässä hyväksyttyyn vastaukseen vaaditaan vähintään puolet (10/20) tehtävän enimmäispistemäärästä. Opiskelijat arvioivat ylittikö vastaus 10 pisteen rajan.  Varsinaisessa arvostelussa vastaukset pisteytettiin 0-20 pisteen asteikolla.

Arvostelun ja vertaisarvioinnin vastaavuus oli 80 %. Näin ollen, vain joka viidennen vastauksen arvostelussa oli eroavaisuutta hyväksymiskynnyksen ylittymisestä. Lisäksi opiskelijoiden antama hylätty tai hyväksytty arvio vastauksen laadusta sisältää 10 pisteen haarukan, joten tarkkojen arvostelussa ilmenneiden pistemääräisten erojen osoittaminen on mahdotonta. Vertailun tueksi tarkastimme vastausten arvioinnissa esitettyjä perusteluja Moodlen keskustelualueella käydystä opiskelijoiden keskustelusta.

Tapauksia, joissa vastaus hylättiin ja opiskelijat puolestaan sen hyväksyivät, oli puolet eroavien arvosteluiden joukossa. Näissä vastauksissa korostui aktiivinen lakitekstin ja oikeuskirjallisuuden referointi, jolloin pohdiskelevampi, tehtävänannon mukainen soveltava osuus jäi vähemmälle. Varsinaisessa arvostelussa vaikutti ratkaisevasti se, että vastauksista ilmeni puutteita varsinaisen substanssin ymmärryksessä. Tämä näkyi esimerkiksi epärelevanttien oikeusohjeiden esille tuomisena, virheellisinä johtopäätöksinä tai oikeudellisten käsitteiden epäjohdonmukaisessa käytössä.

Opiskelijoiden arvioinnissa keskityttiin yleisesti tarkasteltuna eniten normilähtöiseen tai oikeuskirjallisuuteen perustuvaan perusteluun. Mikäli lakiin tai muihin oikeusohjeisiin ei oltu viitattu, päädyttiin pääsääntöisesti yksimielisesti hylättyyn. Tällainen yksimielinen hylkäys tuli esille myös koskien yhtä vastausta, joka arvostelussa oli saanut korkean pistemäärän (19/20). Vastauksessa opiskelija osoitti normikokonaisuuden syvällistä ymmärrystä viitaten oikeudellisiin käsitteisiin ja soveltaen niitä tapaukseen moniulotteisesti, johdonmukaisesti ja oikein.

Toiseksi opiskelijoiden arviointiperusteet käsittivät myös soveltamisen huomioonottamisen – mikäli vastauksessa oli perusteltu asioita oikeusohjeisiin viitaten, mutta ei sovellettu tehtävänannon tapaukseen, pääsääntöisesti vastaus arvosteltiin hylätyksi. Mikäli soveltamista kuitenkin oli edes muutaman lauseen verran, vastaus katsottiin hyväksytyksi – joissakin ryhmissä tällaisia vastauksia jopa pidettiin erityisen hyvinä.

Varsinaiset arvosteluperusteet noudattivat tehtävänantoa, jolloin korostui klassinen trio: oikeudellinen argumentaatio, oikeudelliset käsitteet ja tapaukseen soveltaminen. Vertaisarvioinnissa puolestaan hyväksyttyyn vastaukseen vaadittiin käytännössä: 1) oikean pykälän esille tuominen; 2) pykälään perustettu johtopäätös; ja 3) argumentointi liittyen siihen, miksi on päätynyt tapauksessa tällaiseen johtopäätökseen.

Opiskelijoiden arvioimissa vastauksissa pääsääntöisesti hyväksyttyyn vastaukseen riitti esimerkiksi johtopäätöksen argumentointi pelkkään tehtävänannossa annettuun tosiseikkaan viitaten. Päättely voidaan karrikoidusti esittää muodossa, koska väite loukkauksesta on esitetty, loukkaus on tapahtunut. Varsinaisessa arvostelussa tämä ei yksinään ollut riittävä perustelu tekijänoikeuden mahdolliselle loukkaukselle, ja edellytettiinkin enemmän perusteluja hyvältä vastaukselta. Johtopäätöksen perusteluiden painoarvoon kiteytyi suurin eroavaisuus varsinaisen arvostelun ja vertaisarvioinnin välillä.

Varsinaisessa arvostelussa pohtiva ja laadukas argumentointi saattoi kompensoida vastauksesta puuttuvista oikeusohjeista koituvaa vähennystä – puolestaan opiskelijoiden arvioinnissa tällaista syy-yhteyttä ei ollut huomattavissa. Opiskelijat hylkäsivät yleensä vastauksen, mikäli viittauksia lakeihin tai oikeuskirjallisuuteen ei ollut käytetty – arvostelija taas saattoi hyväksyä niukasti vastauksen, mikäli muodolliset viittaukset puuttuivat, mutta argumentointi oli perehtynyttä ja vastauksesta näki, että asia on ymmärretty. Oikeudellisten viittausten painoarvo oli toinen merkittävä eroavaisuus, joka näkyi opettajan ja opiskelijoiden arvostelussa.

Tältä osin eroavaisuus on hyvä muistutus työelämävalmiuksien kehittämisestä modernissa oppimisympäristössä. Opiskelijalla, kuten käytännön työelämätilanteessakin, oli tehtävänannossa rajaton käyttöoikeus kaikkeen oikeudelliseen aineistoon. Tehtävän ydin oli oikeudellisen tiedon soveltamisessa käsillä olevaan tapaukseen, johon ei valmista vastausta ollut. Normi on päättelyketjun alku, joka joko soveltuu tai ei sovellu kyseiseen tapaukseen. Hyvältä vastaukselta vaadittiin perustelut sille, miksi ja miltä osin normi soveltuu tapaukseen. Vertaisarvioinnissa yhden oikean ratkaisun etsiminen oikeudellisista lähteistä ja tämän tiedon esittäminen oli keskiössä. Varsinaisessa arvostelussa tapauksen olennaisten oikeudellisten kysymysten tunnistaminen ja oikeudellisesti perusteltujen ratkaisujen ehdottaminen olivat painoarvoltaan ratkaisevia. Kurssikirjallisuuden tai lakitekstin suora lainaaminen ei tuottanut pisteitä, ellei tietoa sovellettu tapaukseen.

Mallivastausten laadinta ryhmätyönä

Vertaispalauteharjoituksen toinen elementti liittyi mallivastauksen laadintaan. Tämä tapahtui heti tehtävien jättämisen jälkeen. Ryhmätyöskentelyyn varattiin 5 päivää, jonka jälkeen yhteensä 8 mallivastausta oli opiskelijoiden käytössä ennen tenttiä. Opettaja puolestaan laati myöhemmin varsinaisen tehtävien arvostelun yhteydessä yleispalautteen opiskelijoiden vastauksista. Vertaisarvioinnissa esille nousseet painotuksissa todetut eroavaisuudet näkyivät selvästi.

Taulukossa ilmenee ryhmätyöskentelyn onnistumisen arvioinnin kannalta tärkeää tietoa ryhmien konsensuksesta ja tehtävänannossa pysymisestä.

Työskentely lähti ryhmissä hyvin käyntiin heti tehtävän avauduttua. Tehtävän suhteellisen lyhyt määräaika tiedostettiin heti alussa, ja 48 tunnin sisällä suurin osa opiskelijoista oli ilmoittanut keskustelualueelle omat HYV/HYL -arviointinsa. Tässä harjoituksessa kaikkien ryhmien jäsenten työskentelytavoissa oli osoitettavissa kolme yleistä roolia, jotka laskennallisesti jakautuivat kolmasosiin. Jokaisessa ryhmässä ensimmäinen joukko osoitti erittäin aktiivista otetta tehtävään, ja lähti organisoimaan ryhmän työnjakoa sekä kirjoittamaan mallivastausta. Toinen joukko osoitti keskinkertaista aktiivisuutta ilmoittamalla omat arvionsa päivän sisällä tehtävän avautumisesta ja ehdottamalla muutoksia jo hyvällä mallilla olleeseen mallivastaukseen. Viimeisen kolmanneksen työskentelymetodit osoittautuivat passiivisemmiksi kuin edellä mainituilla, ja tässä lievän passiivisuuden perusteeksi voitaisiin luokitella esimerkiksi määräaikaan suhteutettuna hidas aktivoituminen keskustelualueella, henkilön ilmoittaman arvostelun puutteellisuus tai osallistumattomuus yhteisen mallivastauksen kirjoittamiseen.

Lähes jokainen ryhmä saavutti kiitettävällä tavalla kompromissin. Ryhmät ratkaisivat erimielisyydet HYV/HYL- arvioinnissa pääsääntöisesti enemmistöperiaatteella. Vain kahdessa ryhmässä enemmistön päättämä lopullinen arvostelupäätös ei nauttinut luottamusta vähemmistöltä, joka reagoi osoittamalla lievää tyytymättömyyttä lopputulokseen. Kahdessa tapauksessa, jossa ryhmän sisällä esiintyi erimielisyyttä, osa esitti soveltamiseen liittyviä perusteluja kannalleen, kun muut korostivat viittauksia oikeusohjeisiin. Molemmat vastaukset olivat rajatapauksia myös arvostelussa. Kaikkien ryhmien jäsenet esittivät sekä hyviä perusteluja omille kannoilleen, että ongelmanratkaisukykyä ja joustavuutta ryhmätilanteessa.

Vertaispalauteharjoitus oli toteutettavissa lisätyövoiman avulla. Harjoitus osoitti käytännössä sen, että vertaispalautteella voidaan tukea oppimista kurssilla myös tiukan aikataulun puitteissa. Aiempina vuosina oli toivottu palautetta juuri kolmannen viikkotehtävän ja tentin välille. Vertaispalauteharjoitus mahdollisti vertaispalautteen, vaikka arvostelua ei voitu massakurssilla toteuttaa tässä aikataulussa. Vertaispalautteen lisäksi kurssin aikana julkaistiin yleispalautteet jokaisen tehtävän ja tentin jälkeen. Mallivastauksissa ja vertaisarvioinnissa toistuneet eroavaisuudet varsinaiseen arvosteluun olivat tehtävänannon kannalta hieman huolestuttavia. Toisaalta, ensimmäisen tenttikierroksen tuloksiin nähden opiskelijat eivät olleet kehittäneet vastaustekniikkaansa huonompaan suuntaan. Julkaisimme myös vertaisarvioinnin ja varsinaisen arvostelun vertailun Moodlessa, jotta opiskelijat näkivät, miten vertaisryhmä oli arvioinut heidän vastauksensa ja erosiko se varsinaisesta arvostelusta.

Kaiken kaikkiaan vertaispalauteharjoitus oli monella tapaa hyödyllinen jo pelkästään sen perusteella, että se tuotti uutta tietoa opiskelijoiden käsityksistä oppimisesta ja sen tavoitteista. Tietoa voimme hyödyntää opetuksen kehittämisessä vastaisuudessakin. Toistamme vertaispalauteharjoituskokeilun toisella siviilioikeuden opintojaksolla kevään 2019 aikana. Opiskelijoilta kerätään palautetta molempien kurssien lopulla. Kokemuksia kokeilun onnistumisesta jaamme laitoksen blogissa loppukeväästä.