Tutkijanarvointien kansainväliset kehittämistarpeet

Euroopan unionin tiedepolitiikan keskiössä on viime aikoina ollut tarve kehittää tutkija-arviointeja. Tavoitteena on ollut nimenomaan kehittää tutkijauriin ja tutkijarekrytointiin liittyviä arviointeja. Palkkausjärjestelmät perustuvat eurooppalaisissa yliopistoissa valtionhallinnon nimikekohtaisiin linjauksiin ja työehtosopimuksiin, eikä niihin sisälly merkittävää palkka-arviointia. Nämä järjestelmät poikkeavat suomalaisissa yliopistoissa käytössä olevasta, eurooppalaisiin malleihin nähden joustavammasta palkkausjärjestelmästä, jossa on enemmän paikallista ja tehtäväkohtaista soveltamisvaraa, ja joissa arvioinnilla on merkittävä rooli.

Rekrytointeihin ja tutkijauriin liittyvät arviointikulttuurin muutostarpeet on tunnistettu kansainvälisesti, ja ne ovat herättäneet paljon keskustelua. Tutkimuksen arviointijärjestelmän muutos ja tutkijaurat ovat osa eurooppalaista tutkimusalueen agendaa ja toimia, joihin on laajasti sitouduttu myös EU-jäsenmaissa. Eurooppalainen keskeinen rahoittajajärjestö Science Europe sekä monet tutkimusrahoittajat, kuten Suomen Akatemia, ovat myös aloitteessa mukana ja sitoutuneet siihen. Teemaan liittyvät lukuisat kansainväliset julkilausumat, kuten muun muassa DORA-julistus (San Francisco Declaration on Research Assessment) ja Leidenin tutkimusmetriikkamanifesti (Manifesto for Research Metrics), pohjimmiltaan tähtäävät numeroiden käyttämisen ylivallan taittamiseen tieteen ohjailemisessa, sekä laadullisen arvioinnin roolin ja merkityksen nostamiseen vastuullisen metriikan rinnalla.  Esimerkiksi DORA-julistuksen on allekirjoittanut yli 22 000 henkilöä ja organisaatiota.

Arviointien liiallinen kvantifiointi on herättänyt paljon kritiikkiä ja toiminut yhtenä alkusysäyksenä kansainväliselle muutospaineelle. Ongelmalliseksi koettu kehityssuunta on yleinen, mutta arviointikulttuurit näyttävät olevan osin maa- ja tieteenalakohtaisia. Huippuunsa mittaaminen on edennyt joidenkin arvioiden mukaan esimerkiksi Keski-Euroopassa ja sellaisilla aloilla kuten biotieteet, jossa tutkijan elinikänään saavuttama H-indeksi saattaa olla 200. Korkea indeksilukema ei sinänsä ole ongelma, vaan työn pelkistyminen kiihkeäksi julkaisutoiminnaksi alan huippulehdissä, jolloin esimerkiksi tutkijoiden yhteiskunnallinen kontribuutio ja muut roolit typistyvät pois, ja toiminnan fokus kapenee joidenkin arvioiden mukaan liikaa. Ajatellaan, että yliopisto ei toivotulla tavalla säteile yhteiskuntaan, joka toimintaa rahoittaa, ja jonka kasvavat ja globaalit haasteet edellyttäisivät yhteistyötä laajoilla rintamilla – akateemisen perustutkimuksen roolia lainkaan väheksymättä. On myös nähty, että kiihtyvään kilpajuoksuun julkaisuputkessa perustuva uranäkymä ei riittävästi houkuttele yliopistoihin uutta tutkijakuntaa. Näistä syistä nähdään perustelluksi laajentaa ja monipuolistaa tutkijauria monimuotoisen ja muuttuvan yhteiskunnan tarpeiden mukaisesti.

Aloite tutkimuksen arviointijärjestelmän muutoksesta on lähtöisin Euroopan komissiosta, mutta pitkän keskustelun tuloksena keskeiset eurooppalaiset tiedepoliittiset toimijat ovat myös sitoutuneet hankkeeseen laajasti. Takana on korkean tason poliittinen päätös ja komission laaja valmistelu. Tutkimusrahoittajien perustehtävä on jakaa rahaa tutkimukseen. Kysymykset toiminnan laadun, vaikuttavuuden ja yhteiskunnallisen relevanssin näkökulmista ovat tällöin keskeisiä. Myös suomalaiset yliopistot ovat olleet aktiivisesti mukana valmistelutyössä. Itä-Suomen yliopisto on ollut myös valmisteluvaiheessa aktiivisesti mukana sekä yksittäisenä yliopistona että YERUN-yliopistoverkoston kautta.

Käydyn pitkän tiedepolittiisen keskustelun ja yhteistyön lopputulemana Euroopan komissio julkaisi äskettäin sopimuspohjan tutkimusarviointien kehittämiseksi vapaaehtoisessa yhteistyössä. Sopimukseen sitoutumisen ja sitä seuraavan yhteistyön pohjalta luodaan konsortio, joka jakaa tietoa ja parhaita käytäntöjä sekä hakee yhteistyössä optimaalisia ratkaisuja koettuihin tutkija-arvioinnin ongelmiin. Valtaosa Suomen yliopistoista on ilmaissut kiinnostuksena osallistua kehittämistyöhön. Itä-Suomen yliopisto on mukana tässä joukossa.

Konsortioon osallistuminen on vapaaehtoista ja osallistujat voivat muun muassa erota koska tahansa konsortiosta. Kyse on optimaalisen menetelmällisen tasapainon saavuttamisesta arvioinneissa, mutta myös ala- sekä tehtäväkohtaisen variaation tunnistamisesta. Laadun ja vaikuttavuuden näkökohtia pyritään korostamaan tutkija-arvioinnissa. Pääperiaatteet ovat seuraavat: monimuotoisuuden lisääminen tutkijaurissa; arviointien perustaminen laadullisiin lähestymistapoihin ja vertaisarvointiin, jota vastuullinen metriikka tukee; mekaanisesta ja epätarkoituksenmukaisesta tieteellisten lehtien vaikuttavuuskertoimien ja H-indeksin käytöstä luopuminen; sekä mekaanisten rankingien painoarvon vähentäminen tutkija-arvioinnissa. Etukäteisiä ratkaisuja ei ole, vaan kyse on yhdessä oppimisesta ja arviointeihin liittyvästä laajasta kansainvälisestä keskustelusta.

Myös arvioinnin välineitä pyritään kehittämään. Tähän mennessä maailmalla kehitetyissä laadullisen arvioinnin työkaluissa on pyritty lisäämään arvioinnin monipuolisuutta. Tällöin muutetaan tulokulmaa: rekrytoinnin yhteydessä hakija kuvaa tiivistetysti, miten hän itse näkee keskeiset ansionsa, paitsi akateemisissa perustehtävissä, myös laajemmin esimerkiksi yhteiskunnallisen vaikuttavuuden, johtamisen tai avoimen tieteen edistämisen näkökulmista. Kun tämä informaatio on tuotu esille ja tehty näkyväksi, voidaan sitä hyödyntää rekrytoinnissa henkilön osaamisesta saadun muun informaation ohella, kun se täytettävän tehtävän näkökulmasta on perusteltua. Tällaista arvioinnin työkalua on kehittänyt muun muassa YUFERING Horisontti 2020 -hanke, jossa Itä-Suomen yliopisto on vahvasti mukana.

Arviointien kehittämisessä on kyse monipuolistamisesta, ei siis siitä, että laadulliset arviot korvaisivat määrälliset, vaan ne voivat tarkoituksenmukaisesti täydentää toisiaan. Metriikan hyödyntämisen näkymät ja perusteet vaihtelevat vahvasti alakohtaisesti.

Kehittämistyötä monipuolistaa osaltaan se, että rekrytointipäätös tehdään lopulta toimivaltaisesti yliopistoissa, huomioiden kunkin tehtävän vaatimukset ja tavoitteet. Millaista osaamista halutaan, riippuu paitsi tehtävästä, myös yksikön strategiasta ja profiilista. Yleistä oikeaa vastausta ei ole. Toisin sanoen, millaisia vahvuuksia haetaan ja mihin suuntaan toimintaa halutaan viedä? Rahoittajien ja yhteiskunnan ohjausvaikutus on toki myös arviointiin vaikuttava realiteetti, mutta toimivalta on yliopistossa.

Tasapuolisuus tehtäväntäytössä voidaan turvata, kun ennen tehtävän täyttöä arvioidaan, millaista osaamista kyseisessä tehtävässä vaaditaan. Nämä kriteerit julkaistaan avoimesti etukäteen ja hakijat arvioidaan näitä kriteerejä vasten. Arviointi tehdään EU:n yleisten sääntöjen nojalla avoimesti, ansio/meriittipohjaisesti, hakijoiden ansiot läpinäkyvästi perustellen valintamuistiossa. Tämä on EU:n yleinen, niin sanottu OTM-periaate rekrytointiin: Open, Transparent and Merit -based recruitment.  Nämä periaatteet pitävät rekrytointiin liittyvät ratkaisut yliopistoissa, huomioiden tietyt yleiset henkilöstöpoliittiset periaatteet ja ulkoiset painetekijät.

Eurooppalainen konsortio aloittaa toimintansa asteittain loppuvuoden aikana. Valta ja vastuu kehittämisestä siirtyy tällöin konsortion osapuolille. EU tukee ja seuraa yhteistyötä, mutta ei ole puuttumassa sisällöllisiin kysymyksiin eikä yliopistojen autonomiaan. Yhteistyöllä voi olla myöhempiä heijastusvaikutuksia tutkimusrahoittajien kriteeristöihin. Tästäkin syystä yliopistojen ja tiedeyhteisöjen äänen tulisi kuulua vahvasti kehitystyössä.

Jouni Kekäle

Johtava erityisasiantuntija, Itä-Suomen yliopisto

YUFERING-Horisontti 2020 -hanke:
Johtava erityisasiantuntija Jouni Kekäle, p. 050 306 5370
Tutkijatohtori Maria Pietilä, p. 046 920 5684
Palvelupäällikkö Katri Rintamäki p. 050 455 2314
Johtaja Jaana Backman, EU -asiat, p. 050 555 4446