Tag Archives: arviointi

Tutkimukseen on voitava luottaa

Karoliininen Instituutti oli syyskuun alussa näkyvästi esillä ruotsalaisessa lehdistössä ja muussa mediassa professori, kirurgi Paolo Macchiarinin tieteelliseen vilppiin liittyneen selvitysraportin valmistumisen johdosta. Raportti käsittelee Macchiarinin keinotekoisen henkitorven kehittämiseen liittyneitä väärinkäytöksiä. Siinä kritisoidaan voimakkaasti yliopiston silloista johtoa lähtien Macchiarinin rekrytoinnista ja hänen toimintansa seurannan laiminlyönnistä. Menemättä tapauksen yksityiskohtiin selvitysraportti ei horjuta luottamusta ainoastaan yksittäiseen tutkijaan, vaan koko tutkimusjärjestelmään. Tapauksen merkittävyydestä kertoo, että välittömästi selvitysraportin julkistamisen jälkeen korkeakoulutuksesta ja tutkimuksesta vastaava ministeri Helene Hellmark Knutsson esitti Macchiarinin aikana Instituutin hallituksessa toimineiden jäsenten ja kansleri Harriet Wallbergin erottamista. Rehtorin tehtävästä Wallberg oli joutunut eroamaan jo aiemmin.

Macchiarinin kohdalla kysymys oli harkitusta tieteellisestä vilpistä, mutta tietoisen vilpin rinnalla julkaistaan tutkimustuloksia ja vielä hyvillä foorumeilla, jotka eivät täytä korkeatasoisen tutkimuksen kriteereitä. Professori Daniel Sarewitzin toukokuussa Nature-lehdessä julkaistun artikkelin mukaan julkaisemisen määrällinen paine on heijastunut tutkimukseen sen laatua heikentävästi eikä hän ole väitteineen yksin. Sarewitz käytti konkreettisena esimerkkinä rintasyöpätutkimusta, jossa sama virhe oli toistunut yli tuhannessa artikkelissa. Kovissa tieteissä vakiintuneita kvantitatiivisia indikaattoreita on otettu käyttöön myös ihmistieteiden tutkijoiden ansioituneisuuden arvioinnissa. Julkaisujen määrää painottavat palkitsemismallit ovat ohjaamassa tutkimusta perinteisillä monografiapainotteisilla aloilla artikkelimuotoiseen julkaisemiseen, mikä ei voi pidemmällä aikavälillä olla vaikuttamatta tieteenalojen luonteeseen. Lausahdus ”publish or perish” on tosiasia urallaan etenemään pyrkivälle tutkijalle ihmistieteissäkin.

Vähemmälle huomiolle julkaisemista koskevassa keskustelussa on jäänyt se, että kasvavat julkaisumäärät koettelevat yhtä lailla aikakauslehdissä arvioitsijoina toimivia kollegoita ja toimituskuntia. He ovat itse asiassa se taho, joka toimii julkaisemisen portinvartijana. Tämä ei kuitenkaan poista tutkijan vastuuta tuloksistaan. Sarewitz neuvookin tutkijoita panostamaan julkaisemissa laatuun määrästä tinkien.

Paljolti julkiseen rahoitukseen perustuvalle tutkimusjärjestelmälle, sen yleiselle hyväksyttävyydelle, mutta ennen kaikkea luottamukselle tieteeseen on ensiarvoisen tärkeää pitää kiinni tutkimuksen korkeasta laadusta. Tiedeyhteisöllä ei ole varaa epäluottamuksen kierteen vahvistumiseen tieteellistä tutkimusta kohtaan, kun samaan aikaan internet pursuaa ”luotettavaksi naamioitua” tietoa mitä erinäisemmin tarkoitusperin tuotettuna. Avoimen tieteen periaatteiden omaksuminen tutkimuksessa tarjoaa erinomaisen mahdollisuuden luottamuksen vahvistamiseen viemällä tieteen läpinäkyvyys ja vertailtavuus uudelle tasolle. Tähän on meillä oikeus niin tutkijoina kuin kansalaisina.

harri_siiskonenHarri Siiskonen
dekaani, yhteiskuntatieteiden ja kauppatieteiden tiedekunta

JUFO-luokitus tutkijan ja tutkimuksen arvioinnissa

Dekaanin roolissa tutustun vuosittain lukuisiin väitöskirjojen esitarkastus- ja vastaväittäjien lausuntoihin, sekä tehtävien täyttöjä käsitteleviin asiantuntijalausuntoihin. Professorin roolissa taas osallistun lausuntojen laadintaan muille yliopistoille. Viime vuosina perinteisen tutkimuksen sisältöön perustuvan laadun arvioinnin apuvälineeksi on hiipinyt JUFO-luokitus, johon lausunnoissa enenevässä määrin viitataan. Kysymys nousi esiin tutustuessani tiedekuntaneuvostomme seuraavan kokouksen asiakirjoihin.

Kovissa tieteissä JUFO-luokituksen ja julkaisun laadun välillä on varmaankin vahva yhteys ja näin on paljolti myös ihmistieteissä. Luonnontieteisiin nähden julkaisukanavien kirjo on kuitenkin ihmistieteissä huomattavasti laajempi ja korkealaatuisia tieteellisiä tuotoksia ilmestyy edelleen alhaisen JUFO-luokituksen omaavilla kanavilla. Asiantuntijan roolissa toimiessani joskus ihmetyttää, miksei tutkija ole tarjonnut erinomaista tutkimustaan jonkun korkean JUFO-luokituksen omaavalle kanavalle julkaistavaksi. Valinnan taustalla saattaa olla tutkijan näkemys eri julkaisukanavien vaikuttavuudesta juuri kyseisen tematiikan kohdalla. Peruslähtökohta tutkimuksen laadun arvioinnissa on, ettei julkaisukanava voi mitätöidä julkaisun tieteellisiä ansioita.

Merkille pantavaa viimeaikaisissa tutkijoiden arvioinneissa on ollut, että lausunnoissa viitataan enenevässä määrin JUFO-luokitukseen puntaroitaessa yksittäisen tutkijan tieteellisiä ansioita ja vertailtaessa tutkijoita keskenään. JUFO on saanut joissain lausunnoissa suhteettoman suuren roolin julkaisujen sisällön arviointiin nähden. Vaarana on, että JUFO-luokitus alkaa ohjata arviointia. Riski kasvaa erityisesti tehtävien täytöissä, joissa tehtäväala on määritelty laveaksi, hakijoita on paljon eikä asiantuntijalla voi olla syvällistä asiantuntemusta kaikkien hakijoiden tuotannosta. JUFO-luokituksen käyttäminen yksittäisen tutkijan arvioinnissa on vastoin Tieteellisten Seurain Valtuuskunnan (TSV) johdolla sovittuja yhteisiä periaatteita. JUFO-järjestelmä on yliopistojen rahoitusmallia varten rakennettu instrumentti, jolla pyritään oikeudenmukaisesti palkitsemaan yliopistoja julkaisutoiminnasta instituutiotasolla, ei arvioimaan yksittäisiä tutkijoita.

En ole ensimmäinen joka kiinnittää huomiota JUFO:n avoimeen käyttöön tutkijan arvioinnissa. Joissakin tiedekunnissa asiantuntijoita on jo ohjeistettu välttämään viittaamista JUFO-luokkiin lausunnoissaan. Asia olisi otettava esille UEFin tutkimuseettisessä toimikunnassa ja muistutettava tiedekuntia sovituista käytänteissä, ellei näin ole jo jossakin vaiheessa tehty. Riski niin JUFO:ssa kuin muissa arvioinnin ”teknisissä apuvälineissä” on—Turnit mukaan lukien, että häntä alkaa heiluttaa koiraa, ellemme ole tarkkaavaisia.

harri_siiskonenHarri Siiskonen
dekaani, yhteiskuntatieteiden ja kauppatieteiden tiedekunta