Bibliometriikkaseminaarin tuliaisia: Miten mitata tutkimuksen vaikuttavuutta ja tutkijan näkyvyyttä?

Pääsimme joulukuun puolessa välissä osallistumaan opetus- ja kulttuuriministeriön, Suomen yliopistokirjastojen neuvoston (SYN), Helsingin yliopiston kirjaston ja Tieteen tietotekniikan keskuksen (CSC) järjestämään bibliometriikkaseminaariin Helsinkiin. Tässä joitakin seminaarissa esille nousseita näkökulmia ja ajatuksia pohdittavaksi ja makusteltavaksi.

Altmetriikka mittaa näkyvyyttä sosiaalisessa mediassa

Bibliometriikasta (lyhyesti määriteltynä: tieteellisten lehtien/julkaisujen/tutkijan vaikuttavuuden kvantitatiivinen analysointi; esim. viittausmäärät, h-indeksi, impact factor) puhuttaessa yhä useammin käsitellään myös altmetriikkaa, jolla mitataan tutkimuksen saamaa huomiota sosiaalisessa mediassa. Altmetriikkasovellukset (esim. Altmetric.com, ImpactStory) ovat alkaneet haastaa perinteiset bibliometriset analyysit. Sosiaalisessa mediassa artikkeleille ja muulle tutkimustyölle pyritään saamaan näkyvyyttä laajemmin ja nopeammin. Tyypillisesti vanhemmille julkaisuille kertyy enemmän viittauksia, mutta sosiaalisessa mediassa tilanne on päinvastoin: etupäässä uudet julkaisut kiinnostavat ja saavat näkyvyyttä.

Sosiaalinen media on yksi väylä lisätä tieteen näkyvyyttä, mutta todellisuudessa altmetriikan keinoin määritettävän näkyvyyden tieteellisestä tai yhteiskunnallisesta vaikuttavuudesta ei suoranaisesti ole tietoa. Mikä merkitys latauksilla, jaoilla, tviittauksilla tai tykkäyksillä on? Ovatko eniten huomiota saaneet julkaisut aidosti merkittävimpien kärkikaartia?  Altmetric määrittää vuosittain top 100 -listan eniten keskustelua herättäneistä artikkeleista. Sinänsä listalla on paljon kiinnostavia julkaisuja. Vuoden 2016 listan 12. sijalla käsitellään Robin Williamsia ja sijalta 43 löytyy 5 000 vuotta vanha olutresepti. Ovatko nämä yhteiskunnallisesti erityisen merkittäviä? Mielenkiintoinen havainto on myös se, että mitä enemmän tutkija on keskittynyt tviittaamiseen, sitä vähemmän hän on julkaissut tieteellisissä lehdissä. Mistä tämä kertoo? Altmetriikkasovelluksista voi tarkistaa saamansa huomion historiaa, eli ketkä artikkelista ovat kiinnostuneita ja missä artikkeli on nostettu esiin. Tämä on se keskeinen tarina lukujen takana.

Miten lisätä tutkijan ja tutkimuksen näkyvyyttä?

Vaikka altmetriikkaa on osin syystäkin kritisoitu, tutkimuksen näkyvyyden lisääminen on silti tärkeää. Miten tähän saisi tehtyä korjausliikkeen? Tässä joitakin vinkkejä tutkijalle: 1) Mieti, kenet haluat tavoittaa? Mikä on kohdeyleisösi? Selvitä, missä kanavissa muut alasi tutkijat vaikuttavat. 2) Kirjoita tutkimuksestasi lyhyt, yleistajuinen tiivistelmä jaettavaksi. Saman voi tehdä vaikkapa videona. 3) Julkaise tutkimuksesi avoimesti joko julkaisemalla Open Access -lehdessä tai rinnakkaistallentamalla artikkeli avoimeen julkaisuarkistoon. 4) Avaa artikkelin lisäksi tutkimuksen dataa, postereita tai muuta tausta-aineistoa mahdollisuuksien mukaan. Netissä on lukuisia arkistoja ja palveluja tuotosten jakamiseen (esim. Zenodo, OpenDOAR). 5) Hyödynnä sosiaalista mediaa ja mainosta työtäsi somen eri kanavissa aktiivisesti. Saat ainakin keskustelua aikaan. 6) Voisitko alkaa kirjoittaa blogia tai ottaisitko yhteyttä oman tieteenalasi bloggaajaan, jolle suosittelisit blogipostausta tutkimuksestasi? 7) Hanki ORCID-tutkijatunniste, joka kokoaa tutkimusansiosi yhteen ja yksilöi sinut muista tutkijoista. 8) Varmista, että töilläsi on pysyvä tunniste (DOI, ArXiv ID, PubMed ID) ja käytä tunnistetta aina artikkelin yhteydessä. Näin työsi löydetään. 9) Kysy neuvoa ja vinkkejä näkyvyytesi boostaamiseen UEF:n kirjastosta tai viestinnästä.

Scival apuna tutkimuksen vaikuttavuuden analysoinnissa

Yksi tutkimuksen vaikuttavuuden analysointiin tarkoitetuista välineistä on meilläkin käytössä oleva SciVal. Olethan jo testannut? SciValia voi käyttää esim. tutkimusorganisaatioiden tai tutkijoiden vertailuun, tutkimusyhteistyökumppaneiden etsimiseen tai nousevien tutkimusalueiden tunnistamiseen. Ohjelma on vinkeä työkalu, mutta sokeasti siihenkään ei kannata luottaa. SciVal lukee Scopus-tietokantaa, joten Scopuksesta puuttuvat artikkelit jäävät uupumaan myös SciValista, mikä voi vääristää analyysin tuloksia. SciValia markkinoidaan usein analyysityövälineeksi esim. rahoitushakemuksiin, mutta tällöin voi kysyä, onko tutkijan itse tekemä analyysi puolueeton.

Lopuksi lohdutuksen sana rahoitushakemusten kanssa kamppaileville. Muun muassa Suomen Akatemia on ennen kaikkea kiinnostunut toimivasta tutkimusideasta ja -suunnitelmasta. Tämän lisäksi tutkijan ansioiksi luetaan CV ja julkaisuluettelo, bibliometriset tunnusluvut viittausmäärineen ja h-indekseineen eivät ole ratkaisevassa asemassa. Biblio- ja altmetriikka tarjoavat lisätyökaluja kokonaiskuvan arviointiin, mutta laadullista tutkimuksen vaikuttavuuden analyysiä ne eivät korvaa.

Bibliometriikkaseminaarin materiaalit (Helsinki, 16.12.2016)

Tietoasiantuntijat Kaisa Hartikainen ja Jussi Hyvärinen / UEF:n kirjasto

Kesäluokkaretki Jyväskylään

Jkl_kättely
Tervetuloa! Tietopalvelupäällikkö Mirja Laitinen ja informaatikko Irene Ylönen kättelevät Helena Silvennoinen-Kuikan ja Tomi Rostin. Kuva: Tapani Toivanen

”Miksei me koskaan käydä missään?”, oli tietoasiantuntijamme puuskahtanut esinaiselleen. Tästä kehkeytyi ajatus lähteä benchmarkkaamaan Jyväskylän yliopiston kirjaston tutkijapalveluita. Onhan kirjastomme tämän vuoden painopiste tutkijapalvelut eli tutkijoille ja tohtorikoulutettaville tarjottavien palveluiden kehittäminen. Muitakin yhteisiä intressejä meillä on, OKM antoi vastikään hankerahaa Itä-Suomen ja Jyväskylän yliopistojen kirjastojen yhteiselle avoimen rinnakkaistallentamisen kehittämishankkeelle.

Yhdeksänhenkinen luokkaretkueemme Joensuun ja Kuopion kampuksilta toivotettiin tervetulleeksi Seminaarinmäelle. Vilkas keskustelu alkoi jo esittelykierroksen aikana. Jyväskylän yliopiston kirjaston koulutustarjontaa esitteli koulutussuunnittelija Eeva Koponen. Tiedonhaun ja -hallinnan opetus on nykyään korkeakoulukirjastojen perustoiminto, mutta virkistävää on kuulla, miten samat asiat voi tehdä toisinkin. Omassa yliopistossamme olemme hyvissä asemissa: meidät on tunnustettu opetusta antavaksi yksiköksi. Suurin osa opetuksestamme sisältyy tiedekuntien opetussuunnitelmiin.

Eeva Koponen esittelemässä kirjaston koulutustarjontaa. Kuva: Tapani Toivanen
Eeva Koponen esittelemässä kirjaston koulutustarjontaa. Kuva: Tapani Toivanen

Palvelupaletti uusiksi – osaaminen uusiksi

Jyväskylän yliopiston kirjaston tutkijapalveluita koordinoi informaatikko Marja Kokko. Hänen esittelemänsä asiat ovat sinänsä tuttuja. Tarvitaan syventämistä ja syventymistä, jotta osaaminen kasvaisi ja selkiytyisi niin henkilökohtaisella kuin tarjottavien palveluiden tasolla. Mutta pitääkö kaikkien tietää kaikki, vai jotain kaikesta? Erikoistutaanko? Mennäänkö tieteenalakohtainen vastuu vai generalistinen tietoasiantuntijuus edellä?

Rinnakkaistallentamisprojektin alkuaskelia esitteli julkaisupäällikkö Pekka Olsbo. Nopeasti on huomattu, kuinka läheisesti tieteellinen julkaiseminen linkittyy tietopalveluihin, julkaisujen arviointiin, tiedonhankintaan ja -hallintaan. Kun kirjastot ovat nämä kontolleen ottaneet, muovaavat ne myös kirjasto-organisaatioita.

Yliopistojen toimintatavat ja trendit muovaavat myös kirjaston työskentelytapoja. Tietoammattilaisen työnkuva ei ole selkeä ja rajattu, kuten ehkä joskus on ollut. Työ monipuolistuu, pirstaloituu, nopeutuu.

Kirjastolaisen perustyötä on tietoaineistojen tiedonhankinta ja –hallinta, aineiston hankinta ja käyttöön saattaminen, painettu/elektroninen… Näistäkin on puhuttu jo pitkään: open access, avoin tiede, tutkimusetiikka, tekijänoikeudet. Tieteellinen julkaiseminen, julkaisujen arviointi, niiden vaikuttavuuden arviointi, tutkijan näkyvyys, bibliometriikka, altmetriikka, tutkimusdatan tallentaminen ja käyttö – tuttua asiaa sinänsä, mutta paljon on opiskeltavaa. Painopiste on siirtymässä julkaisemisen ja tieteen avoimuuden kysymyksiin. Tietoasiantuntija mieluummin ennakoi kuin seuraa trendejä. Tarvitaan uudistuneita palveluita ja toimintoja vastaamaan uusiin tarpeisiin.

Jyväskyläläisten ratkaisut antoivat hyvää pohjaa miettiä, kuinka edetä omien tutkijapalveluiden muotoilemisessa. Tällä hetkellä ne konkretisoituvat mm. tohtorikouluun sisältyvissä tiedonhaun sekä julkaisutoiminnan ja tutkimuksen arvioinnin kursseissa. Oppiaineille tarjotaan palveluita julkaisemiseen, tutkimusdatan hallintaan ja bibliometriseen analyysiin. Kirjaston tutkimuksen tuen verkkosivuille on kerätty ohjeita ja linkkejä, jotka tarjoavat paitsi tietoa, myös maistiaisia aiheen monimuotoisuudesta ja monimutkaisuudesta.

Yhdessä olemme enemmän kuin toistemme summa

Luokkaretkeläiset. Kuva: Tapani Toivanen
Luokkaretkeläiset kirjaston kulmilla. Kuva: Tapani Toivanen

Verkkosivujen kautta voimme helposti vertailla ja tutkia toistemme palveluita, ja yhteydenotto on helppoa. Mutta kun tapaamme kasvokkain keskustellen, saamme huiman paljon ajatuksia, ideoita ja virkistynyttä mieltä. Yhtä mieltä olimme siitä, että verkostoituminen on yksi tärkeimpiä työkalujamme. Siinä kehitetään oman kirjaston ja koko kirjastoverkon työtä, tavoitteita ja osaamista. Siinä vastataan tutkimuksen, opetuksen ja opiskelun tarpeisiin. Nykyisin työnkuvaltaan lähin työtoveri saattaa löytyä toisesta yliopistokirjastosta.Kiitämme lämpimästi Jyväskylän yliopiston kirjaston kollegoita antoisasta kohtaamisesta! Pidämme mielessä suunnitelmat lähteä yhdessä alan konferensseihin. Jyväskylän kesä riehaannutti meidät paluuretkeläiset vielä nauttimaan toistemme iloisesta seurasta ja tiivistämään keskinäistä verkostoamme.

Marja Aho

Tietoasiantuntija/Opetus- ja tietopalvelut

Bibliometriikan aakkoset yliopistomaailmassa

Lyhyesti sanottuna bibliometriikka tarkoittaa julkaisutoiminnan tilastollista analyysiä. Monen ensireaktio bibliometriikkaan on ”tylsää”, mutta kun asiaan vähänkin paneutuu, aihe on ajankohtaisuudessaan keskustelua herättävä, suorastaan hektinen. Tämä kävi hyvin ilmi myös Opetus- ja kulttuuriministeriön (OKM), Suomen yliopistokirjastojen neuvoston (SYN) ja CSC -Tieteen tietotekniikan keskuksen 7.10.2014 järjestetyssä Bibliometriikka ja tutkimuksen arviointi – seminaarissa.

Yliopistomaailmassa tutkimuksen määrää ja laatua mitataan etenkin tutkijoiden tuottamilla tutkimusjulkaisuilla ja tässä kohtaa bibliometriikka tulee kuvioon mukaan. OKM kerää vuosittain tiedot yliopistojen julkaisuista ja saatuja tietoja käytetään paitsi yliopistotutkimuksen rakenteen ja kehityksen seurannassa, myös yliopistojen perusrahoituksen jakokriteerinä. Tätä taustaa vasten julkaisutoiminnan mittaamisen merkitys korostuu ymmärrettävästi.

Mistä bibliometriikassa on kyse? Mitä bibliometriset luvut ovat käytännössä? Tunnetuimmat indikaattorit ovat esimerkiksi viittausanalyyseissä saadut luvut, joista selviää, kuinka paljon tutkijan artikkeleihin on viitattu muissa artikkeleissa. H-indeksillä mitataan yksittäisen tutkijan julkaisutehokkuutta ja julkaisujen merkittävyyttä. Impact factor-luku määrittää tieteellisen lehden arvon kuvaamalla artikkelin saamat siteeraukset keskimäärin yhden vuoden aikana. Jufo-luokitus taas on ns. kansallinen impact factor, kaikki tieteenalat kattava tasoluokitus erityyppisille julkaisukanaville (tieteellisille lehdille, sarjoille, konferensseille ja kirjakustantajille).

Bibliometriset luvut toimivat vaikuttavuus- ja tuottavuusmittareina. Tutkimusta voidaan arvottaa paitsi yliopistoittain, myös tieteenaloittain tutkijan ja organisaation tasolla. Pohja-aineistona toimivaa massiivista raakadataa hankitaan kansainvälisiltä kustantajilta (mm. Thomson Reuters ja Elsevier), kotimaisella kentällä raakadataa Suomen korkeakoulujen julkaisutiedoista tuottaa CSC. Usein myös laskenta- ja analysointipalvelut ostetaan ulkopuoliselta palveluntuottajalta. Eurooppalaisista yliopistoista Leidenin yliopisto on erikoistunut tämän tyyppisen vertailutiedon tuottamisessa. Erinäiset taulukot ja kuviot kertovat näennäisen helposti tieteen laadusta, tieteidenvälisyydestä, fokusoitumisesta ja kansainvälisestä verkostoitumisesta. 

Kuten seminaarissa tuli esiin, alan asiantuntijat tietävät kyllä, ettei lukuja voi tulkita mekaanisesti eivätkä ne ole millään lailla yksiselitteisiä. Bibliometrisiin menetelmiin, kuten viittausanalyysiin liittyy paljon myös kritiikkiä ja ongelmia, ja esimerkiksi yhteiskuntatieteilijöiden ja humanistien kannalta viittausanalyysit Web of Science- ja Scopus-tietokannoista ovat rajallisia. Bibliometriikka vaatii paitsi osaamista, myös harkintaa ja varovaisuutta, sillä ylitulkinnan vaara on ilmeinen.

Pia Vuolanto Tampereen yliopistosta kertoi, miten bibliometriikkaa on käytetty kuuden suomalaisen yliopiston tutkimusarvioinneissa. Lopputulema oli se, että tutkimuksen arvioinnin käytännöt vaihtelevat yliopistoittain ja vaikka bibliometriikka on monipuolista, niin laskenta on toteutettu eri tavalla eivätkä tulokset ole vertailtavissa.

Samaa kertoi myös Päivi Kytömäen esittelemä Suomen yliopistokirjastojen neuvoston tutkimuksen tuen verkoston kysely, jossa kartoitettiin bibliometrisiä toimeksiantoja 1,5 vuoden ajalta yliopistokirjastoissa. Tilastointi ei ole vielä kaikissa kirjastoissa yhdenmukaista tai kattavaa. Mielenkiintoista kuultavaa oli, miten erilaisiin tarkoituksiin analyyseja käytetään: yliopiston tai tiedekunnan sisäiseen rahanjakoon, rekrytointiin, yksiköitten vertailuun jne.

Bibliometriikan sovelluksista kertoo myös Suomen Akatemian Tieteen tila – hanke, jossa tarkastellaan Suomen yliopistojen ja tutkimuslaitosten tutkimustoiminnan edellytyksiä ja tuloksia organisaatioittain ja tieteenaloittain. Turun yliopiston koulutussosiologian tutkimuskeskuksen (RUSE) analysoinnit sekä VTT:n tarkastelut tuovat myös mielenkiintoisen lisän keskusteluun. Voit klikata näihin ja päivän muihin esityksiin itsesi tästä: esitysmateriaalit.

Seminaarissa esiintyneessä keskustelussa oltiin yksimielisiä siitä, että tarvitaan kansallista yhteistyötä laskenta- ja tiedonantamiskäytäntöjen (tilastointi) yhtenäistämiseksi. Kauhukuvana, tosin tuskin todennäköisenä on, että indikaattorit alkavat ohjata tiedemaailmaa ja julkaisupolitiikkaa niin, että tutkimusyhteistyö vinoutuu paitsi eri tieteissä ja tieteiden kesken, myös yliopiston sisällä, kansallisesti ja kansainvälisestikin.

 

Tomi Rosti ja Kirsi Salmi, tietoasiantuntijat, Itä-Suomen yliopiston kirjasto