Bibliometriikkaseminaarin tuliaisia: Miten mitata tutkimuksen vaikuttavuutta ja tutkijan näkyvyyttä?

Pääsimme joulukuun puolessa välissä osallistumaan opetus- ja kulttuuriministeriön, Suomen yliopistokirjastojen neuvoston (SYN), Helsingin yliopiston kirjaston ja Tieteen tietotekniikan keskuksen (CSC) järjestämään bibliometriikkaseminaariin Helsinkiin. Tässä joitakin seminaarissa esille nousseita näkökulmia ja ajatuksia pohdittavaksi ja makusteltavaksi.

Altmetriikka mittaa näkyvyyttä sosiaalisessa mediassa

Bibliometriikasta (lyhyesti määriteltynä: tieteellisten lehtien/julkaisujen/tutkijan vaikuttavuuden kvantitatiivinen analysointi; esim. viittausmäärät, h-indeksi, impact factor) puhuttaessa yhä useammin käsitellään myös altmetriikkaa, jolla mitataan tutkimuksen saamaa huomiota sosiaalisessa mediassa. Altmetriikkasovellukset (esim. Altmetric.com, ImpactStory) ovat alkaneet haastaa perinteiset bibliometriset analyysit. Sosiaalisessa mediassa artikkeleille ja muulle tutkimustyölle pyritään saamaan näkyvyyttä laajemmin ja nopeammin. Tyypillisesti vanhemmille julkaisuille kertyy enemmän viittauksia, mutta sosiaalisessa mediassa tilanne on päinvastoin: etupäässä uudet julkaisut kiinnostavat ja saavat näkyvyyttä.

Sosiaalinen media on yksi väylä lisätä tieteen näkyvyyttä, mutta todellisuudessa altmetriikan keinoin määritettävän näkyvyyden tieteellisestä tai yhteiskunnallisesta vaikuttavuudesta ei suoranaisesti ole tietoa. Mikä merkitys latauksilla, jaoilla, tviittauksilla tai tykkäyksillä on? Ovatko eniten huomiota saaneet julkaisut aidosti merkittävimpien kärkikaartia?  Altmetric määrittää vuosittain top 100 -listan eniten keskustelua herättäneistä artikkeleista. Sinänsä listalla on paljon kiinnostavia julkaisuja. Vuoden 2016 listan 12. sijalla käsitellään Robin Williamsia ja sijalta 43 löytyy 5 000 vuotta vanha olutresepti. Ovatko nämä yhteiskunnallisesti erityisen merkittäviä? Mielenkiintoinen havainto on myös se, että mitä enemmän tutkija on keskittynyt tviittaamiseen, sitä vähemmän hän on julkaissut tieteellisissä lehdissä. Mistä tämä kertoo? Altmetriikkasovelluksista voi tarkistaa saamansa huomion historiaa, eli ketkä artikkelista ovat kiinnostuneita ja missä artikkeli on nostettu esiin. Tämä on se keskeinen tarina lukujen takana.

Miten lisätä tutkijan ja tutkimuksen näkyvyyttä?

Vaikka altmetriikkaa on osin syystäkin kritisoitu, tutkimuksen näkyvyyden lisääminen on silti tärkeää. Miten tähän saisi tehtyä korjausliikkeen? Tässä joitakin vinkkejä tutkijalle: 1) Mieti, kenet haluat tavoittaa? Mikä on kohdeyleisösi? Selvitä, missä kanavissa muut alasi tutkijat vaikuttavat. 2) Kirjoita tutkimuksestasi lyhyt, yleistajuinen tiivistelmä jaettavaksi. Saman voi tehdä vaikkapa videona. 3) Julkaise tutkimuksesi avoimesti joko julkaisemalla Open Access -lehdessä tai rinnakkaistallentamalla artikkeli avoimeen julkaisuarkistoon. 4) Avaa artikkelin lisäksi tutkimuksen dataa, postereita tai muuta tausta-aineistoa mahdollisuuksien mukaan. Netissä on lukuisia arkistoja ja palveluja tuotosten jakamiseen (esim. Zenodo, OpenDOAR). 5) Hyödynnä sosiaalista mediaa ja mainosta työtäsi somen eri kanavissa aktiivisesti. Saat ainakin keskustelua aikaan. 6) Voisitko alkaa kirjoittaa blogia tai ottaisitko yhteyttä oman tieteenalasi bloggaajaan, jolle suosittelisit blogipostausta tutkimuksestasi? 7) Hanki ORCID-tutkijatunniste, joka kokoaa tutkimusansiosi yhteen ja yksilöi sinut muista tutkijoista. 8) Varmista, että töilläsi on pysyvä tunniste (DOI, ArXiv ID, PubMed ID) ja käytä tunnistetta aina artikkelin yhteydessä. Näin työsi löydetään. 9) Kysy neuvoa ja vinkkejä näkyvyytesi boostaamiseen UEF:n kirjastosta tai viestinnästä.

Scival apuna tutkimuksen vaikuttavuuden analysoinnissa

Yksi tutkimuksen vaikuttavuuden analysointiin tarkoitetuista välineistä on meilläkin käytössä oleva SciVal. Olethan jo testannut? SciValia voi käyttää esim. tutkimusorganisaatioiden tai tutkijoiden vertailuun, tutkimusyhteistyökumppaneiden etsimiseen tai nousevien tutkimusalueiden tunnistamiseen. Ohjelma on vinkeä työkalu, mutta sokeasti siihenkään ei kannata luottaa. SciVal lukee Scopus-tietokantaa, joten Scopuksesta puuttuvat artikkelit jäävät uupumaan myös SciValista, mikä voi vääristää analyysin tuloksia. SciValia markkinoidaan usein analyysityövälineeksi esim. rahoitushakemuksiin, mutta tällöin voi kysyä, onko tutkijan itse tekemä analyysi puolueeton.

Lopuksi lohdutuksen sana rahoitushakemusten kanssa kamppaileville. Muun muassa Suomen Akatemia on ennen kaikkea kiinnostunut toimivasta tutkimusideasta ja -suunnitelmasta. Tämän lisäksi tutkijan ansioiksi luetaan CV ja julkaisuluettelo, bibliometriset tunnusluvut viittausmäärineen ja h-indekseineen eivät ole ratkaisevassa asemassa. Biblio- ja altmetriikka tarjoavat lisätyökaluja kokonaiskuvan arviointiin, mutta laadullista tutkimuksen vaikuttavuuden analyysiä ne eivät korvaa.

Bibliometriikkaseminaarin materiaalit (Helsinki, 16.12.2016)

Tietoasiantuntijat Kaisa Hartikainen ja Jussi Hyvärinen / UEF:n kirjasto

Lisää näkyvyyttä tutkijoille ja tutkimukselle / More research and researcher visibility

Altmetriikkatyökaluja ja -palveluita tutkijoille ja organisaatioille / Altmetrics tools and services for researchers and institutions

(To read in English, please, scroll down.)

Altmetriikan avulla pyritään löytämään julkaisujen digitaalisia jälkiä muualta verkosta kuin tiedeyhteisön perinteisistä viittauksista ja niihin liittyvästä metriikasta. Halutaan tietää, missä ja kuka jakaa ja kommentoi julkaisuja sekä jäljittää tutkimuksen yhteiskunnallista vaikuttavuutta. Välineinä käytetään julkaisujen käyttö-/latausmääriä, näkyvyyttä sosiaalisessa mediassa sekä jakamisia, suosituksia ja tallennuksia eri palveluissa.  Tutkijoiden omia keinoja parantaa julkaisujensa löytyvyyttä ja näkyvyyttä ovat esimerkiksi ORCID-tutkijatunnisteen käyttö ja avoin julkaiseminen. Tässä esitellään muutama altmetriikkaväline.

Altmetric

  • Kuka puhuu/kirjoittaa tutkimuksestasi verkossa? Sitä on Lontoossa majaansa pitävä Altmetric seurannut vuodesta 2012 hyödyntäen kolmea asiaa eli tuotosta (artikkeli, kirja, esitys, raportti jne.), tunnistetta (esim. arXiv ID, DOI, PubMedID, URN) ja mainintaa jossakin seuratuista lähteistä..
  • Altmetric-donitsi näyttää, missä palveluissa tutkimus on saanut huomiota ja miten paljon. Dataa kerätään monenlaisista dokumenteista ja palveluista kuten mediasta, blogeista ja yhteisöpalveluista.
  • Altmetric-donitsiin voi törmätä kustantajien artikkelisivuilla, organisaatioiden julkaisutietokannoissa ja myös yksittäisten tutkijoiden sivuilla. Donitsia voi klikata nähdäkseen yksityiskohtaisempia tietoja maininnoista ja viittauksista, jotka ovat vaikuttaneet huomioarvoon.
  • Maksullisia Altmetric-tuotteita ovat Explorer for Publishers, Explorer for Institutions, Explorer for Funders, Altmetric Badges ja Altmetric API.
  • Maksutta voi käyttää
    • Altmetric Bookmarkletia: 1) Lisää sovelluskirjamerkki (bookmarklet) selaimesi työkaluriville. 2) Khttps://erepo.uef.fi/atso julkaisua verkossa.  3) Klikkaa nähdäksesi artikkelitason metriikka.
    • Julkaisuarkistomerkkejä. Tähän julkaisuarkiston ylläpitäjä tarvitsee vain lyhyen pätkän koodia. Käytössä myös UEF eRepositoryssa.
    • Yksittäisen tutkijan omia merkkejä, joita tutkija voi lisätä omalle verkkosivulleen tai CV:een.
    • Myös API for Researchia voi käyttää vapaasti tietyillä tasoilla

ImpactStory

  • ImpactStory on avoimen lähdekoodin altmetriikkatyökalu, jolla tutkija voi mitata ja jakaa julkaisujensa, blogikirjoitustensa, tiedostojensa ja ohjelmistojensa vaikutuksia. Tarjotun metriikan avulla tutkija voi nähdä, kuinka monta kertaa heidän työnsä on ladattu tai jaettu, ja rahoittaja voi selvittää panostuksensa vaikutuksia muillakin keinoilla kuin perinteisellä bibliometriikalla. ImpactStory on voittoa tuottamaton säätiörahoitteinen organisaatio.
  • ImpactStorylla on kytkös ORCID-tutkijatunnisteeseen ja se näyttää julkaisuille mm. Mendeley-tallennukset ja twiitit, kertoo niiden OA-tilanteen, kertoo miten monessa maassa niitä on luettu ja jaettu, kertoo mikä niistä on suosituin yms. Palvelun näkyvyyskategoriat ovat pörinä (buzz), sitoutuminen (engagement), avoimuus (openness) ja huvi (fun).
  • Rekisteröityminen on ilmaista ja melko yksinkertaista, mutta ORCID-tunnus ja Twitter-tili kannattaa olla jo valmiina. (Sen jälkeen voi twiitata vaikka näin: Check out the online impact of my research on @Impactstory: https://twitter.com/TuuleviUEFlib/status/786548391404646400. )

Kudos

  • Kudos on verkkopohjainen palvelu, jolla voi pyrkiä maksimoimaan julkaistujen artikkeleiden näkyvyyttä ja vaikuttavuutta. Kudos-palvelussa voi muokata ja lisätä informaatiota julkaisuihin, jotta ne löytyisivät paremmin, että niitä voisi jakaa helpommin ja että näiden toimien vaikutusten mittaaminen ja seuraaminen olisi mahdollista.
  • Palvelu on tarkoitettu tutkijoille, jotka haluavat lisätä julkaisujensa käyttö- ja viittauslukuja sekä instituutioille ja rahoittajille, jotka haluavat lisätä rahoittamansa tutkimuksen vaikutusta sekä kustantajille, jotka haluavat kehittää tiiviimpää yhteistyötä tutkijoiden kanssa ja lisätä julkaisujen saavutettavuutta. Kudos ei toimi itsestään tai automaattisesti, vaan vaatii tutkijalta tai muulta toimijalta käsityötä erilaisen metatiedon lisäämiseksi julkaisujen tietoihin.

PlumX

  • PlumX on altmetriikkavälineistö, jota UEF:lla ei ainakaan toistaiseksi ole käytössä. Sen sijaan UEF:lla käytössä tutkimuksen arvioinnin tietokanta SciVal, jossa vaikuttavuutta mitataan perinteisen metriikan eli viittausten avulla lähteenään SCOPUS-tietokannan tiedot. PlumX tarjoaa ajantasaista metriikkaa tutkimuksen vaikuttavuuden arviointiin.
  • Mittareina käytetään perinteisiä menetelmiä, kuten artikkeleiden latauksia ja viittausmääriä, mutta myös uudempia mittareita, kuten julkaisujen lisäämisiä suosikeiksi tai kirjanmerkeiksi sekä blogeissa tai muualla sosiaalisessa mediassa saatuja viittauksia. PlumX:n eri työkalujen avulla on mahdollista seurata organisaation julkaisujen saamaa näkyvyyttä ja yhteiskunnallista vaikuttavuutta. Tätä voidaan tehdä yliopisto-, tiedekunta- ja tutkijatasolla.
  • Suomalaisista yliopistoista PlumX on käytössä ainakin Helsingin yliopistossa ja Tampereen teknillisessä yliopistossa.
  • Kansainvälisesti on huomattu, että esimerkiksi lääke- ja terveystieteet menestyvät altmetriikassa paremmin kuin vaikkapa humanistiset tieteet. Tämän vuoksi eri tieteenalojen vertailu keskenään ei ole suositeltavaa. Menetelmät perustuvat aina käytettävissä olevaan dataan, joka viedään PlumX:ään valituista tietolähteistä (kansainväliset viitetietokannat, julkaisurekisterit). Ohjelmaa hyödyntävät myös tutkimuksen rahoittajat.

Altmetrics aims to find the digital traces of publications from elsewhere at the Internet than the traditional references and bibliometrics. There is a need to know where and by whom the publications are shared and commented, as well as trace the impact of the research. For example, the tools calculate  visibility in different social media, downloads and views, bookmarkingat, sharings and endorsements in different services. Researchers can boost the accessibility and visibility of their publications e.g. by creating a researcher ID (ORCID) and by open access publishing. Four tools are introduced here.

Altmetric

  • Thousands of conversations about scholarly content happen online every day. Altmetric tracks a range of sources to capture and collate this activity, helping you to monitor and report on the attention surrounding the work you care about.
  • The Altmetric donut visualizes in which services your research has been noted and noticed and how much. Data is collected from different documents and services from policy documents to Pinterest and from news services to Twitter.
  • Explorer for Publishers, Explorer for Institutions, Explorer for Funders, Altmetric Badges, and Altmetric API are chargeable products but there also free tools.
  • The Altmetric bookmarklet enables you to instantly see Altmetric data for any published research output with a DOI. It’s quick, free and easy to install in just 3 simple steps.
  • Institutional Repository badges are free embeddable badges for repositories within academic institutions. They can be installed with just a few lines of code, and you can choose the style of badge you’d like to display. Used in UEF eRepository.

ImpactStory

  • ImpactStory is an open source altmetrics tool that researchers can use to measure and share the impact of their publications, blog posts, datasets, and software. The metrics can be used by researchers to see how many times their work has been downloaded or shared, and by funders to know more than only the information from the traditional journal citation metrics about the impact of the research the fund. ImpactStory is a nonprofit organization funded by two foundations.
  • ImpactStory connects to  ORCID and it shows for example Mendeley saves and Tweets of your publications, reveals the open access status of them and in which countries they have been read and shared, and which one is the most popular. The categories of visibility are buzz, engagement, openness and fun.
  • The registration process is free and pretty straightforward but it is advisable to have your ORCID ID and Twitter handle at hand. (After that, you can tweet like this: Check out the online impact of my research on @Impactstory: https://twitter.com/TuuleviUEFlib/status/786548391404646400.)

Kudos

  • Kudos asks researchers to open up their research so new audiences can find and understand it. With Kudos it is possible to track the most effective networks for getting your work read, discussed and cited. It is a tool for improving the metrics by which you are evaluated. Kudos is a web-based service that helps researchers and their institutions and funders to maximize the visibility and impact of their published articles. Kudos provides a platform for assembling and creating information to help search filtering, for sharing information to drive discovery, and for measuring and monitoring the effect of these activities.
  • Kudos is for researchers who want assistance with increasing usage of and citations to their publications. Kudos is also for institutions and funders looking to increase the impact of the research that they fund, and for publishers wanting to develop closer relationships with their author communities and increase publication performance.

PlumX

  • PlumX is an altmetric tool, which for the time being is not in use at UEF. Instead, UEF has a comparable database, SciVal, available. PlumX offers up-to-date metrics to measure the visibility and social impact of publications at the university, faculty or researcher level.
  • These indicators include more traditional methods, such as counts of downloads and citations, but also novel methods, such as the number of publication likes and shares as well as bookmarking and favouring artifacts e.g. in blog posts and other social media, are used.
  • In Finland, at least Helsinki University and Tampere University of Technology are using PlumX.
  • Internationally, it has been noticed that e.g. medicine and health sciences perform better in altmetrics than social sciences. Therefore, different fields of research should not be compared. Methods of PlumX are always based on available data imported to PlumX from the selected sources (international databases, publication registers). PlumX is utilized also by different funders.

 

tietoasiantuntijat / information specialists
Kaisa Hartikainen & Tuulevi Ovaska
Kuopion kampuskirjasto & KYSin tieteellinen kirjasto

Future starts today – IATUL konferenssi Espoossa

Espoon Otaniemessä oli kesäkuun alussa kansainvälinen kirjastoalan konferenssi: ”35th IATUL conference”. Sen järjesti IATUL (International Association of Scientific and Technological University Libraries) , joka tarjoaa kansainvälisen foorumin ideoiden vaihtoon teknisten alojen yliopistokirjastoille. Tällä kertaa ideoita vaihdettiin vilkkaasti, sillä osallistujia oli lähes 200 melkein kolmestakymmenestä eri maasta. Konferenssin sosiaalinen ohjelma mahdollisti kollegoihin tutustumisen rennossa ilmapiirissä. Konferenssin mottona oli ”Measures for Success: Library Resources and Effectiveness under Scrutiny”.

Kuva

Kiinnostavia ja ajankohtaisia esityksiä oli runsaasti mm. seuraavista aiheista: “Open Access and Repositories”, “Service Design”, “Library Space”, “Acquisition”, “Digital Library Space”, “Altmetrics”, “Information Literacy”, “Performance”, “Bibliometrics” ja “Library Services and Systems”.

Kuva

Tässä reppuuni tarttuneita ajatuksia konferenssista. Ensinnäkin tietotekniikasta, joka on lähes kaiken työmme taustalla: saimme taas kerran muistutuksen pitää varmuuskopiot ajan tasalla tietoturvaan liittyvien uhkien varalle. Hakukoneilla hakiessamme on hyvä ymmärtää, että jättämämme ”hakujälki” kertoo meistä itsestämme. Hakuja tehdessämme olemme rehellisiä, haemme sitä, mikä meitä oikeasti kiinnostaa. ”Open access”- teemaan liittyvissä luennoissa mieleeni heräsi kysymys, moniko esim. UEFin tutkijoiden artikkeleista on julkaistu ”open acess”-periaatteella? Altmetriikasta nousi esiin esim. miten altmetriikka vaikuttaa julkaisujen arvostukseen, kun se on tullut perinteisten siteerausten rinnalle? Eräs esitelmöitsijä puhui kuinka joillakin julkaisuilla voi olla esim. ”high altmetric score, but low citation count” ja toisin päin, joillakin voi olla ” low altmetric score, but high citation count”. Molempia voidaan käyttää julkaisujen laadun arvioinnissa. Mitä sitten on altmetriikka? Siihen löytyy tietoa esim. altmetric.com–sivulta. Altmetriikka mittaa esim. kuinka paljon artikkeliin on viitattu sosiaalisessa mediassa (”Social consumption”-) esim. twitterissä, facebookissa, blogeissa jne. Perinteisten lehtien arvioinnissa käytettyjen Impact Factoreiden rinnalle on kehitetty myös ”Author Impact Factor”, jolla voidaan arvioida tutkijoita: ”how hot she or he is?” Myös ”Open Accessin” vaikutuksesta siteerausten nopeutumiseen on arvioitu (”self-archived articles”) yliopistojen omien julkaisuarkistojen käytön yhteydessä.

Kuva

”Tulevaisuus alkaa tänään”, kuten eräs esitelmöitsijä totesi ja kirjastojen täytyy tuntea asiakkaansa ja toimintaympäristönsä nyt ja tulevaisuudessa. Maailma muuttuu ja myös kirjastotyö muuttuu. Tarvitsemme työssämme yhä enemmän uusia tietoja ja taitoja.

Konferenssin järjestelyt olivat erinomaiset ja niistä kiitos järjestäjille!

Anu Eskelinen, tietoasiantuntija