6:AM ei alkanut aamukuudelta – kuudes Altmetrics-konferenssi | 6:AM did not start at six in the morning – the 6th Altmetrics Conference

(Please, scroll down to read in English.)

Altmetriikka

Altmetriikka (altmetrics) tulee sanoista alternative ja metrics. Bibliometriikan eräänlaisena täydentäjänä myös altmetriikka liittyy tieteen ja tieteellisen julkaisemisen näkyvyyden mittaamiseen. Altmetriikka mittaa nimenomaan verkkojulkaisemista, esimerkiksi tutkimuksen näkyvyyttä verkossa klikkausten, latausten, blogikirjoitusten, kirjanmerkkien, tykkäysten ja twiittien määrinä. Se ei kuitenkaan ole vaikuttavuusmittari, vaan osa tieteellisen informaation suodattamista. Oikeastaan se ei edes ole vaihtoehtoista metriikkaa, vaan lisäke, jota tarvitaan verkkojulkaisemisen ja datan uudenlaisen saatavuuden aikana.

6:AM

Osallistuin lokakuun toisella viikolla kuudenteen Altmetrics-konferenssiin, joka pidettiin tällä kertaa Stirlingin yliopistossa Skotlannissa. 6:AM-konferenssi oli kaksipäiväinen 9.-10.10. ja osallistuin pelkästään siihen, mutta konferenssia edelsi yksipäiväinen ”epäkonfrenssi” (do-a-thon) ja seurasi työpajapäivä (workshop). Myös konferenssissa oli epäkonferenssimaisuutta. Emme istuneet riveissä, vaan pyöreissä kahdeksan ihmisen pöydissä, joissa keskustelu ja tutustuminen käy(nee) muita muotoja helpommin.

Ensimmäisenä päivänä löysinkin itseni Euan Adien (Overton.io) vierestä. Hän on Altmetricin perustajia, jonka artikkelia “The Rise of Altmetrics” (teoksessa: Altmetrics : a practical guide for librarians, researchers and academics) olin lukenut matkalla Skotlantiin. Adie on todennut, että koska informaatiota on aina liikaa, on tärkeää suodattaa laadun näkökulmasta, karsia pois epärelevantti ja huonolaatuinen sisältö. Altmetriikassa tähän voidaan käyttää digitaalista oppineisuutta, jonka työvälineisiin kuuluvat esimerkiksi yhteinen viitteidenhallinta ja jakaminen verkossa, joukkoistaminen, käyttäjien yhdessä tekemä metadata, “post-publication review”. Hänen altmetriikkaohjeistukseensa kuuluu avoimuus: indikaattoria käytettäessä sen takana olevaan dataan pitää olla pääsy, tuon datan pitää olla niin avointa kuin mahdollista ja datan pitää olla relevanttia.

Maisema

Adie piti myös yhden kiinnostavimmista esityksistä “Mapping the Policy Landscape” todeten, että käsite “policy document” – joka voi ilmestyä kirjan muodossa, mutta myös blogipostauksena, tutkimusjulkaisuna, työpaperina, raporttina jne. – on vaikeasti määriteltävä, muuttuva, epäakateeminen, käytännöllinen, poliittinen, mutta aina kirjoitettu muuttamaan toimintatapaa tai käytäntöä. Se voi olla kansainvälinen, kansallinen, alueellinen tai jopa korttelikohtainen. Tämän tyyppisistä julkaisuista kolmannes viittaa muihin vastaaviin dokumentteihin, kolmannes tieteelliseen tutkimukseen, kuudesosa mediaan ja loput lainsäädäntöön ja muuhun vastaavaan. Viittaus voi olla suora, esimerkiksi hoitosuositukseen, mutta voi muodostaa myös ketjun esimerkiksi sanomalehden kautta blogiin, jonka kautta työpaperiin. Ei siis voida mitata yksinkertaisia viittauksia, vaan muodostuu viittausten verkko, joka muodostuu arviolta 10 000 eri lähteestä. Altmetriikan mittarit voivat siis olla todella monimutkaisia verrattuna perinteisiin bibliometriikan mittareihin.

Tervetuloa

Säkkipillin toivotettua meidät tervetulleiksi Skotlantiin ja tutkimus- ja innovaatiopalveluiden johtaja John Rogersin Stirlingin yliopiston kampukselle sekä Catherine Williamsin (Altmetric) avattua konferenssin, piti ensimmäisen keynote-puheen “Beyond Bibliometrics” Martin Kirk (King’s College London, UK). Hänen tehtävänään on huolehtia siitä, että yliopistolla on parhaat välineet ja että sen tutkimuksen näkyvyys on niin hyvä kuin vain voi olla. Hän esitti paljon pohdittavaa siitä, mikä metriikka palvelee milloinkin, ja kenen vastuulla altmetriikka organisaatiossa on. Huomioidaanko se strategiatyössä, onko se tutkimushallinnon hallussa, kuuluuko se tutkijoille, tekeekö sitä kirjasto vai kenties viestintä? Joka tapauksessa altmetriikka kuuluu julkaisustrategisiin työkaluihin. Avoimesti julkaistu saa enemmän viittauksia ja muuta huomioita kuin maksumuurien takana julkaistu – jos ei julkaista avoimesti, näkyvyys ja maine kärsivät.

Kohokohtia

Kaikkiaan kahdessa päivässä pidettiin kaksi keynote-esitelmää, yksi “Highlight Talk”, kaksi paneelikeskustelua ja 26 muuta esitystä.

Altmetrics in Action -session kiinnostavin esitys oli mielestäni Rebecca Welzenbachin (University of Michigan Library, USA) “Beyond the “Cool” Factor: The Challenge of Making Alternative Metrics Indispensable”. Hän kertoi, miten heillä hyödynnetään Altmetric Explorer -työkaluja ja miten altmetriikan avulla selvitettävä näkyvyys ja vaikuttavuus kiinnostaa sekä viestintää että tutkimushallintoa. Welzenbach on “research impact librarian”, jollainen olisi varmasti hyvä olla jokaisessa yliopistossa. Samassa sessiossa otsikolla “Collaborating to Target Doctoral Students and Postdoctoral Staff” puhunut Robyn Price (Imperial College London, UK) korosti laadun ja tunnettuuden merkitystä kertoessaan kiinnostusta herättävästi, miten altmetriikan työkaluja opetetaan osana kurssia nimeltä “Digital academic skills” väitöskirjatutkijoille ja hyödynnetään myös post-docien hakemuksissa.

The Researcher View -sessiossa Mithu Lucraft (Springer Nature) puhui muun muassa siitä, mikä tutkijoita kiinnostaa ja mistä he välittävät, kuten kiinnostaako heitä tutkimuksen vaikuttavuus akateemisen maailman ulkopuolella ja merkitys avoimuudella on juuri siihen. Koska viittauksia on helppo seurata, niitä usein ja monilla aloilla pidetään tärkeimpinä, joten tukea myös muiden seurantavälineiden käyttämiseen ja ymmärtämiseen tarvitaan. Samassa sessiossa Rachel Miles (Virginia Tech, USA) puhui tutkimuksen arvioinnista ja sen vaikutuksesta tutkijoiden palkkaukseen korostaen, että arviointimenetelmien pitää olla avoimia.

Vain yhden session ajaksi osallistujajoukko jakaantui kahtia. Osallistuin otsikon “Rumor Has It: How Exploring Research Engagement through Metrics Transforms Student Learning” alla pidettyyn työpajaan. Rachel Miles ja Amanda MacDonald (Virginia Tech, USA) kertoivat ja demonstroivat käytännössä, miten he opettavat altmetriikkaa 1.-2. vuoden opiskelijoille.

Decoding the Data -sessiossa “Measuring knowledge mobilization for grant-funded research using bibliometric, patent and policy indicators” oli Ben McLeishin (Altmetric) otsikkona. Hän korosti, että näiden aineistojen osalta Altmetric– ja Dimensions-tyyppisten palveluiden avulla voidaan mitata ideoita ja käsitteitä, muttei vaikuttavuutta. Hän puhui myös tutkimuksen tuottavuudesta, jota voidaan vertailla esimerkiksi rahoitusta saaneiden julkaisujen määrällä tutkijaa kohti eri maissa. Maria Levchenko (Europe PMC/EMBL-EBI), jonka kanssa juttelin useammallakin kahvitauolla, kertoi aiheesta “Exploring the Landscape of Curated Publications in Biology”. Biokuraattori kuratoi, kerää, kommentoi ja validoi biologisten ja organismitietokantojen tietoa. Kyse on biotutkimuksen tutkimusdatan laadunvalvonnasta ja kuvailusta. Hän puhui biokuratoinnin (biocuration) arvosta ja kysyi muun muassa, mikä tekee paperista kuratoitavan, korreloiko kuratointi laadun kanssa ja johtaako kuratointi suurempaan viittausmäärään? “Can the Impact of Grey Literature be Assessed?” kysyi Matthew Bickley (University of Wolverhampton, UK) ja perehdytti kuulijoita siis siihen, miten mitata niin sanotun harmaan kirjallisuuden – jota ei siis itse asiassa ole julkaistu – vaikuttavuutta. Andy Miahin puhe käsitteli kansalaistiedettä ja tieteen viestimistä eri kanavilla ja menetelmillä (kuvat, videot, performanssit, virtuaalitodellisuus, festivaalit…) sekä sen tyyppisen toiminnan vaikuttavuuden mittaamista. Hän korosti, että tieteentekijöiden tulee olla ensiksi kansalaisia ja vasta toiseksi tutkijoita.

Muissa konferenssin esityksissä käsiteltiin muun muassa rahoittajien näkökulmia, joidenkin tutkimusalojen vaikuttavuuden todella pitkää aikajännettä, tutkimuksen elinkaarta yleensä, kehitteillä olevia uusia malleja tieteen ja tutkimuksen indikaattoreiksi, tiedepodcasteja, saalistajakustantajia sekä tiedeviestintää ja kansalaistiedettä maissa, joissa on käytössä satoja eri kieliä, esimerkiksi Nigeriassa 529. Vaikka tiede on maailmanlaajuista, on politiikka (yleensä) paikallista, todettiin.

ihmisryhmät, posterit, halli, ikkunat, katto, pöydät. groups of people, posters, hall, windows, ceiling, tables.
Posterisessio | Poster session

Posterit

Konferenssissa oli esillä myös kymmenen posteria, jotka nekin esiteltiin ”poster lightning talks” -sessiossa. Mielenkiintoisin posteri on Syddansk Universitetin kirjaston kuuden henkilön laatima “Coloring the Donut”, jossa he tutkivat, miten hyvin niin sanottua altmetriikkadonitsia (“Altmetric Donut”, katso esimerkiksi kirjaston tutkimuksen tuen sivut) voi manipuloida. Heidän tapaustutkimuksensa mukaan se ei ole helppoa ja lähinnä twiiteillä sekä Wikipedian avulla sitä voi yrittää. Tyylikkäin, mutta myös todella informatiivinen ja runsas, posteri oli Twenten yliopiston Luuk van Ewijkin “Supporting researchers in their usage of Altmetrics Explorer”. Se rakentuu, kuten tutkimuksen tuki, muutenkin, hallinnon, kirjaston, tutkijoiden, viestinnän sekä rahoittajien ja julkaisijoiden tukipilareille, ja siihen tarvitaan avoimen tieteen arvioinnin kehittämistä ja panostusta siihen, asialle omistautuneita avainkäyttäjiä ja konkreettisia päämääriä, integroitumista prosesseihin, tiedonhankintaa ja -välitystä, seurantaa ja jatkuvaa keskustelua.

Osallistujat

Konferenssi oli melko pieni, osallistujia oli alle sata. Olin kansainvälisen konferenssin ainoa suomalainen ja yksi neljästä pohjoismaalaisesta. Suurin osa osallistujista oli ymmärrettävästi Britanniasta. Alankomaalaisia, kanadalaisia ja yhdysvaltalaisia oli myös paljon. Kirjasto- ja tietopalveluammattilaisten lisäksi mukana oli professoreita ja muita tutkijoita, johtajia, toimittajia, analyytikkoja, muotoilijoita, koordinaattoreita, suunnittelijoita ja myös opiskelijoita. Suurin osa tuli yliopistoista, mutta merkittävä osa kustantamoista sekä järjestäjäorganisaatioista (Altmetric, PlumX, Kudos) ja muista sponsoriorganisaatioista (CWTS, Hindawi, Minso Solutions, Springer Nature, Wiley). Koolla oli siis pieni mutta sekalainen joukko altmetriikasta eri näkökulmista kiinnostuneita ihmisiä. Kahvitaukoja oli usein ja niiden, samoin kuin lounaiden, aikana ennätti jutella ja tutustua. Olin ensimmäistä kertaa konferenssissa, jonka osallistujista tunsin ennestään vain yhden, Valeria Scottin (Fondazione IRCCS Policlinico San Matteo of Pavia, Italia), jolla oli konferenssissa posteri “Measure of Scientific Impact: How Altmetrics Can Innovate the Approach in a Multidimensional Model?”

Tuleeko 7:AM?

Loppuyhteenvedossaan Mike Taylor (Digital Science) puhui siltojen rakentamisesta muun muassa tiedeyhteisön ja yhteiskunnan välille, eri maanosien välille, akateemisen maailman eri osa-alueiden välille. Hänen mukaansa nyt on noussut pintaan “curation generation” ja pohti mikä tulee olemaan seuraava. Joka tapauksessa tiedeyhteisön on hänen mielestään sitouduttava tieteestä viestimiseen. Viimeiseen kysymykseen, tarvitaanko 7:AM, saatiin yleisöltä positiivinen vastaus. Moni alusta saakka (järjestelyissä) mukana ollut lienee pohtinut pienempää osallistujamäärä verrattuna vaikkapa viime vuoteen, mutta sijainnilla on vaikutuksensa – Stirling ei ole Lontoo (2014, 2018), Amsterdam (2015), Toronto (2017) eikä edes Bukarest (2016).

Linkit

konnferenssi, ihmiset, hymy, vilkuttaa. conference, people, smile, wave
Jutun kirjoittaja kuvassa keskellä | Blog post writer in the middle of the photo. Kuva | Photo: Mike Taylor

Altmetrics

The term ‘altmetrics’ is derived from the words ‘alternative’ and ‘metrics’. Being complementary to bibliometrics in a way, altmetrics are also related to the measurement of the visibility of science and scientific publications. Altmetrics specifically measure online publications. For example, they can measure the visibility of a particular study through the number of clicks, downloads, blog posts, bookmarks, likes and tweets related to it. However, instead of being indicators of impact, they are a part of the filtering of scientific information. In reality, they do not even constitute alternative metrics but an appendage that is necessary in this modern era of online publishing and new accessibility to data.

6:AM

During the second week of October, I participated in the sixth Altmetrics Conference, which was held at the University of Stirling in Scotland this year. The 6:AM Altmetrics Conference was a two-day event that took place on 9 and 10 October. I only participated in the conference, but it was preceded by a one-day do-a-thon and followed by a workshop day. The conference itself also featured unconference elements. Instead of sitting in rows, we sat around tables that each seated eight people, which makes it easier to talk and get to know people than other types of seating arrangements.

On the first day, I found myself seated next to Euan Adie (Overton.io). He is one of the founders of Altmetric, and I had been reading his article ‘The Rise of Altmetrics’ (in Altmetrics: A practical guide for librarians, researchers and academics) on my way to Scotland. Adie has stated that because there is always too much information available, it is important to filter it from the perspective of quality, weeding out irrelevant and poor-quality content. In altmetrics, this aim can be pursued with the help of digital erudition, the tools of which include shared reference management tools, sharing online, crowdsourcing, metadata created together by the users and post-publication peer review, for example. Openness is part of his altmetrics guidelines: when the indicator is used, the user must have access to the data behind it and the data must be as open as possible and relevant.

Landscape

Adie also gave one of the most interesting presentations, ‘Mapping the Policy Landscape’, where he stated that the concept of ‘policy document’ – which may appear in the form of a book, but also as a blog post, research publication, working paper, report, etc. – is difficult to define, being changing, unacademic, practical and political in nature but always written for the purpose of changing policy or practice. It can be international, national, regional or even neighbourhood-specific. One third of the publications of this type refer to other similar documents, while another third refer to scientific research, one sixth refer to the media and the rest refer to legislation and other similar things. The reference can be direct, such as a reference to a clinical guideline, but it can also form a chain extending from a newspaper via a blog to a working paper, for example. In other words, it is not possible to measure single citations, as the references form a network can comprise roughly 10,000 different citations. Thus, the altmetric indicators can be very complex in comparison with traditional bibliometric indicators.

Welcome

We were welcomed to Scotland with bagpipe music and to the University of Stirling campus by Executive Director of Research and Innovation Services John Rogers, after which the conference was opened by Catherine Williams (Altmetric) and the first keynote speech, ‘Beyond Bibliometrics’, was given by Martin Kirk (King’s College London, UK). His task is to ensure that the university is equipped with the best equipment and that the university’s research activities have as high visibility as possible. He presented many things to consider regarding which metric serves which purpose, and who is in charge of altmetrics in organisations. Are they taken into account in strategic work, is the research administration in charge of them, are they part of researchers’ work, do libraries or communications units use them? In any case, altmetrics are strategic tools used in publishing. Open access publications receive more citations and other attention than publications behind paywalls – if a publication is not openly accessible, the publisher’s visibility and reputation suffer.

Highlights

Two conference days included two keynote presentations, one ‘Highlight Talk’, two panel discussions and 26 other presentations.

In my opinion, the most interesting presentation of the Altmetrics in Action session was ‘Beyond the “Cool” Factor: The Challenge of Making Alternative Metrics Indispensable’ by Rebecca Welzenbach (University of Michigan Library, USA). She talked about the ways in which her workplace utilises Altmetric Explorer tools and how both communications and the research administration are interested in the visibility and impact determined with the help of altmetrics. Welzenbach is a research impact librarian, a position that every university would benefit from having. Robyn Price (Imperial College London, UK), who gave a presentation titled ‘Collaborating to Target Doctoral Students and Postdoctoral Staff’ during the same session, emphasised the significance of quality and awareness in her rousing speech about the teaching of altmetric tools to PhD students as part of a course called ‘Digital academic skills’ and their utilisation in the applications of postdocs.

In a session called The Researcher View, Mithu Lucraft (Springer Nature) spoke on many topics, including what researchers are interested in and what they care about, such as whether they are interested in the impact of research outside the academic world and what role openness plays in this. Because citations are easy to monitor, they are often considered important in many fields, which is also why support is needed for the use and understanding of other monitoring tools. During the same session, Rachel Miles (Virginia Tech, USA) spoke about research evaluation and its effect on researchers’ salaries, emphasising that the evaluation methods should be open.

The participants only once divided into parallels sessions. I participated in a workshop titled ‘Rumor Has It: How Exploring Research Engagement through Metrics Transforms Student Learning’. Rachel Miles and Amanda MacDonald (Virginia Tech, USA) discussed and gave a practical demonstration of how they teach altmetrics to undergraduate students.

In a session called Decoding the Data, Ben McLeish (Altmetric) held a presentation titled ‘Measuring knowledge mobilization for grant-funded research using bibliometric, patent and policy indicators’. He emphasised that while services similar to Altmetric and Dimensions can be used to measure ideas and concepts with regard to this data, they cannot be used to measure impact. He also spoke about the profitability of research, which can be compared by examining the number of funded publications per researcher in different countries, for example. Maria Levchenko (Europe PMC/EMBL-EBI), with whom I conversed during more than one coffee break, spoke about the topic ‘Exploring the Landscape of Curated Publications in Biology’. A biocurator is a professional scientist who curates, collects, annotates, and validates information that is disseminated by biological and model organism databases. The role encompasses quality control of primary biological research data intended for publication, extracting and organizing data from original scientific literature, and describing the data with standard annotation protocols and vocabularies that enable powerful queries and biological database inter-operability. She spoke about the value of biocuration and posed questions such as what makes a paper curatable, does curation correlate with quality, and does curation lead to a higher citation rate? Matthew Bickley (University of Wolverhampton, UK) asked ‘Can the Impact of Grey Literature be Assessed?’ and introduced how to measure the impact of grey literature, i.e. unpublished literature. Andy Miah’s speech addressed the topics of citizen science, how science is communicated via various channels and with different methods (images, videos, performances, virtual reality, festivals, etc.) and how the impact of this type of outreach is measured. He emphasised that scientists must be citizens first and researchers second.

The other presentations at the conference addressed themes such as the perspectives of funders, the extremely long time span of the impact of certain research fields, the lifecycle of research, new types of indicators under development, science podcasts, predatory publishers, and scientific communication and citizen science in countries in which hundreds of languages are spoken, such as Nigeria with its 529 languages. It was noted that although science is global, politics is (often) local.

ilta, taivas, järvi, rakennus, kuu, valot, pilvet, puut. evening, sky, lake, clouds, building, lights, moon, trees
Stirlingin yliopiston kampus kuunvalossa | University of Stirling campus in moonlight

Posters

The conference also displayed ten posters that were introduced as ‘poster lightning talks. For me, the most interesting poster was ‘Coloring in the Donut’, prepared by six staff members of Syddansk Universitet. In the poster, its creators studied how well the Altmetric donut (see, for example, the library’s research support page) can be manipulated. According to their case study, it is not easy, and it can primarily be attempted with tweets and Wikipedia. In my opinion, the most stylish poster, which was also very informative and rich in content, was ‘Supporting researchers in their usage of Altmetric Explorer’ by Luuk van Ewijk from the University of Twente. Just as research support in general, this is built on the pillars of management, library & IT, researchers, marketing & communications, funders and publishers, and it requires development of and investment in open science and research evaluation, key users dedicated to the matter, concrete targets, integration into processes, information provision and promotion, and ongoing conversation between key users.

Participants

The conference was relatively small, with less than a hundred participants. I was the only Finnish participant and one of the four Nordic participants in this international conference. Understandably, most of the participants were British. There was also a large number of participants from the Netherlands, Canada and the USA. In addition to librarians and other information professionals, the participants included many professors and other researchers, leaders, journalists, analysts, designers, coordinators and students. Most of them came from universities, but a considerable number also represented publishers, the organisations that organised the conference (Altmetric, PlumX, Kudos) and other sponsor organisations (CWTS, Hindawi, Minso Solutions, Springer Nature, Wiley). In other words, the conference was attended by a small but mixed group of people interested in altmetrics from different perspectives. Coffee breaks were held often, and they, together with lunch times, provided time for conversation and for people to get to know each other. This was my first time I attended a conference in which I only knew one other participant in advance and that was Valeria Scotti (Fondazione IRCCS Policlinico San Matteo of Pavia, Italy), who presented a poster called ‘Measure of Scientific Impact: How Altmetrics Can Innovate the Approach in a Multidimensional Model?’.

Will there be a 7:AM?

In his closing remarks, Mike Taylor (Digital Science) spoke about building bridges between the research community and society, between different continents and between different parts of the academic world. According to him, this is the era of the “Curation Generation”, and he wondered what the next one would be. In any case, he thinks that the science community must commit to communicating about science. The final question of whether a 7:AM is needed received a positive response from the audience. Many of those who were involved (in the arrangements) from the beginning perhaps pondered the smaller number of participants compared with last year, for example, but the location matters – Stirling is not London (2014, 2018), Amsterdam (2015), Toronto (2017) or Bucharest (2016).

Links

 

Tuulevi Ovaska
erityistietoasiantuntija | communications coordinator & information specialist
Opetus- ja tietopalvelut | Training & information services

Jaa tämä / Share this
Share

Vahvistusta kirjaston tutkimuksen tukeen | Boost for library’s research support

(Please, scroll down to read in English.)

Kirjaston tutkimuksen tuki sai uutta työvoimaa vuoden 2019 tammikuussa, kun Marja Kuittinen aloitti tietoasiantuntijana Joensuun kampuksella. Siilinjärvellä syntyneellä Marjalla on tietojenkäsittelytieteen ”koulutuskakku”, jonka pohjana on v. 1989 suoritettu FM-tutkinto (Kuopion yliopisto), täytteenä v. 1993 FL-tutkinto (Kuopion yliopisto) ja kuorrutteena FT-tutkinto v. 1997 (Joensuun yliopisto). Kirsikkana kakun päällä on dosentuuri vuodelta 2005 (Joensuun yliopisto) alana kognitiiviset menetelmät tietojenkäsittelyn opetuksessa.

Itä-Suomen yliopistossa ja sen edeltäjissä Marja on työskennellyt vuodesta 1989 lähtien. Työkokemusta on kertynyt laaja-alaisesti erilaisten virkojen hoidoista amanuenssista professoriin, mutta erityisesti v. 1998 alkaneista tietotekniikan opettajankoulutuksen yliopistonlehtorin tehtävistä. Marjan tekemä tutkimus on vahvasti painottunut opetukseen keskittyen opetusteknologiaan, tietokoneavusteiseen opetukseen sekä ohjelmoinnin oppimiseen ja opettamiseen.

Kirjaston tietoasiantuntijana Marjan tehtävät liittyvät hyvin vahvasti jo edellä mainittuun tutkimuksen tukeen painottuen erityisesti bibliometriikkapalveluihin, joita yliopisto tarjoaa tutkijoilleen. Vastuualueeseen kuuluu myös avoimen tieteen asioita, kuten avoin julkaiseminen, sekä opettaminen kirjaston tarjoamilla jatko-opintokursseilla. Vapaa-ajallaan Marja harrastaa lukemista ja käsitöitä sekä ulkoilua toisten piilottamia pakasterasioita etsien (lue: geokätköilyä).

Potkua metriikkaan. | Boost for metrics. Kuva: Juho Jussila

Library’s research support received an addition to the workforce in January 2019, when Marja Kuittinen started working as an information specialist at the Joensuu Campus. Marja, born in Siilinjärvi, has baked an “education cake” in computer science. The base layer of the “cake” is a MSc degree (University of Kuopio 1989), topped up with a Licentiate in Philosophy degree (University of Kuopio 1993) and as the icing on the cake is a PhD degree (University of Joensuu 1997) and a docentship on cognitive methods in computer science education (University of Joensuu 2005).

Marja has been working at the University of Eastern Finland and its predecessors since 1989. She has gained extensive work experience in the management of various positions from amanuensis to professorship at the School of Computing but particularly in the post of a university lecturer responsible for the education of Computer Science subject teachers since 1998. Marja’s research is heavily focused on teaching, especially on educational technology, computer-assisted instruction and programming education.

As an Information Specialist, Marja’s tasks are strongly related to the above-mentioned research support, with an emphasis on bibliometric services provided by the university to its researchers. Areas of responsibility also include open science, such as open publishing and teaching at postgraduate courses offered by the library. In her spare time, Marja is engaged in reading and crafts as well as outdoor activities in search of containers hidden by other people (read: geocaching).

Marja Kuittinen, tietoasiantuntija | Information Specialist
Opetus- ja tietopalvelut | Training and Information Services
Joensuun kampuskirjasto | Joensuu Campus Library

Jaa tämä / Share this
Share

Koulutusta metriikasta kaivataan | Training for metrics needed

(Please, scroll down to read the results of the English version of the survey.)

Kiitokset kaikille lokakuussa 2018 Tutkimus- ja julkaisutoiminnan mittarit -kyselyyn osallistuneille. Suomenkieliseen kyselyyn vastasi 123 henkilöä perusopiskelijoista emeritus/emeritaprofessoreihin kattavasti yli kahdeltakymmeneltä eri tieteenalalta.

Kysely paljasti valtaosan vastaajista (92 %) tarvinneen erilaisia mittareita (kuva 2, numerointi kyselystä) vaihteleviin tarpeisiin (kuva 3).

Valtaosa vastaajista on tarvinnut erilaisia mittareita.
Mittareita on tarvittu monenlaisiin tarpeisiin.

Vastaajat ovat tyypillisesti hakeneet tarvitsemansa tiedot itse (90 %), mutta jatkossa näyttäisi olevan halukkuutta (46 %) käyttää myös kirjaston tarjoamia metriikkapalveluita, varsinkin kun tarvetta mittareille oli valtaosalla vastaajista (94 % melko todennälköisesti tai varmasti) myös tulevaisuudessa.

Halukkuutta saada koulutusta tutkimus- ja julkaisutoimintaa kuvaavista mittareista löytyi selvästi yli puolelta vastaajista (62 %). Täsmennettyjä toiveita koulutusmuodoista esitti noin puolet vastaajista (51 %). Näihin toiveisiin sisältyi seuraavaa:

  • Skype-koulutusta (48 % vastaajista)
  • Pienryhmäkoulutusta (22 %)
  • Kirjalliset ohjeet netissä (11 %)
  • Videotallenne (ml. lyhyet videoklipit) (11 %)
  • Henkilökohtaista opastusta (8 %)
  • Verkkokoulutusta/-kurssina (esim. Moodle) (6 %)

Sen lisäksi, että kaivattiin koulutusta siitä, mistä ja miten mittarit löytyvät, toivottiin apua myös niiden tulkinnalle, käyttökelpoisuudelle eri tilanteissa, vastuullisuudelle ja kriittisyydelle. Vastauksista nousi mm. seuraavanlaisia kysymyksiä:

  • mikä on mittareiden merkitys ja millainen on eri tieteenalojen välinen vaihtelu
  • voiko mittareita vääristellä
  • mihin mittariin omaa tutkimusta kannattaa peilata ja miksi
  • missä tilanteessa mikäkin mittari on käyttökelpoinen
  • mitä ovat mittareiden vahvuudet ja heikkoudet
  • millainen on mittareiden luotettavuus, paremmuus…
  • miten tulkitsen niitä
  • mikä on nykyään ‘luotettavin’ kanava [metriikka]tiedon hankkimiseen
  • miten ko. mittarilukemat muodostuvat käytännössä
  • mitä hyötyä mittareista on erityisesti tutkijan näkökulmasta
  • mitä mittarit todella kuvaavat ja mitä ne henkilöstä kertovat

Esitettyihin koulutustoiveisiin löytyy kirjaston tutkimuksen tuen sivuilta jo nyt apua ja ohjeita, Tutkimuksen arviointi julkaisujen avulla -sivuilta  mm. tietoa bibliometrisistä analyysityökaluista ja tietokannoista, kuvaukset useista bibliometrisistä indikaattoreista.

Lisäksi kirjasto tulee jatkossa järjestämään koulutusta, jossa huomioidaan edellä esitettyjä toiveita. Kannattaa siis seurata koulutustarjontaamme!

 

Results of the survey in English

Thanks to all those who participated in the Research and Publishing Activity Indicators questionnaire in October 2018. Sixteen people including postgraduate students, research personnel, educational personnel and other personnel from over ten different disciplines answered the English version of the survey.

The survey revealed that all of the respondents have needed different indicators (Figure 2, numbering from the questionnaire) for different purposes (Figure 3).

All respondents needed indicators.
Indicators were needed for many purposes.

Respondents have typically applied for the information they need, but in the future there seems to be willingness (44%) also to use metric services provided by the library, especially as the majority of respondents (94% quite certainly or certainly) need the indicators in the future.

More than half of the respondents (56%) were interested in receiving training on indicators describing research and publishing. Half of the respondents (50%) expressed their hopes for training. These wishes included:

  • Skype training (19% of the respondents)
  • Written instructions online (13%)
  • Video recording (including short video clips) (13%)
  • Personal Guidance (13%)
  • Small Group Training (6%)

In addition to the need for training on where and how the meters are found, assistance was also sought for their interpretation, usefulness in different situations, responsibility and criticality. Among the answers, there were these wishes:

  • “It would be highly important to have a page on UEF website where different indicators can be found and searched for easily!”
  • “Some training in understanding the Jufo rating would be nice, since the ratings seem pretty random sometimes and not in line with what is considered a “prestigious” journal in the field.”
  • “Consortium or certain indicators that have been agreed throughout UEF or Finnish universities.”
  • “Training in altmetric.”

Answers to some of the training requests can already be found on the UEF Library’s Research Support page already. The Research Evaluation (Bibliometrics: evaluating research via publications) section includes: Bibliometric analysing tools and databases, descriptions of several bibliometric indicators.

In addition, the library will continue to provide training that takes into account the wishes outlined above. So you should follow our Training menu!

Marja Kuittinen, tietoasiantuntija | information specialist
Maarit Putous, tietoasiantuntija | information specialist
Opetus- ja tietopalvelut | Training and information services

 

Jaa tämä / Share this
Share

Terveiset pohjoismaisesta bibliometriikka ja tutkimuksen arviointi -työpajasta | Greetings from the Nordic workshop on bibliometrics and research policy

(Please, scroll down to read in English.)

Vuosittain järjestettävä pohjoismainen työpaja bibliometriikasta ja tutkimuksen arvioinnista eli Nordic Workshop on Bibliometrics and Research Policy pidettiin tänä vuonna 7.-9. marraskuuta Boråsissa Ruotsissa. Yksipäiväisen pre-työpajan ja kaksi päivää kestäneen varsinaisen työpajan isäntänä toimi Boråsin korkeakoulu, jossa annetaan mm. kirjasto- ja informaatioalan koulutusta. Lisäksi Borås on merkittävä tekstiilikaupunki, ja taiteellisuus tuli esille myös kokousympäristössä mm. hauskojen patsaiden ja talojen koristeellisten julkisivumaalausten myötä.

Työpajan isäntänä toimi Boråsin korkeakoulu. (Kuva: Virpi Lindi)

Yhdeksi keskeiseksi aiheeksi työpajan esityksissä nousi tällä hetkellä muutenkin paljon esillä oleva vastuullinen metriikka, ja kirjaston merkitys vastuullisen metriikan käytön opastamisessa ja tiedottamisessa. Esimerkiksi Marianne Gauffriau Kööpenhaminan yliopiston kirjastosta antoi esityksessään Applying the Leiden Manifesto principles in practice – commonalities and differences in interpretation käytännön esimerkkejä siitä, kuinka Leidenin manifestin periaatteet toteutuvat tutkimuksen arvioinneissa.

Samaa aihetta sivusi myös Lundin yliopiston professori Merle Jacobsin esitys Open science and its discontents. Hän toi esityksessään esille avoimeen tieteeseen liittyviä kysymyksiä mm. miten avoin tiede vaikuttaa tulevaisuudessa tutkijoiden meritoitumiseen ja millaisia tekijöitä on otettava huomioon avoimien tutkimusaineistojen jatkokäytössä. Hän otti esille myös sen, että osa tieteellisistä kustantajista on tehnyt avoimesta julkaisemisesta uuden bisnesmallin.

Työpajassa oli myös useita esityksiä Suomesta. Esimerkiksi Janne Pölönen Tieteellisten seurain valtuuskunnasta (TSV) puhui omassa esityksessään Open access and the Nordic publication indicator: friends or enemies? mm. Julkaisufoorumin (Jufo) merkityksestä avoimessa julkaisemisessa ja Jufon vastuullisesta käytöstä julkaisukanavien tasoluokituksessa.

Viimeisimpänä mutta ei suinkaan vähäisimpänä matkan antina oli tietenkin verkostoituminen niin kansallisesti kuin kansainvälisestikin. Lämmin kiitos kaikille, joiden kanssa vietin työntäyteiset mutta hauskat kolme päivää Boråsissa. Ensi vuonna kokouspaikkana toimii Reykjavik, ehkäpä nähdään taas siellä!

Linkkejä:
Työpajan viralliset sivut (mm. ohjelma)
Työpajan suullisia esityksiä (osa)
Työpajan postereita (osa)

IN ENGLISH

This year the annual Nordic Workshop on Bibliometrics and Research Policy was held in Borås, Sweden on November 7-9. The one-day pre-workshop and the two-day workshop were hosted by the University of Borås, which offers education, among others, in Library and Information Studies. In addition, Borås is a significant textile town which was apparent also in the art of the meeting environment with funny statues and decorative facade paintings of houses.

The workshop was hosted by the University of Borås. (Photo: Virpi Lindi)

One of the key topics in the workshop was the responsible metrics and the importance of the library in guiding and informing of responsible metrics. For example, Marianne Gauffriau from the University of Copenhagen gave in her talk “Applying the Leiden Manifesto in Practice – Commonalities and Differences in Interpretation” practical examples of how the principles of the Leiden Manifesto are realised in the research assessments.

Professor Merle Jacobs from the Lund University brought up in her presentation “Open science and its discontents” issues related to open science, for example, how open science will affect the merits of researchers in the future and what factors need to be taken into account in the further use of open research data. She also pointed out that some of the scientific publishers have made a new business model for open publishing.

There were also several presentations from Finland in the workshop. For example, Janne Pölönen from The Federation of Finnish Learned Societies (TSV) described in his talk “Open access and the Nordic publication indicator: Friends or Enemies?” the role of the Publication Forum (Jufo) in open publishing and the responsible use of Jufo in the publishing channel classification.

A notable benefit from the workshop was, of course, networking both nationally and internationally. Warm thanks to all those with whom I spent hard-working but great three days in Borås. Next year Reykjavik will be the meeting place, maybe we will see there again!

Related links:

Workshop’s official website (e.g. the programme)
Some of the oral presentations
Some of the poster presentations

Virpi Lindi, Tietoasiantuntija | Information specialist
Opetus- ja tietopalvelut | Training and information services
Käännöksen oikoluku | English language checking: Suvi Tolvanen

Jaa tämä / Share this
Share

Millä meitä mitataan? | How are we measured?

(Please, scroll down to read in English.)

Yliopistomaailmassa törmää erilaisiin tutkimus- ja julkaisutoimintaa arvioiviin mittareihin, kuten impact factoriin, h-indeksiin, jufo-tasoihin sekä julkaisu- ja  viittausmääriin. Lue lisää tutkimuksen arvioinnista julkaisujen avulla. Mittareiden avulla saatavaa tietoa hyödynnetään esimerkiksi apurahahakemusten teossa, tehtävää tai tointa hakiessa, rekrytointia tehdessä ja tutkimustulosten julkaisukanavaa miettiessä. Mittareita tutkaillaan yhteistyökumppaneita etsiessä ja puhtaasti omasta mielenkiinnosta.

Mittareiden hakemiseen ja osittain myös laskemiseen on kehitetty erilaisia, suhteellisen yksinkertaisiakin, työkaluja ja palveluja, joten erilaisten tunnuslukujen saaminen ei sinällään välttämättä vaadi mitään erityistaitoja. Tutkimuksen ja julkaisutoiminnan arviointi on haastavaa, joten selkeän numeerisen luvun antavien mittareiden käyttäminen on houkuttelevaa. Tunnistammeko mittareiden käyttöön liittyvät rajoitukset ja osaammeko tulkita ja käyttää niitä vastuullisesti oikein?

Useimmat mittarit perustuvat siteerauksiin

Mittareista on hyötyä erityisesti sellaisilla tieteenaloilla, joilla tutkimustulokset julkaistaan artikkeleina kansainvälisissä vertaisarvioiduissa tieteellisissä lehdissä englannin kielellä. Tällaisia aloja ovat eksaktit tieteet (luonnontieteet) ja niihin perustuvat alat, kuten esimerkiksi biokemia, farmasia ja lääketiede. Toisin sanoen kyse on tieteenaloista, joiden julkaisut löytyvät metriikkaan erikoistuneista Scopus– ja Web of Science -tietokannoista.

Useimmat mittarit perustuvat siteerauksiin. Eksakteissa tieteissä viittauksiin perustuvien mittarien voidaan sanoa kuvaavan tutkimuksen vaikuttavuutta. Esimerkiksi h-indeksi suhteuttaa tutkijan julkaisumäärän ja siteerausmäärän toisiinsa. Mitä korkeampi h-indeksin arvo on, sitä enemmän tutkijalla on siteerattuja kärkijulkaisuja. Siteeraaminen on yksi osoitus siitä, että tutkimus tulee huomatuksi ja että sillä on merkitystä.

Mittarit ovat saman tieteenalan sisällä puolueettomia ja niiden laskentaperusteet läpinäkyviä. Numerot ovat faktaa eivätkä mielipiteitä. Esimerkiksi erilaisten akateemisten tehtävien täytöissä tällä on merkitystä. Valitsijat voivat saada mittarien avulla jokseenkin vertailukelpoisen kuvan hakijoiden tieteellisistä ansioista kansainvälisellä tasolla. Mittareiden aikasarjaa tutkimalla voidaan selvittää myös tutkijan urakehitystä: onko ura nousevassa vaiheessa,  jo vakiintunut, vaiko mahdollisesti laskusuunnassa.

mittareiden soveltuvuus vaihtelee tieteenaloittain

Humanistisia ja yhteiskuntatieteitä pidetään yleensä perinteisen metriikan välineillä tehtävään mittaukseen huonosti soveltuvina: näiden alojen lehdistä vain osa on Web of Sciencessa ja Scopuksessa, joiden ulkopuolelle jäävät myös monilla tieteenaloilla julkaisukanavina tärkeät monografiat. Tilanne ei toisaalta ole näin yksiselitteinen: artikkelijulkaisemisen yleistyessä perinteisillä kirja-aloilla mittaaminen käy eri tavalla mahdolliseksi, ja esimerkiksi Google Scholar ottaa huomioon myös kirjat ja niiden saamat viitteet. Lisäksi jotkin tieteenalat myös humanististen ja yhteiskuntatieteiden sisällä istuvat paremmin perinteisen metriikan välinein mitattaviksi. Vaikkapa psykologian ja neurolingvistiikan julkaisut ovat aivan eri tavalla mitattavissa kuin historia ja oikeustieteet. Tällöin korostuu jo aiemmin esiin tullut ohjenuora: eri tieteenaloja ei voi verrata keskenään.

altmetriikka

Tutkimusjulkaisujen näkyvyyden arvioinnissa käytetään myös vaihtoehtoiseksi metriikaksi ja artikkelitason metriikaksi nimitettyä altmetriikkaa, jonka ideana on selvittää, mitä tieteessä tapahtuu juuri nyt perinteisen metriikan analysoidessa jo tapahtunutta. Altmetriikan avulla voidaan seurata, miten paljon tiettyä julkaisua verkossa ladataan, jaetaan ja kommentoidaan.

Altmetriikkapalveluita on sekä maksuttomia, esim. Altmetric (osittain) ja Kudos, että maksullisia, esim. SciVal (käytössä UEFissa, myös perinteistä metriikkaa) ja PlumX. Monissa palveluissa, muun muassa UEF eRepossa, on käytössä Altmetric-palvelun huomiopisteiden (attention score) kuvake, niin sanottu donitsi. Klikkaamalla sitä on helppo nähdä, missä julkaisua on jaettu ja keskustellaanko siitä vaikkapa Twitterissä.

Altmetriikkaan kytkeytyy läheisesti tutkijoiden näkyvyys sosiaalisessa mediassa, esim. Twitter, ja verkkoyhteisöissä, esim. Academia.edu, LinkedIn, Mendeley ja ResearchGate. Lue lisää altmetriikasta ja tutkimuksen näkyvyydestä

miten tutkimuksen avoimuutta mitataan?

Tutkimustiedon avoin saatavuus ja tutkimuksen läpinäkyvyys ovat tieteellisen prosessin kulmakiviä. Jo tällä hetkellä useat rahoittajat, kuten Euroopan komission Horisontti 2020 -ohjelma ja Suomen Akatemia, edellyttävät avointa julkaisemista ja kannustavat tutkimusdatan avaamiseen, kun avaamiselle ei ole juridisia, eettisiä tai sopimusoikeudellisia esteitä. Tieteen avoimuuden tukeminen on keskeinen tavoite niin kotimaisissa kuin kansainvälisissäkin tiedelinjauksissa, mutta työ avoimuuden mittareiden kehittämiseksi on vielä kesken. Tieteen vaikuttavuutta mittaavat metriikat perustuvat edelleen pitkälti vertaisarvioituihin kansainvälisiin julkaisuihin eivätkä tunnista avoimia menetelmiä. Avoimuuden kulttuurin muutosta tulee edistää kannusteilla ja tutkijoita palkita avoimuudesta. Tavoitteena on, että avoimuuden indikaattoreita hyödynnettäisiin aidosti mm. virantäytöissä ja tutkimusrahoituksen jakamisessa.

mittareiden vastuullinen käyttö

Miten tutkimus- ja julkaisutoimintaa kuvaavia mittareita sitten tulisi käyttää? Ensinnäkin, arvioinnin lähtökohtien tulee olla mahdollisimman tarkat. Tietokannasta haettuja viitetietoja verrataan tutkijan julkaisuluetteloon. Tietokannat eivät välttämättä sisällä kaikkia tietyn tutkijan, tutkimusryhmän tai tieteenalan julkaisuja. Yliopistossamme filosofisen tiedekunnan raportointivuoden 2017 vertaisarvioiduista julkaisuista vain vajaa 45 % löytyi Scopuksesta tai Web of Sciencestä. Yhteiskuntatieteiden ja kauppatieteiden tiedekunnassa vastaava kattavuus oli 65 %. Terveystieteiden tiedekunnassa päästiin 90 %:iin ja luonnontieteiden ja metsätieteiden tiedekunnassa 94 %:iin.

Koska mittareiden antama tieto on lähinnä määrällistä, tulee niitä käyttää asiantuntija-arvioinnin rinnalla.  Vastuullista käyttöä on myös se, että tarkastellaan useita mittareita samanaikaisesti. Tärkeää on muistaa, että mittareiden antamat numerotiedot ovat vertailukelpoisia vain saman tieteenalan sisällä, jos sielläkään. Lisäksi tulosten tulkintaan pitää liittää tutkijan uravaihe.  Arvioinnin kohteilla tulisi olla mahdollisuus testata ja todentaa tulokset, jolloin toimintaa voidaan pitää läpinäkyvänä molemmille osapuolille.

Vastuulliseen käyttöön kuuluu myös tieteen sisäinen vuoropuhelu siitä, mihin mittareita käytetään, mittaavatko ne oikeita asioita ja onko indikaattoreissa päivittämistarpeita.

Tutkimus- ja julkaisutoiminnan mittaaminen on ajankohtainen aihe, sillä myös valtakunnallisesti on aloitettu keskustelu siitä, olisiko Suomessa tarvetta yhteisille metriikan käytön pelisäännöille. Kansallisia linjauksia mittareiden käytöstä on odotettavissa lähitulevaisuudessa. Tieteellisten seurain valtuuskunta on perustanut työryhmän valmistamaan tutkijan vastuullista arviointia koskevan suosituksen. Lisäksi samaa aihepiiriä on käsitelty  Tutkimushallinnon verkostossa julkaisumetriikan työryhmässä, jonka aloitusseminaarissa käytiin läpi DORA-julistusta, Leidenin tutkimusmetriikkamanifestia ja Julkaisufoorumin vastuullista hyödyntämistä. Juuri nyt keskeistä on lisätä eri toimijoiden, kuten tutkijoiden, opettajien, rahoittajien ja tutkimushallinnon, tietoisuutta mittareiden rajoituksista ja eduista. Ihmiset tekevät vastuullisen metriikan.

Lue lisää:
Metric Tide
Metrics Toolkit

Kuva | Photo: Pixabay (CC0)

in English

Universities use different indicators, like impact factor, h-index or number of publications, to measure research output. Read more about evaluating research via publications. The information produced using these indicators is used, for example, in research grant applications, in applying for an office and in recruiting. They are also explored when looking for research partners and purely out of interest. There are different tools and services that are mostly easy to use. It is tempting to use clear numerical indicators as the assessment of research and publications is demanding. Do we recognise the limitations of these indicators? Do we know how to use them responsibly?

most indicators are based on citations

Bibliometrics is useful especially in exact sciences (natural sciences) and related disciplines, such as biochemistry, pharmacy and medicine. Publishing in these disciplines is standardised to peer-reviewed journal articles in English language. All or most of the articles may be found in Scopus and Web of Science databases. Thus, the quantitative analysis of publishing is possible. Bibliometrics is based on citations. Citation practices in science are well established. Considering all this, bibliometrics can be said to offer justified means to analyse research impact in science. Bibliometrics is objective and transparent within a discipline. Numbers represent facts. There is a need for this kind of information, e.g. in fulfilling academic positions. The applicants’ academic merits can be comparatively evaluated on an international level by using metrics. Time series of metrics are useful in finding out whether a career ladder is ascending, established or descending.

disciplines cannot be compared using bibliometrics

Usually, humanities and social sciences are not considered suitable for traditional bibliometrics. Only part of the journals in these fields are indexed for Scopus or Web of Science and monographies are not indexed at all. However, the situation is not that unequivocal as publishing articles is becoming more common also in these disciplines and as Google Scholar, for instance, counts also book refererences. In addition, some areas, such as psychology and neurolinguistics, within these fields are more fit to be measured using bibliometrics. It is just important to remember not to use metrics to compare different disciplines.

altmetrics

Altmetrics is alternative or article level metrics. The idea is to find out what happens in science right now, while traditional bibliometrics looks at what has happened. There are free tools, like Altmetric (partly free) and Kudos, and chargeable tools, like SciVal (in use at UEF, also traditional metrics) and PlumX. In many services, like in UEF eRepo, you can see the so-called attention score donut of Altmetric. By clicking it, you can find out where a publication has been shared and if it is discussed, for example, in Twitter. Researchers’ visibility in Twitter and in other social media and networking tools and services, like Adademia.edu, LinkedIn, Mendeley and ResearchGate, is closely connected to altmetrics.

how to measure openness?

The open access and the transparency of research are the keystones of the scientific process. Already several funders, such as the Horizon 2020 – EU Research and Innovation programme and the Academy of Finland, require open publishing and encourage the sharing of research data when there are no legal, ethical or contractual barriers. Supporting open science is the main goal both nationally and internationally, but the work to develop the indicators of openness is still ongoing. Impact indicators are still largely based on peer-reviewed international publications and do not recognise open methods. The change in the culture of openness should be promoted by incentives and researchers should be rewarded for openness. The goal is to genuinely utilise the indicators of openness, e.g. when employing staff and sharing research funding.

responsible metrics

How should the indicators be used? Firstly, the bases have to be exact. References from databases are compared with researcher’s publication list. Databases do not necessarily cover all publications by a researcher, a research group or a discipline. At UEF, 45% of the peer-reviewed publications of the Philosophical Faculty could be retrieved from Scopus or Web of Science, while the figure was 65% for the Faculty of Social Sciences and Business Studies, 90% for the Faculty of Health Sciences, and 94% for the Faculty of Science and Forestry.

Indicators provide mostly quantitative information and that must be used together with expert evaluation. It is also responsible to use several indicators, not only one. And to always take into account that the figures are comparable only within a discipline, at most. In the interpretation of  the results, the career phase of the researcher must always be taken into account. Evaluation should also be transparent. Scientists themselves are also responsible to discuss the use of these indicators.

National discussion about the need for common rules of using indicators and metrics has started. The Federation of Finnish Learned Societies (TSV) has established a working group to create guidelines of responsible researcher evaluation. The same topic has been processed in the publishing metrics working group of the Network for Research Services and Administration (TUHA). The DORA Declaration, the Leiden Manifesto and the responsible use of  the Publication Forum have been studied with care. Right now, it is important to increase the knowledge about the limitations and benefits of indicators among all parties. People make responsible metrics.

Further reading:
Metric Tide
Metrics Toolkit

Kaisa Hartikainen, Jussi Hyvärinen, Heikki Laitinen, Virpi Lindi, Mari Niemi, Tuulevi Ovaska, Maarit Putous & Tomi Rosti, tietoasiantuntijoita | information specialists
Opetus- ja tietopalvelut | Training and information services
Verkko- ja julkaisupalvelut | Library IT and publishing services
Jarmo Saarti, kirjastonjohtaja | library director

Käännöksen oikoluku | English language checking: Suvi Tolvanen

Jaa tämä / Share this
Share