Vahvistusta kirjaston tutkimuksen tukeen | Boost for library’s research support

(Please, scroll down to read in English.)

Kirjaston tutkimuksen tuki sai uutta työvoimaa vuoden 2019 tammikuussa, kun Marja Kuittinen aloitti tietoasiantuntijana Joensuun kampuksella. Siilinjärvellä syntyneellä Marjalla on tietojenkäsittelytieteen ”koulutuskakku”, jonka pohjana on v. 1989 suoritettu FM-tutkinto (Kuopion yliopisto), täytteenä v. 1993 FL-tutkinto (Kuopion yliopisto) ja kuorrutteena FT-tutkinto v. 1997 (Joensuun yliopisto). Kirsikkana kakun päällä on dosentuuri vuodelta 2005 (Joensuun yliopisto) alana kognitiiviset menetelmät tietojenkäsittelyn opetuksessa.

Itä-Suomen yliopistossa ja sen edeltäjissä Marja on työskennellyt vuodesta 1989 lähtien. Työkokemusta on kertynyt laaja-alaisesti erilaisten virkojen hoidoista amanuenssista professoriin, mutta erityisesti v. 1998 alkaneista tietotekniikan opettajankoulutuksen yliopistonlehtorin tehtävistä. Marjan tekemä tutkimus on vahvasti painottunut opetukseen keskittyen opetusteknologiaan, tietokoneavusteiseen opetukseen sekä ohjelmoinnin oppimiseen ja opettamiseen.

Kirjaston tietoasiantuntijana Marjan tehtävät liittyvät hyvin vahvasti jo edellä mainittuun tutkimuksen tukeen painottuen erityisesti bibliometriikkapalveluihin, joita yliopisto tarjoaa tutkijoilleen. Vastuualueeseen kuuluu myös avoimen tieteen asioita, kuten avoin julkaiseminen, sekä opettaminen kirjaston tarjoamilla jatko-opintokursseilla. Vapaa-ajallaan Marja harrastaa lukemista ja käsitöitä sekä ulkoilua toisten piilottamia pakasterasioita etsien (lue: geokätköilyä).

Potkua metriikkaan. | Boost for metrics. Kuva: Juho Jussila

Library’s research support received an addition to the workforce in January 2019, when Marja Kuittinen started working as an information specialist at the Joensuu Campus. Marja, born in Siilinjärvi, has baked an “education cake” in computer science. The base layer of the “cake” is a MSc degree (University of Kuopio 1989), topped up with a Licentiate in Philosophy degree (University of Kuopio 1993) and as the icing on the cake is a PhD degree (University of Joensuu 1997) and a docentship on cognitive methods in computer science education (University of Joensuu 2005).

Marja has been working at the University of Eastern Finland and its predecessors since 1989. She has gained extensive work experience in the management of various positions from amanuensis to professorship at the School of Computing but particularly in the post of a university lecturer responsible for the education of Computer Science subject teachers since 1998. Marja’s research is heavily focused on teaching, especially on educational technology, computer-assisted instruction and programming education.

As an Information Specialist, Marja’s tasks are strongly related to the above-mentioned research support, with an emphasis on bibliometric services provided by the university to its researchers. Areas of responsibility also include open science, such as open publishing and teaching at postgraduate courses offered by the library. In her spare time, Marja is engaged in reading and crafts as well as outdoor activities in search of containers hidden by other people (read: geocaching).

Marja Kuittinen, tietoasiantuntija | Information Specialist
Opetus- ja tietopalvelut | Training and Information Services
Joensuun kampuskirjasto | Joensuu Campus Library

Jaa tämä / Share this
Share

Koulutusta metriikasta kaivataan | Training for metrics needed

(Please, scroll down to read the results of the English version of the survey.)

Kiitokset kaikille lokakuussa 2018 Tutkimus- ja julkaisutoiminnan mittarit -kyselyyn osallistuneille. Suomenkieliseen kyselyyn vastasi 123 henkilöä perusopiskelijoista emeritus/emeritaprofessoreihin kattavasti yli kahdeltakymmeneltä eri tieteenalalta.

Kysely paljasti valtaosan vastaajista (92 %) tarvinneen erilaisia mittareita (kuva 2, numerointi kyselystä) vaihteleviin tarpeisiin (kuva 3).

Valtaosa vastaajista on tarvinnut erilaisia mittareita.

Mittareita on tarvittu monenlaisiin tarpeisiin.

Vastaajat ovat tyypillisesti hakeneet tarvitsemansa tiedot itse (90 %), mutta jatkossa näyttäisi olevan halukkuutta (46 %) käyttää myös kirjaston tarjoamia metriikkapalveluita, varsinkin kun tarvetta mittareille oli valtaosalla vastaajista (94 % melko todennälköisesti tai varmasti) myös tulevaisuudessa.

Halukkuutta saada koulutusta tutkimus- ja julkaisutoimintaa kuvaavista mittareista löytyi selvästi yli puolelta vastaajista (62 %). Täsmennettyjä toiveita koulutusmuodoista esitti noin puolet vastaajista (51 %). Näihin toiveisiin sisältyi seuraavaa:

  • Skype-koulutusta (48 % vastaajista)
  • Pienryhmäkoulutusta (22 %)
  • Kirjalliset ohjeet netissä (11 %)
  • Videotallenne (ml. lyhyet videoklipit) (11 %)
  • Henkilökohtaista opastusta (8 %)
  • Verkkokoulutusta/-kurssina (esim. Moodle) (6 %)

Sen lisäksi, että kaivattiin koulutusta siitä, mistä ja miten mittarit löytyvät, toivottiin apua myös niiden tulkinnalle, käyttökelpoisuudelle eri tilanteissa, vastuullisuudelle ja kriittisyydelle. Vastauksista nousi mm. seuraavanlaisia kysymyksiä:

  • mikä on mittareiden merkitys ja millainen on eri tieteenalojen välinen vaihtelu
  • voiko mittareita vääristellä
  • mihin mittariin omaa tutkimusta kannattaa peilata ja miksi
  • missä tilanteessa mikäkin mittari on käyttökelpoinen
  • mitä ovat mittareiden vahvuudet ja heikkoudet
  • millainen on mittareiden luotettavuus, paremmuus…
  • miten tulkitsen niitä
  • mikä on nykyään ‘luotettavin’ kanava [metriikka]tiedon hankkimiseen
  • miten ko. mittarilukemat muodostuvat käytännössä
  • mitä hyötyä mittareista on erityisesti tutkijan näkökulmasta
  • mitä mittarit todella kuvaavat ja mitä ne henkilöstä kertovat

Esitettyihin koulutustoiveisiin löytyy kirjaston tutkimuksen tuen sivuilta jo nyt apua ja ohjeita, Tutkimuksen arviointi julkaisujen avulla -sivuilta  mm. tietoa bibliometrisistä analyysityökaluista ja tietokannoista, kuvaukset useista bibliometrisistä indikaattoreista.

Lisäksi kirjasto tulee jatkossa järjestämään koulutusta, jossa huomioidaan edellä esitettyjä toiveita. Kannattaa siis seurata koulutustarjontaamme!

 

Results of the survey in English

Thanks to all those who participated in the Research and Publishing Activity Indicators questionnaire in October 2018. Sixteen people including postgraduate students, research personnel, educational personnel and other personnel from over ten different disciplines answered the English version of the survey.

The survey revealed that all of the respondents have needed different indicators (Figure 2, numbering from the questionnaire) for different purposes (Figure 3).

All respondents needed indicators.

Indicators were needed for many purposes.

Respondents have typically applied for the information they need, but in the future there seems to be willingness (44%) also to use metric services provided by the library, especially as the majority of respondents (94% quite certainly or certainly) need the indicators in the future.

More than half of the respondents (56%) were interested in receiving training on indicators describing research and publishing. Half of the respondents (50%) expressed their hopes for training. These wishes included:

  • Skype training (19% of the respondents)
  • Written instructions online (13%)
  • Video recording (including short video clips) (13%)
  • Personal Guidance (13%)
  • Small Group Training (6%)

In addition to the need for training on where and how the meters are found, assistance was also sought for their interpretation, usefulness in different situations, responsibility and criticality. Among the answers, there were these wishes:

  • “It would be highly important to have a page on UEF website where different indicators can be found and searched for easily!”
  • “Some training in understanding the Jufo rating would be nice, since the ratings seem pretty random sometimes and not in line with what is considered a “prestigious” journal in the field.”
  • “Consortium or certain indicators that have been agreed throughout UEF or Finnish universities.”
  • “Training in altmetric.”

Answers to some of the training requests can already be found on the UEF Library’s Research Support page already. The Research Evaluation (Bibliometrics: evaluating research via publications) section includes: Bibliometric analysing tools and databases, descriptions of several bibliometric indicators.

In addition, the library will continue to provide training that takes into account the wishes outlined above. So you should follow our Training menu!

Marja Kuittinen, tietoasiantuntija | information specialist
Maarit Putous, tietoasiantuntija | information specialist
Opetus- ja tietopalvelut | Training and information services

 

Jaa tämä / Share this
Share

Terveiset pohjoismaisesta bibliometriikka ja tutkimuksen arviointi -työpajasta | Greetings from the Nordic workshop on bibliometrics and research policy

(Please, scroll down to read in English.)

Vuosittain järjestettävä pohjoismainen työpaja bibliometriikasta ja tutkimuksen arvioinnista eli Nordic Workshop on Bibliometrics and Research Policy pidettiin tänä vuonna 7.-9. marraskuuta Boråsissa Ruotsissa. Yksipäiväisen pre-työpajan ja kaksi päivää kestäneen varsinaisen työpajan isäntänä toimi Boråsin korkeakoulu, jossa annetaan mm. kirjasto- ja informaatioalan koulutusta. Lisäksi Borås on merkittävä tekstiilikaupunki, ja taiteellisuus tuli esille myös kokousympäristössä mm. hauskojen patsaiden ja talojen koristeellisten julkisivumaalausten myötä.

Työpajan isäntänä toimi Boråsin korkeakoulu. (Kuva: Virpi Lindi)

Yhdeksi keskeiseksi aiheeksi työpajan esityksissä nousi tällä hetkellä muutenkin paljon esillä oleva vastuullinen metriikka, ja kirjaston merkitys vastuullisen metriikan käytön opastamisessa ja tiedottamisessa. Esimerkiksi Marianne Gauffriau Kööpenhaminan yliopiston kirjastosta antoi esityksessään Applying the Leiden Manifesto principles in practice – commonalities and differences in interpretation käytännön esimerkkejä siitä, kuinka Leidenin manifestin periaatteet toteutuvat tutkimuksen arvioinneissa.

Samaa aihetta sivusi myös Lundin yliopiston professori Merle Jacobsin esitys Open science and its discontents. Hän toi esityksessään esille avoimeen tieteeseen liittyviä kysymyksiä mm. miten avoin tiede vaikuttaa tulevaisuudessa tutkijoiden meritoitumiseen ja millaisia tekijöitä on otettava huomioon avoimien tutkimusaineistojen jatkokäytössä. Hän otti esille myös sen, että osa tieteellisistä kustantajista on tehnyt avoimesta julkaisemisesta uuden bisnesmallin.

Työpajassa oli myös useita esityksiä Suomesta. Esimerkiksi Janne Pölönen Tieteellisten seurain valtuuskunnasta (TSV) puhui omassa esityksessään Open access and the Nordic publication indicator: friends or enemies? mm. Julkaisufoorumin (Jufo) merkityksestä avoimessa julkaisemisessa ja Jufon vastuullisesta käytöstä julkaisukanavien tasoluokituksessa.

Viimeisimpänä mutta ei suinkaan vähäisimpänä matkan antina oli tietenkin verkostoituminen niin kansallisesti kuin kansainvälisestikin. Lämmin kiitos kaikille, joiden kanssa vietin työntäyteiset mutta hauskat kolme päivää Boråsissa. Ensi vuonna kokouspaikkana toimii Reykjavik, ehkäpä nähdään taas siellä!

Linkkejä:
Työpajan viralliset sivut (mm. ohjelma)
Työpajan suullisia esityksiä (osa)
Työpajan postereita (osa)

IN ENGLISH

This year the annual Nordic Workshop on Bibliometrics and Research Policy was held in Borås, Sweden on November 7-9. The one-day pre-workshop and the two-day workshop were hosted by the University of Borås, which offers education, among others, in Library and Information Studies. In addition, Borås is a significant textile town which was apparent also in the art of the meeting environment with funny statues and decorative facade paintings of houses.

The workshop was hosted by the University of Borås. (Photo: Virpi Lindi)

One of the key topics in the workshop was the responsible metrics and the importance of the library in guiding and informing of responsible metrics. For example, Marianne Gauffriau from the University of Copenhagen gave in her talk “Applying the Leiden Manifesto in Practice – Commonalities and Differences in Interpretation” practical examples of how the principles of the Leiden Manifesto are realised in the research assessments.

Professor Merle Jacobs from the Lund University brought up in her presentation “Open science and its discontents” issues related to open science, for example, how open science will affect the merits of researchers in the future and what factors need to be taken into account in the further use of open research data. She also pointed out that some of the scientific publishers have made a new business model for open publishing.

There were also several presentations from Finland in the workshop. For example, Janne Pölönen from The Federation of Finnish Learned Societies (TSV) described in his talk “Open access and the Nordic publication indicator: Friends or Enemies?” the role of the Publication Forum (Jufo) in open publishing and the responsible use of Jufo in the publishing channel classification.

A notable benefit from the workshop was, of course, networking both nationally and internationally. Warm thanks to all those with whom I spent hard-working but great three days in Borås. Next year Reykjavik will be the meeting place, maybe we will see there again!

Related links:

Workshop’s official website (e.g. the programme)
Some of the oral presentations
Some of the poster presentations

Virpi Lindi, Tietoasiantuntija | Information specialist
Opetus- ja tietopalvelut | Training and information services
Käännöksen oikoluku | English language checking: Suvi Tolvanen

Jaa tämä / Share this
Share

Millä meitä mitataan? | How are we measured?

(Please, scroll down to read in English.)

Yliopistomaailmassa törmää erilaisiin tutkimus- ja julkaisutoimintaa arvioiviin mittareihin, kuten impact factoriin, h-indeksiin, jufo-tasoihin sekä julkaisu- ja  viittausmääriin. Lue lisää tutkimuksen arvioinnista julkaisujen avulla. Mittareiden avulla saatavaa tietoa hyödynnetään esimerkiksi apurahahakemusten teossa, tehtävää tai tointa hakiessa, rekrytointia tehdessä ja tutkimustulosten julkaisukanavaa miettiessä. Mittareita tutkaillaan yhteistyökumppaneita etsiessä ja puhtaasti omasta mielenkiinnosta.

Mittareiden hakemiseen ja osittain myös laskemiseen on kehitetty erilaisia, suhteellisen yksinkertaisiakin, työkaluja ja palveluja, joten erilaisten tunnuslukujen saaminen ei sinällään välttämättä vaadi mitään erityistaitoja. Tutkimuksen ja julkaisutoiminnan arviointi on haastavaa, joten selkeän numeerisen luvun antavien mittareiden käyttäminen on houkuttelevaa. Tunnistammeko mittareiden käyttöön liittyvät rajoitukset ja osaammeko tulkita ja käyttää niitä vastuullisesti oikein?

Useimmat mittarit perustuvat siteerauksiin

Mittareista on hyötyä erityisesti sellaisilla tieteenaloilla, joilla tutkimustulokset julkaistaan artikkeleina kansainvälisissä vertaisarvioiduissa tieteellisissä lehdissä englannin kielellä. Tällaisia aloja ovat eksaktit tieteet (luonnontieteet) ja niihin perustuvat alat, kuten esimerkiksi biokemia, farmasia ja lääketiede. Toisin sanoen kyse on tieteenaloista, joiden julkaisut löytyvät metriikkaan erikoistuneista Scopus– ja Web of Science -tietokannoista.

Useimmat mittarit perustuvat siteerauksiin. Eksakteissa tieteissä viittauksiin perustuvien mittarien voidaan sanoa kuvaavan tutkimuksen vaikuttavuutta. Esimerkiksi h-indeksi suhteuttaa tutkijan julkaisumäärän ja siteerausmäärän toisiinsa. Mitä korkeampi h-indeksin arvo on, sitä enemmän tutkijalla on siteerattuja kärkijulkaisuja. Siteeraaminen on yksi osoitus siitä, että tutkimus tulee huomatuksi ja että sillä on merkitystä.

Mittarit ovat saman tieteenalan sisällä puolueettomia ja niiden laskentaperusteet läpinäkyviä. Numerot ovat faktaa eivätkä mielipiteitä. Esimerkiksi erilaisten akateemisten tehtävien täytöissä tällä on merkitystä. Valitsijat voivat saada mittarien avulla jokseenkin vertailukelpoisen kuvan hakijoiden tieteellisistä ansioista kansainvälisellä tasolla. Mittareiden aikasarjaa tutkimalla voidaan selvittää myös tutkijan urakehitystä: onko ura nousevassa vaiheessa,  jo vakiintunut, vaiko mahdollisesti laskusuunnassa.

mittareiden soveltuvuus vaihtelee tieteenaloittain

Humanistisia ja yhteiskuntatieteitä pidetään yleensä perinteisen metriikan välineillä tehtävään mittaukseen huonosti soveltuvina: näiden alojen lehdistä vain osa on Web of Sciencessa ja Scopuksessa, joiden ulkopuolelle jäävät myös monilla tieteenaloilla julkaisukanavina tärkeät monografiat. Tilanne ei toisaalta ole näin yksiselitteinen: artikkelijulkaisemisen yleistyessä perinteisillä kirja-aloilla mittaaminen käy eri tavalla mahdolliseksi, ja esimerkiksi Google Scholar ottaa huomioon myös kirjat ja niiden saamat viitteet. Lisäksi jotkin tieteenalat myös humanististen ja yhteiskuntatieteiden sisällä istuvat paremmin perinteisen metriikan välinein mitattaviksi. Vaikkapa psykologian ja neurolingvistiikan julkaisut ovat aivan eri tavalla mitattavissa kuin historia ja oikeustieteet. Tällöin korostuu jo aiemmin esiin tullut ohjenuora: eri tieteenaloja ei voi verrata keskenään.

altmetriikka

Tutkimusjulkaisujen näkyvyyden arvioinnissa käytetään myös vaihtoehtoiseksi metriikaksi ja artikkelitason metriikaksi nimitettyä altmetriikkaa, jonka ideana on selvittää, mitä tieteessä tapahtuu juuri nyt perinteisen metriikan analysoidessa jo tapahtunutta. Altmetriikan avulla voidaan seurata, miten paljon tiettyä julkaisua verkossa ladataan, jaetaan ja kommentoidaan.

Altmetriikkapalveluita on sekä maksuttomia, esim. Altmetric (osittain) ja Kudos, että maksullisia, esim. SciVal (käytössä UEFissa, myös perinteistä metriikkaa) ja PlumX. Monissa palveluissa, muun muassa UEF eRepossa, on käytössä Altmetric-palvelun huomiopisteiden (attention score) kuvake, niin sanottu donitsi. Klikkaamalla sitä on helppo nähdä, missä julkaisua on jaettu ja keskustellaanko siitä vaikkapa Twitterissä.

Altmetriikkaan kytkeytyy läheisesti tutkijoiden näkyvyys sosiaalisessa mediassa, esim. Twitter, ja verkkoyhteisöissä, esim. Academia.edu, LinkedIn, Mendeley ja ResearchGate. Lue lisää altmetriikasta ja tutkimuksen näkyvyydestä

miten tutkimuksen avoimuutta mitataan?

Tutkimustiedon avoin saatavuus ja tutkimuksen läpinäkyvyys ovat tieteellisen prosessin kulmakiviä. Jo tällä hetkellä useat rahoittajat, kuten Euroopan komission Horisontti 2020 -ohjelma ja Suomen Akatemia, edellyttävät avointa julkaisemista ja kannustavat tutkimusdatan avaamiseen, kun avaamiselle ei ole juridisia, eettisiä tai sopimusoikeudellisia esteitä. Tieteen avoimuuden tukeminen on keskeinen tavoite niin kotimaisissa kuin kansainvälisissäkin tiedelinjauksissa, mutta työ avoimuuden mittareiden kehittämiseksi on vielä kesken. Tieteen vaikuttavuutta mittaavat metriikat perustuvat edelleen pitkälti vertaisarvioituihin kansainvälisiin julkaisuihin eivätkä tunnista avoimia menetelmiä. Avoimuuden kulttuurin muutosta tulee edistää kannusteilla ja tutkijoita palkita avoimuudesta. Tavoitteena on, että avoimuuden indikaattoreita hyödynnettäisiin aidosti mm. virantäytöissä ja tutkimusrahoituksen jakamisessa.

mittareiden vastuullinen käyttö

Miten tutkimus- ja julkaisutoimintaa kuvaavia mittareita sitten tulisi käyttää? Ensinnäkin, arvioinnin lähtökohtien tulee olla mahdollisimman tarkat. Tietokannasta haettuja viitetietoja verrataan tutkijan julkaisuluetteloon. Tietokannat eivät välttämättä sisällä kaikkia tietyn tutkijan, tutkimusryhmän tai tieteenalan julkaisuja. Yliopistossamme filosofisen tiedekunnan raportointivuoden 2017 vertaisarvioiduista julkaisuista vain vajaa 45 % löytyi Scopuksesta tai Web of Sciencestä. Yhteiskuntatieteiden ja kauppatieteiden tiedekunnassa vastaava kattavuus oli 65 %. Terveystieteiden tiedekunnassa päästiin 90 %:iin ja luonnontieteiden ja metsätieteiden tiedekunnassa 94 %:iin.

Koska mittareiden antama tieto on lähinnä määrällistä, tulee niitä käyttää asiantuntija-arvioinnin rinnalla.  Vastuullista käyttöä on myös se, että tarkastellaan useita mittareita samanaikaisesti. Tärkeää on muistaa, että mittareiden antamat numerotiedot ovat vertailukelpoisia vain saman tieteenalan sisällä, jos sielläkään. Lisäksi tulosten tulkintaan pitää liittää tutkijan uravaihe.  Arvioinnin kohteilla tulisi olla mahdollisuus testata ja todentaa tulokset, jolloin toimintaa voidaan pitää läpinäkyvänä molemmille osapuolille.

Vastuulliseen käyttöön kuuluu myös tieteen sisäinen vuoropuhelu siitä, mihin mittareita käytetään, mittaavatko ne oikeita asioita ja onko indikaattoreissa päivittämistarpeita.

Tutkimus- ja julkaisutoiminnan mittaaminen on ajankohtainen aihe, sillä myös valtakunnallisesti on aloitettu keskustelu siitä, olisiko Suomessa tarvetta yhteisille metriikan käytön pelisäännöille. Kansallisia linjauksia mittareiden käytöstä on odotettavissa lähitulevaisuudessa. Tieteellisten seurain valtuuskunta on perustanut työryhmän valmistamaan tutkijan vastuullista arviointia koskevan suosituksen. Lisäksi samaa aihepiiriä on käsitelty  Tutkimushallinnon verkostossa julkaisumetriikan työryhmässä, jonka aloitusseminaarissa käytiin läpi DORA-julistusta, Leidenin tutkimusmetriikkamanifestia ja Julkaisufoorumin vastuullista hyödyntämistä. Juuri nyt keskeistä on lisätä eri toimijoiden, kuten tutkijoiden, opettajien, rahoittajien ja tutkimushallinnon, tietoisuutta mittareiden rajoituksista ja eduista. Ihmiset tekevät vastuullisen metriikan.

Lue lisää:
Metric Tide
Metrics Toolkit

Kuva | Photo: Pixabay (CC0)

in English

Universities use different indicators, like impact factor, h-index or number of publications, to measure research output. Read more about evaluating research via publications. The information produced using these indicators is used, for example, in research grant applications, in applying for an office and in recruiting. They are also explored when looking for research partners and purely out of interest. There are different tools and services that are mostly easy to use. It is tempting to use clear numerical indicators as the assessment of research and publications is demanding. Do we recognise the limitations of these indicators? Do we know how to use them responsibly?

most indicators are based on citations

Bibliometrics is useful especially in exact sciences (natural sciences) and related disciplines, such as biochemistry, pharmacy and medicine. Publishing in these disciplines is standardised to peer-reviewed journal articles in English language. All or most of the articles may be found in Scopus and Web of Science databases. Thus, the quantitative analysis of publishing is possible. Bibliometrics is based on citations. Citation practices in science are well established. Considering all this, bibliometrics can be said to offer justified means to analyse research impact in science. Bibliometrics is objective and transparent within a discipline. Numbers represent facts. There is a need for this kind of information, e.g. in fulfilling academic positions. The applicants’ academic merits can be comparatively evaluated on an international level by using metrics. Time series of metrics are useful in finding out whether a career ladder is ascending, established or descending.

disciplines cannot be compared using bibliometrics

Usually, humanities and social sciences are not considered suitable for traditional bibliometrics. Only part of the journals in these fields are indexed for Scopus or Web of Science and monographies are not indexed at all. However, the situation is not that unequivocal as publishing articles is becoming more common also in these disciplines and as Google Scholar, for instance, counts also book refererences. In addition, some areas, such as psychology and neurolinguistics, within these fields are more fit to be measured using bibliometrics. It is just important to remember not to use metrics to compare different disciplines.

altmetrics

Altmetrics is alternative or article level metrics. The idea is to find out what happens in science right now, while traditional bibliometrics looks at what has happened. There are free tools, like Altmetric (partly free) and Kudos, and chargeable tools, like SciVal (in use at UEF, also traditional metrics) and PlumX. In many services, like in UEF eRepo, you can see the so-called attention score donut of Altmetric. By clicking it, you can find out where a publication has been shared and if it is discussed, for example, in Twitter. Researchers’ visibility in Twitter and in other social media and networking tools and services, like Adademia.edu, LinkedIn, Mendeley and ResearchGate, is closely connected to altmetrics.

how to measure openness?

The open access and the transparency of research are the keystones of the scientific process. Already several funders, such as the Horizon 2020 – EU Research and Innovation programme and the Academy of Finland, require open publishing and encourage the sharing of research data when there are no legal, ethical or contractual barriers. Supporting open science is the main goal both nationally and internationally, but the work to develop the indicators of openness is still ongoing. Impact indicators are still largely based on peer-reviewed international publications and do not recognise open methods. The change in the culture of openness should be promoted by incentives and researchers should be rewarded for openness. The goal is to genuinely utilise the indicators of openness, e.g. when employing staff and sharing research funding.

responsible metrics

How should the indicators be used? Firstly, the bases have to be exact. References from databases are compared with researcher’s publication list. Databases do not necessarily cover all publications by a researcher, a research group or a discipline. At UEF, 45% of the peer-reviewed publications of the Philosophical Faculty could be retrieved from Scopus or Web of Science, while the figure was 65% for the Faculty of Social Sciences and Business Studies, 90% for the Faculty of Health Sciences, and 94% for the Faculty of Science and Forestry.

Indicators provide mostly quantitative information and that must be used together with expert evaluation. It is also responsible to use several indicators, not only one. And to always take into account that the figures are comparable only within a discipline, at most. In the interpretation of  the results, the career phase of the researcher must always be taken into account. Evaluation should also be transparent. Scientists themselves are also responsible to discuss the use of these indicators.

National discussion about the need for common rules of using indicators and metrics has started. The Federation of Finnish Learned Societies (TSV) has established a working group to create guidelines of responsible researcher evaluation. The same topic has been processed in the publishing metrics working group of the Network for Research Services and Administration (TUHA). The DORA Declaration, the Leiden Manifesto and the responsible use of  the Publication Forum have been studied with care. Right now, it is important to increase the knowledge about the limitations and benefits of indicators among all parties. People make responsible metrics.

Further reading:
Metric Tide
Metrics Toolkit

Kaisa Hartikainen, Jussi Hyvärinen, Heikki Laitinen, Virpi Lindi, Mari Niemi, Tuulevi Ovaska, Maarit Putous & Tomi Rosti, tietoasiantuntijoita | information specialists
Opetus- ja tietopalvelut | Training and information services
Verkko- ja julkaisupalvelut | Library IT and publishing services
Jarmo Saarti, kirjastonjohtaja | library director

Käännöksen oikoluku | English language checking: Suvi Tolvanen

Jaa tämä / Share this
Share

NWB 2017 : Pohjoismaisen bibliometriikkaworkshopin parhaat palat | Highlights of the Nordic Workshop on Bibliometrics and Research Policy

(Please, scroll down to read in English.)

Osallistuimme 22:nteen pohjoismaiseen bibliometriikka- ja tutkimuspolitiikkaworkshopiin Tieteiden talossa Helsingissä. Kokosimme tähän ohjelman kohokohdat juuri meille.

Tomin ajatuksia tutkijanäkyvyydestä

Ensimmäinen päivä käynnistyi Kim Holmbergin puheenvuorolla tutkijoiden näkyvyyden mittaamisesta. Puheenvuorossa lähdettiin liikenteeseen tieteellisen viestinnän määritelmästä, jossa huomioitiin sekä muodollinen että epämuodollinen viestintä ja haasteet näiden mittaamiselle. Tieteellisessä viestinnässä yksiköiden määrä on kasvanut runsaasti viime vuosien aikana. Toisaalta tämä mahdollistaa paremmin metriikkojen hyödyntämisen, mutta toisaalta se tuo mukanaan epävarmuuden muun muassa manipuloinnin muodossa. Holmberg korostikin puheenvuorossaan, että altmetriikkaa ei pidä käyttää tutkimuksen arviointiin. Käytännössä altmetriikkaa kannattaisi ehkä hyödyntää vaikuttavuuden mittauksessa, jos käytettävät tiedot ovat riittävän luotettavia. Holmberg viittasikin tähän hyvin, että eri alustoilla tuotettujen altmetriikkojen merkitys ja sovellettavuus ovat edelleen määrittelemättä tai ne ovat muutoin epäselviä. Altmetriikan keinoin voidaan kuvailla vaikuttavuutta eri näkökannoista ja ottaa tarkasteluun erilaisia dimensioita. Tämä antaakin altmetriikan käytölle lisähaasteita, kuinka niitä tulisi lopulta tulkita ja millaisia sovelluksia tai ohjelmia tarvitaan optimaaliseen hyödyntämiseen

Toinen mielenkiinnon kohde päivälle oli Terry Bucknellin puheenvuoro. Aluksi asiaa lähdettiin pohtimaan tekijään liittyvien haasteiden kautta: pohjimmaisena ideana on, että tulisi nähdyksi ja kuulluksi. Tutkija onkin usein ristipaineessa: rahoittaja tahtoo yhtä, työnantaja toista ja lisäksi ovat vielä tutkijan omat intressit. Tutkijalla on mahdollisuuksia kasvattaa näkyvyyttään erilaisin keinoin, hyödyntämällä sosiaalista mediaa, blogeja, Wikipediaa, tviittauksia, uutispostauksia, YouTube-kanavia tai vaikka verkossa toimivia tutkijayhteisöjä. Alla oleva kuva kuvastaa eri tietovirtojen kehittymistä tutkimuksen julkaisemisesta lähtien.

Lähde: http://symplectic.co.uk/guest-blog/research-data-mechanics/

Tutkijalla voisi altmetriikan kautta saada vastauksia kysymyksiin: Kuka on kiinnostunut tutkimuksestani? Miten voisin todistaa tutkimukseni vaikuttavuutta? Miten löytäisin mahdollisia yhteistyökumppaneita? Onko käyttämäni viestintäsuunnitelma tehokas? Mikä on ”kuuma” aihe tutkimusalallani? Missä tulisi julkaista näkyvyytesi maksimoimiseksi? Mitä sosiaalisen median tilejä ja blogeja minun tulisi seurata? Tärkeätä on kuitenkin huomata, että eri välineillä voidaan yhdistellä tietoja ja voidaan laskeskella keskimääräisiä arvoja yksittäisille julkaisuille, mutta luonnollisesti tämähän ei ole tae näkyvyydestä muutoin kuin tilastollisesti, eli edelleen tutkimusaihe ja sisältö vaikuttavat näkyvyyden määrään.

Virpin workshop-ajatuksia

Kun Helsingin yliopiston professori emeritus Ilkka Niiniluoto avasi torstaina 9.11.2017 varsinaisen workshopin, kaksi keskeistä ohjetta osallistujille oli, kysykää ja esittäkää kommentteja esittäjille ja olkaa ystävällisiä kaikille! Näillä ohjeilla workshop sujuikin hyvässä hengessä alusta lähtien.

Torstaipäivältä, ja miksei koko workshopin ajalta, itselleni yksi keskeinen anti oli kuulla esityksiä bibliometriikan käytöstä ja siihen liittyvistä haasteista yhteiskuntatieteellisessä ja humanistisessa tutkimuksessa, joka on minulle hyvin vieras tutkimusalue, koska oma taustani on niin vahvasti terveys- ja lääketieteellisessä tutkimuksessa. Erittäin mielenkiintoinen oli myös Fredrik Piron esitys uusimmasta NORIA-net–raportista, jossa vertaillaan pohjoismaisia yliopistoja ja yliopistosairaaloita bibliometriikan avulla. NORIA-net:n yksi keskeinen periaate on tutkimuslaitosten tutkimusaktiivisuuden ja tutkimuksen vaikuttavuuden vertailu, mutta ei tutkimuslaitosten paremmuusjärjestykseen laittaminen. Lisäksi verkosto pyrkii kehittämään uusia vertailuindikaattoreita.  Erityisesti jäi mietityttämään tulos, jonka mukaan suomalaisten tutkimuslaitosten aktiivisuus kliinisessä lääketieteessä ja terveystieteissä on muita pohjoismaita alhaisempi, kun taas esimerkiksi biologiassa, materiaalitieteissä, matematiikassa, tilastotieteissä ja fysiikassa olemme muita pohjoismaita aktiivisempia.

Työhöni tutkimuksen tuen tiimissä sain eniten työvälineitä ja ideoita perjantai päivän posterisessiossa, josta tässä nostan esille erityisesti kaksi posteria. Toinen posteri käsitteli Data-asiain kansalliskomitean Avoin tiede ja tutkimus –hankkeessa (ATT) tuottamia suosituksia tutkimusdataan viittaamisen käytäntöjen kehittämisestä Suomessa. Posteri kuvasi dataviittaustiekartan ensimmäisen luonnoksen, ja sitä oli esittelemässä Data-asiain kansalliskomitean sihteeri Heidi Laine. Juttelin Heidin kanssa ja hän kertoi, että tämän vuoden lopussa valmistuu hankkeen loppuraportti, ja ensi vuoden alusta Heidi jatkaa osittain saman asian tiimoilta uudessa toimenpideohjelmassa. Toista posteria oli esittelemässä Aalto yliopiston johtamisen tukipalveluista tietoasiantuntija Leena Huiku. Hän kertoi minulle, kuinka he tuottavat bibliometrisiä palveluja yliopistolle Tenure Track –hakujen tueksi, jotta Aalto yliopistoon saadaan rekrytoitua kansainvälisiä huippututkijoita. Tämä palvelumalli on ollut nykyisessä muodossaan toiminnassa ymmärtääkseni vuodesta 2015 lähtien, ja kaksi tenure track -paikkaa on tähän mennessä täytetty käyttäen hyväksi tätä palvelua.

Tomi ja Virpi kuuntelemassa Ilkka Niiniluodon avauspuheenvuoroa. Kuva: Tuulevi Ovaska

Tuulevin pohdiskeluja näkyvyydestä ja vaikuttavuudesta

Nostan perjantailta esille kaksi mieleenjääneintä esitystä, joiden aihepiirit liittyvät tutkimuksen ja tutkijoiden näkyvyyteen ja siihen, onko sillä jotakin tekemistä vaikuttavuuden kanssa.

Arto Lanamäen (Oulun yliopisto) otsikkona oli “Is Any Social Media Publicity Good Publicity? The Case of @RealPeerReview and Altmetrics”. Kysymys on hyvä ja monisyinen. Kyseisen Twitter-tilin tavoitteena on kritisoida ja suorastaan mollata tiettyjen tieteenalojen tutkimusjulkaisuja sarkastisesti ja parodioiden. Sen twiittejä jaetaan ahkerasti, luultavasti myös automatisoiduin keinoin, joten linkitettyjen julkaisujen Altmetric-donitsin lukemat voivat nousta suuriksikin.  Myös monet muut altmetriikka-työkalut laskevat twiittejä. Tutkimus saa siis näkyvyyttä sosiaalisessa mediassa eivätkä numerot kerro, onko se positiivista vai negatiivista. Toki Altmetric-donitsia voi klikata nähdäkseen yksityiskohtaisempia tietoja siitä, mikä on vaikuttanut huomioarvoon, sillä nimenomaan huomiosta on kyse. Lanamäen mukaan tutkimuksen vaikuttavuuden mittaamisen takana on vähintään implisiittinen oletus siitä, että kaikki julkisuus on hyvää julkisuutta: Bibliometriikka kohtelee kaikkia viittauksia samanarvoisina, vaikka kaikkia viittauksia ei ole tehty myönteisessä mielessä, ja vastaavasti altmetriikka-indikaattorit eivät kerro vaikuttavuudesta vaan huomiosta tai suosiosta. Jäin pohtimaan, toteutuvatko @RealPeerReview:n tavoitteet tehdä esimerkiksi sukupuolen- tai kulttuuripolitiikantutkimus naurettaviksi nimenomaan lisäämällä niiden huomioarvoa, vai osaavatko alojen tutkijat hyödyntää saamansa julkisuuden, vaikka se tätä kautta näyttäytyykin kielteisenä. Sosiaalisen median maailmassa ei koskaan tiedä.

Hieman toinen tulokulma sosiaaliseen mediaan oli Bergenin yliopiston Susanne Mikkillä and Marta Zygmuntowskalla aiheesta “Citation and social media impact with regard to open publishing” sillä he tutkivat julkaisujen avoimuuden vaikutusta sekä näkyyvyyten sosiaalisessa mediassa että viittausmääriin. He halusivat selvittää muun muassa, miten suuri osa norjalaisista tutkimusartikkeleista on avoimia ja vaikuttaako maininta sosiaalisessa mediassa viittausmääriin? Käyttäen CERES:stä (Nasjonalt senter for felles systemer og tjenester for forskning og studier/National Center for Systems and Services for Research and Studies) saatuja DOI-tunnisteita he tekivät hakuja Google Scholarista ja Altmetric.comista, ja saivat selville, että 70 % kaikista norjalaisista artikkeleista oli avoimia ja että avoin julkaiseminen oli selkeästi etu. Avoimet artikkelit saivat lähes 30 % enemmän mainintoja sosiaalisessa mediassa ja kaksi kertaa enemmän viittauksia kuin maksulliset artikkelit. Heidän johtopäätöksensä on, että avoin julkaiseminen ja verkostoituminen ovat tieteellisen viestinnän tulevaisuus. Myös maailmanlaajuisesti on todettu, että avoin julkaiseminen lisää viittausmääriä merkittävästi. Kiinnostuin tietysti siitä, kuinka suuri osa suomalaisista tieteellisistä julkaisuista on avoimia, mutta samalla tavalla kuin Norjassa sitä ei liene vielä selvitetty. ATT:n mukaan Suomessa vuosien 2008-2011 aikana ilmestyneistä tieteellisistä julkaisuista arvioidaan tällä hetkellä olevan avoimesti saatavilla noin 48 %. Komission asettama Europan Unionin laajuinen tavoite on 60 % julkaisuista avoimena vuoteen 2020 mennessä. Norjassa ovat avoimuusasiat siis aika hyvällä mallilla EU-maihin verrattuna.
Lopuksi: Kannattiko osallistua? Miksi? Menisitkö uudelleen?
  • Tomi: Ehdottomasti. Monipuolisia puheenvuoroja metriikan nykytilasta. Tottahan toki, mikäli mahdollista.
  • Tuulevi: Ilman muuta kannatti. Näkökulmat biblio- ja muuhun metriikkaan olivat niin monitahoiset, että monenlaisille osallistujille riitti kiinnostavaa kuultavaa. Tottakai, miksei vaikka ensi vuonna Ruotsin Boråsiin.
  • Virpi: Yllätyin positiivisesti siitä, että myös ensikertalainen sai paljon irti workshopista. Lähtisin mielelläni myös uudelleen.
Lisätietoja:

Workshopin esitykset tulevat jakoon FigSharessa

Workshopin osallistujat | Participants of the workshop. Lähde | Source: http://blogs.helsinki.fi/nwb-2017/

We participated in the 22nd Nordic Workshop on Bibliometrics and Research Policy at the House of Science and Lettes in Helsinki. This is a brief summary of our report of the highlights.

Pre-workshop on research visibility

The first day started with Kim Holmberg’s speech on ”Measuring researchers’ online visibility”. He started the presentation with the definition of scientific communication. The definition was wide and acknowledged both the formal and informal communication in the scientific area. Holmberg mentioned some challenges in measuring them. In scientific communication, the number of units has increased significantly over the past few years. On the one hand, this makes it easier to use metrics but on the other hand, you have to remember the possibility of manipulated data. In his speech, Holmberg emphasized that altmetrics shouldn’t be used to evaluate a research. In practice, it would be worthwhile to use altmetrics in measuring the effectiveness if the data used were sufficiently reliable. Holmberg also pointed out that the significance and applicability of the altmetrics produced on different platforms are still unspecified or otherwise unclear. Altmetrics can be used to describe the impact from different perspectives and to consider different dimensions. This brings further challenges to altmetrics: how to interpret the results and what kind of applications or tools are needed.

Another point of interest for the day was the speech by Terry Bucknell. The presentation begun with a reflection on the factors related to the authorship: the basic idea is to be seen and heard. The researcher is often between a rock and a hard place; the funder wants one thing, the employer wants another, and, in addition, there are also the researcher’s own interests. The researcher has the possibility to increase his/her visibility by various means, using social media, blogs, Wikipedia, tweets, news posts, YouTube or even online researcher communities. The picture below shows the typical timeline of attention.

Source: http://symplectic.co.uk/guest-blog/research-data-mechanics/

With the help of altmetrics, the researcher could find answers to the following questions: Who is interested in my research? How can I prove the effectiveness of my research? How can I find potential partners? Is the communication plan I used effective? What is the ”hot topic” in my research field? Where should I publish in order to maximize my visibility? What social media accounts and blogs should I follow? However, it is important to note that with different tools you can combine data and calculate average values for individual publications, but of course, there is no guarantee of visibility, except for statistical purposes. The research topic and content still determine the visibility.

Virpi’s thoughts on the workshop

In his opening words,  professor emeritus of University of Helsinki Ilkka Niiniluoto advised us to ask questions and comment after every presentation and be friendly to everybody! With these words, the workshop went in high spirits from beginning to end.

For me, one of the most essential parts of the workshop was to hear presentations on use of bibliometric indicators in social sciences and humanities which are very unfamiliar disciplines for me as my background is more in health sciences and medicine.  A very interesting presentation was also Fredrik Piro’s  speech on the latest Noria-net report. The purpose of the Noria Network is to compare research activity and research impact of Nordic universities and higher education sectors by bibliometric indicators. In addition, the network develops new indicators. It is noteworthy, however, that the aim is not to rank the higher education institutions. I was a little bit surprised at the finding that the research activity of Finnish higher education sectors is lower in clinical medicine and health sciences and higher in biology, material science, mathematics, statistics and physics compared with other Nordic countries.

I also want to highlight two posters that I found very informative from my standpoint in the research support team in the UEF library. The poster presented by Heidi Laine described the first draft for a data citation roadmap for Finland that has been produced by the Finnish Committee for Research Data executed in the Open Science and Research Initiative. I talked with Heidi, who is a coordinator of the project, and she told me that closing report of the initiative will be ready by the end of this year. At the beginning of the next year, Heidi will continue in another project that will partly concern the same issues.  Another poster was presented by Leena Huiku from the Management Information Service at the Aalto University. She told me that since 2015 they have offered bibliometric services to support Tenure Track recruiting processes at Aalto University.  The purpose is to get  international top researchers to apply open Tenure Track positions at Aalto University and by now two posts have already been filled using this service.

Tomi and Virpi listening to Ilkka Niiniluoto’s opening words. Photo: Tuulevi Ovaska

Tuulevi’s contemplations on publicity, visibility and impact

I concentrate here on two presentations from Friday, focusing on research and researcher visibility, and whether it has something to do with impact.

The title of Arto Lanamäki‘s (University of Oulu) presentation was “Is Any Social Media Publicity Good Publicity? The Case of @RealPeerReview and Altmetrics”. The question is good and complex. The purpose of this Twitter account is to criticize and even mock publications in certain disciplines using sarcasm and parody. The tweets are widely distributed, probably also by automation, so the Altmetric donut scores of the linked papers easily rise. Many other altmetrics tools also count tweets. So, these papers get visibility in social media but the numbers do not tell whether it is positive or negative. Of course, the Altmetric badge can be clicked to see more detailed information about what kind of attention has been counted. According to Lanamäki, behind the measurement of research impact there is at least an implicit assumption that all publicity is good publicity: Bibliometrics treat all references equally even though all references are not positive, and altmetrics indicators do not indicate impact, but attention or popularity. I wonder if @RealPeerReview’s aims to ridicule for example gender studies or cultural politics are met when they get more attention, or if the researchers in these fields can turn the visibility to their advantage, even though it is presented as negative. In the world of social networks, you never know.

Slightly another angle to social media was presented by Susanna Mikki University and Marta Zygmuntowska (University of Bergen) in the presentation called “The Citation and Social Media Impact with Open Publishing”. They studied the impact of open publications, their visibility in social media and their citation volumes. They aimed to find out among other things, the open-share of all Norwegian articles, and if there is a citation advantage to articles mentioned on social media. Based on the scholarly output in Norway, using DOIs from CERES, the Current Information System in Norway, and searching Google Scholar and Altmetric.com, they found out that 70% of all Norwegian articles were open and that there was a clear advantage for open publishing. Open articles received almost 30% more mentions on social media and twice as many citations than articles behind the paywall. They concluded that open publishing and social engagement are the future of scholarly communication. It has also been internationally shown that open publishing increases the number of references significantly. Of course, I got interested in the percentage of open publications in Finland, but it has not been investigated in the same way as in Norway. According to ATT, approximately 48% of the scientific publications published in Finland during the 2008-2011 period are estimated to be currently open. The objective of ATT is for Finland to become one of the leading countries in the openness of science and research by the year 2017 and to ensure that the possibilities of open science will be widely utilised in our society. The target of the European Commission is 60% of open publications by the year 2020. In Norway, therefore, they are already more open than in the EU countries.

Finally: Was is worthwhile? Why? Would you attend again?
  • Tomi: Absolutely. There were good speeches on current topics on metrics. Of course, if possible.
  • Tuulevi: Absolutely. There were many different viewpoints to bibliometrics and other metrics for participants with different interests. Of course, why not next year in Borås, Sweden.
  • Virpi:  I was positively surprised that also a newcomer made a great deal out of the workshop.  I would gladly participate again.
More information:

Workshop proceedings will be available at FigShare

Virpi Lindi, tietoasiantuntija | information specialist
Tuulevi Ovaska, erityistietoasiantuntija | information specialist & communications coordinator
Tomi Rosti, tietoasiantuntija | information specialist
Opetus- ja tietopalvelut | Training and information services

Jaa tämä / Share this
Share