Avoimen tieteen syyspäivät | Open science autumn days

(Please, scroll down to read briefly in English.)

Itä-Suomen yliopistossa innostuimme lähtemään useamman ihmisen voimin kohti Helsinkiä ja Tieteellisten seurain valtuuskunnan (TSV) järjestämiä Avoimen tieteen syyspäiviä. TSV sai vuoden alusta kansallisen vetovastuun tieteen avoimuuden edistämisessä, eli tehtävän, joka aiemmin kuului Opetus- ja kulttuuriministeriölle. Avoimen tieteen edistäminen ei onnistu keneltäkään yksin, joten syyspäivien tarkoitus olikin perustaa työryhmät asian edistämiseksi.

Avoimen tieteen uudet kansalliset asiatuntijaryhmät ovat datan, julkaisemisen, oppimisen sekä tiedeyhteisön avoimuuden asiantuntijaryhmät. Nämä jakaantuvat kukin teemaryhmiin, joita on kolmesta viiteen kussakin ryhmässä. Jakauduimme kukin yhteen ryhmään, jolloin saimme kattavan kuvan ajankohtaisista avoimen tieteen asioista, ja toisaalta pääsemme tätä kautta itse vaikuttamaan kansallisen tason päätöksentekoon. Asiantuntijaryhmiin on lisäksemme UEFin kirjastosta ilmoittautunut myös kaksi palvelupäällikköä.

Työryhmien luonne on sillä tavalla erityinen, että niillä ei ole ylhäältä johdettua rakennetta, eikä kenenkään mandaattia. Lupa toimimiseen syntyy jokaisen jäsenen omasta asiantuntijuudesta, sekä kiinnostuksesta avoimen tieteen aiheita kohtaan. Tarkoituksena on saattaa yhteen asian parissa oikeasti työskentelevät ja jättää ajatus viran puolesta toimimisesta pois. Ajatus on ennen kokeilematon tässä mittakaavassa Suomessa, joten olemme kaikki innoissamme uudenlaisesta lähestymistavasta.

Avoimen tieteen syyspäivät järjestettiin Helsingissä Tieteiden talolla | Kuva:  Taina Sahlman

Päivien sisällöt ovat vapaasti luettavissa ja kuunneltavissa Avoin tiede -sivustolla.  Myös ilmoittautuminen asiantuntijaryhmiin ja niiden alaisiin teemaryhmiin on kaikille avointa ja toivottavaa. Erityisesti oppimisen avoimuuden ja julkaisemisen avoimuuden työryhmiin kaivataan substanssiosaamista ja -asiantuntijoita mukaan, vaikka totta kai erityisesti tutkimuksen tukipalvelut ovat tällä kentällä keskeisessä roolissa. Kaiken kaikkiaan nyt on aika saada eri toimijoiden asiantuntijuudet kohtaamaan, rahoittajista opettajiin ja tukipalveluista tutkijoihin.

 

Open Science autumn days

The Federation of Finnish Learned Societies organized a two-day workshop on the topic of national collaboration in open science. The aim of the workshop was to kick-start the operation of four expert groups, each focusing on different aspects of open science: open data, open publishing, open learning and open scientific community. These groups are for anyone with the necessary expertise and the desire to create national practices, the diversity of specialists is what makes this type of operation special. The groups are open for researchers, teachers, policy makers, funders, librarians etc. Eventhough the work has already started, you can still act and join.

Antti Laurila, tietojärjestelmäasiantuntija | IT Systems Specialist
Verkko- ja julkaisupalvelut | Library IT- and publishing services
Taina Sahlman, tietopalveluneuvoja | information services advisor
Verkko- ja julkaisupalvelut | Library IT- and publishing services
Anne Karhapää, tietoasiantuntija | information specialist

Opetus- ja tietopalvelut | Training and information services
Tomi Rosti, tietoasiantuntija | information specialist
Opetus- ja tietopalvelut | Training and information services

Jaa tämä / Share this
Share

Varo saalistajia! | Beware of predators!

(Please, scroll down to read in English.)

SAALISTAJAT OVAT EPÄREHELLISIÄ RAHASTAJIA

Avoin julkaiseminen (open access) on hyödyllistä monestakin näkökulmasta katsottuna. Yksi tärkeimmistä eduista on maksuttomuus. Avoimet tieteelliset julkaisut ovat vapaasti kaikkien käytettävissä ilman erillistä korvausta. Maksuttomuus ei kuitenkaan tarkoita samaa kuin ilmaisuus. Kustannustoiminnasta koituu aina kustannuksia julkaisumallista riippumatta.  Avoimen julkaisutoiminnan kustannukset katetaan tilausmaksujen asemesta kustantajille maksettavilla julkaisumaksuilla (APC, article processing charge). Näitä maksuja maksavat useimmiten kirjoittajat, heidän taustaorganisaationsa tai muut tutkimuksen rahoittajat. Epärehelliset toimijat – saalistajat – ovat huomanneet tässä markkinaraon. Saalistajia toimii ennen kaikkea lehtiartikkelien julkaisemisessa.

Saalistaja uskottelee olevansa asiallinen kustantaja tai lehti. “Lähetä meille käsikirjoituksesi ja maksa julkaisumaksu, julkaisemme artikkelisi nopeasti.” Tosiasiassa tavoitteena on vain huijata rahaa julkaisumaksujen varjolla. Tarjottua käsikirjoitusta ei välttämättä julkaista ollenkaan. Jos julkaiseminen toteutuu, voi vertaisarviointi olla puutteellinen tai sitä ei ole lainkaan tehty. Tällainen julkaisu on arvoton tieteellisessä mielessä, ja rahan menettäminen on harmillista. Saalistajakustantajien toiminta on selvää verkkorikollisuutta.

MISTÄ SAALISTAJAN TUNNISTAA

Saalistajakustantajat pyrkivät tekemään verkkosivuistaan uskottavan näköisiä. Usein sivuilla mainitaan suuri määrä lehtiä lähes kaikilta mahdollisilta aloilta. Saalistajalehtien nimet ovat tieteellisen oloisia matkien luotettavia ja tunnettuja julkaisuja.

Julkaisun ISSN-tunnus ei ole laadun tae, koska sen saa suhteellisen helposti lähes millaiselle lehdelle hyvänsä. Saalistajalehdet voivat myös ilmoittaa sivuillaan tekaistuja Impact factor -arvoja. Näin tarkistat onko lehdellä oikeasti IF.

Muita saalistajan tunnusmerkkejä ovat:

  •  Aggressiivinen mainostus sähköpostissa. Henkilöllä on esimerkiksi ollut esitys tieteellisessä konferenssissa, ja pian tämän jälkeen hän saa sähköpostiinsa saalistajakustantajalta pyynnön julkaista artikkeli heidän lehdessään.
  •  Luvataan julkaista artikkeli nopeasti. Koska toimitustyö ja vertaisarviointi vievät aikaa, ei julkaiseminen esimerkiksi viikon sisällä käsikirjoituksen lähetyksestä voi olla realistista.
  • Kirjoitusohjeet (Instructions for authors) ovat ylimalkaiset tai niitä ei ole lainkaan.
  • Julkaisumaksuista on vaikea saada tietoja etukäteen.
  • Matalat julkaisumaksut.
  • Kalastellaan sähköpostitse jäseniä lehden toimituskuntaan.
  • Hyväksytään toimituskuntaan ketä hyvänsä.
  • Luetellaan toimituskunnan jäseninä arvostettuja tutkijoita ilman heidän lupaansa.
  • Toimituskuntaa ei ole lainkaan tai se on tekaistu.
  • Artikkelien arviointiprosessia ei ole selvennetty.
  • Kustantajan yhteystiedot ovat epämääräisiä tai ne puuttuvat, on vain jokin sähköpostiosoite tai lomake.
  • Sähköposteihin vastataan pitkällä viiveellä.
  • Lehdellä on mielikuvituksellinen, kaikenkattava nimi (International Multidisciplinary Research Journal, Journal of Nature and Science).
  • Harrastelijamaiset kotisivut.
TYÖKALUJA TUNNISTAMISEN HELPOTTAMISEKSI

Yleisenä periaatteena on, että etsitään kustantajan ja/tai lehden tietoja luotettaviksi tunnetuista lähteistä. Jos mitään ei löydy, pitäisi hälytyskellojen soida.

Aluksi kannattaa tarkistaa, sisältyykö lehti Julkaisufoorumin tietokantaan. Lehdellä pitää olla vähintään tasoluokka 1. Luokka 0 sisältää Julkaisufoorumin oman ilmoituksen mukaan myös “epäilyttäviä open access -lehtiä.”

Julkaisufoorumin lisäksi katsotaan, löytyykö lehteä laadukkaiksi tiedetyistä kirjallisuusviitetietokannoista. Lehdet niihin valitaan tieteellisin kriteerein. Tällaisia tietokantoja ovat esimerkiksi monitieteiset Scopus ja Web of Science. Scopuksen lehtilistaan pääsee klikkaamalla tietokannan etusivun yläreunasta kohdasta Sources. Web of Sciencen lehdet löytyvät etusivun yläreunasta kohdasta Journal Citation Reports. Täältä voi myös tarkistaa lehden virallisen Impact factor -arvon, sikäli kuin se on saatavilla.

Edellä mainitut tietokannat eivät sisällä kaikkia mahdollisia open access -lehtiä. Tarvittaessa jatketaan tutkimusta DOAJ-tietokannassa. Se sisältää yli 12000 laadukasta, vertaisarvioitua avointa julkaisua. DOAJ on kustantajista riippumaton ja se saa kaiken rahoituksensa lahjoituksina.

Tietokannoista voi myös tarkistaa nimihaulla, mitä lehden päätoimittaja ja toimituskunnan jäsenet ovat mahdollisesti julkaisseet. Epäilykset heräävät silloin, kun mitään ei löydy, tai löytyy vain joitain toisarvoisia artikkeleita. Tekijöiden etsinnässä kannattaa kokeilla myös UEF-Finnan kansainvälisten artikkelien hakua.

On hyvä tarkistaa, kuuluuko kustantaja Open Access Scholarly Publishers Association -nimiseen järjestöön. Siihen liittyneet ovat käyneet läpi laadunarviointiprosessin ja sitoutuneet julkaisueettisiin sääntöihin.

Think. Check. Submit. = Mieti. Tarkista. Lähetä. -palvelu tarjoaa myös ohjeistusta luotettavan lehden valintaan.

On olemassa myös saalistajakonferensseja. Varo myös niitä.

Lue lisää: Kuinka välttää saalistajajulkaisuja? (Vastuullinen tiede)

KIRJASTO AUTTAA

Jos kustantajan tai lehden tarkistaminen tuntuu hankalalta tai jää epäilys, että kyseessä olisi saalistaja, kannattaa ottaa yhteyttä kirjastoon. Autamme mielellämme ongelman ratkaisemisessa. Yhteydenotto käy helpoimmin lähettämällä sähköpostia osoitteella tietopalvelu@uef.fi.

Kuva | Photo: Pixabay CC0

IN ENGLISH

PREDATORS ARE DISHONEST MONEY COLLECTORS

Open access publishing is advantageous from many standpoints. One of the most important advantages is free access of publications for everyone. Being free does not mean that there are no costs involved. The costs of open access publishing are covered by article processing charges (APC) instead of subscription fees. Usually authors or their organizations pay APCs. Dishonest actors – predators –  have found their niche here. Predators operate usually in journal article publishing business.

The predator misleads the author into believing that it is a trustworthy publisher or journal. “Send your manuscript to us and pay the APC, we publish your article rapidly.” In reality the predator only wants to defraud money under cover of the APC. The manuscript may not be published at all. If it is published, peer review may be imperfect or it is not performed at all. This kind of publication is worthless, and it is too bad to lose money. To tell the truth, predatory publishers are network criminals.

HOW TO IDENTIFY A PREDATOR

Predatory publishers’ websites appear believable. Often they list plenty of journals from many different disciplines. The names of predatory journals resemble the names of reliable and well-known journals.

The ISSN is not a guarantee of quality, because it can be obtained easily for almost any kind of publication. Predatory journals may also have fabricated Impact factors. This how you can check if a journal has an IF.

Other distinctive features of a predator:

  • Aggressive advertising in e-mail. For example, a person has had a presentation in a conference and very soon after this a predator requests an article manuscript.
  • Promise to publish the article rapidly. Editing and peer review take time to accomplish. It is not realistic to publish the article very soon, for example within a week from the submission.
  • Instructions for authors are cursory or missing.
  • It is difficult to find information about APCs.
  • APCs are very low.
  • Members for the editorial board are phished in e-mail.
  • Anybody is accepted as a member of the editorial board.
  • Distinguished scientists are listed as members of the editorial board without their permission.
  • There is no editorial board, or it is made-up.
  • Peer review process is not explained.
  • Contact information of the publisher is vague or missing, only an e-mail address is given.
  • There are delays in answering to e-mails.
  • Journal has an imaginary, all-embracing name (International Multidisciplinary Research Journal, Journal of Nature and Science).
  • Website seems unprofessional, amateurish.
IDENTIFYING TOOLS

The general principle is to find publisher and journal information from reliable sources. Alarm bells should ring if nothing is found.

To begin with, check whether the journal is included in the Finnish Publication Forum database. Publication Forum Level must be at least 1, because Level 0 includes questionable open access journals also.

In addition to Finnish Publication Forum, try to find the journal in reliable journal article databases such as Scopus, Web of Science. Their content meets scientific criteria. To find journals included in Scopus, click Sources on top of the search screen. Web of Science journals can be found by clicking Journal Citation Reports on top of the search screen. Official Impact factors, if available, are listed here also.

The databases mentioned above do not contain all possible open access journals. Thus, check DOAJ. This database contains over 12 000 reliable, peer reviewed open access journals. The DOAJ is independent of publishers and it is funded by donations.

It is also useful to find out by author search whether the journal editor and editorial board members have published anything. Doubts rise when nothing is found, or there are only a few peripheral articles. UEF-Finna’s Search on international e-resources is also worth trying in author search.

Check also if the publisher is a member of the Open Access Scholarly Publishers Association. This organization has quality control procedure and a code of ethical conduct.

Finally, Think. Check. Submit. offers guidance in choosing a reliable journal.

There are also predatory conferences. Beware of them as well.

Read also: How to avoid predatory publications? (Responsible Resarch)

LIBRARY HELPS

Please contact the library if you have difficulties in verifying the publisher or the journal. We are here to help you. The easiest way to contact us is to send e-mail to information.services@uef.fi.

Heikki Laitinen, tietoasiantuntija | information specialist
Tuulevi Ovaska, erityistietoasiantuntija | information specialist & communications coordinator

Opetus- ja tietopalvelut | Training and information services

Käännöksen oikoluku | English language checking: Urho Heinonen

 

 

Jaa tämä / Share this
Share

Terveiset pohjoismaisesta bibliometriikka ja tutkimuksen arviointi -työpajasta | Greetings from the Nordic workshop on bibliometrics and research policy

(Please, scroll down to read in English.)

Vuosittain järjestettävä pohjoismainen työpaja bibliometriikasta ja tutkimuksen arvioinnista eli Nordic Workshop on Bibliometrics and Research Policy pidettiin tänä vuonna 7.-9. marraskuuta Boråsissa Ruotsissa. Yksipäiväisen pre-työpajan ja kaksi päivää kestäneen varsinaisen työpajan isäntänä toimi Boråsin korkeakoulu, jossa annetaan mm. kirjasto- ja informaatioalan koulutusta. Lisäksi Borås on merkittävä tekstiilikaupunki, ja taiteellisuus tuli esille myös kokousympäristössä mm. hauskojen patsaiden ja talojen koristeellisten julkisivumaalausten myötä.

Työpajan isäntänä toimi Boråsin korkeakoulu. (Kuva: Virpi Lindi)

Yhdeksi keskeiseksi aiheeksi työpajan esityksissä nousi tällä hetkellä muutenkin paljon esillä oleva vastuullinen metriikka, ja kirjaston merkitys vastuullisen metriikan käytön opastamisessa ja tiedottamisessa. Esimerkiksi Marianne Gauffriau Kööpenhaminan yliopiston kirjastosta antoi esityksessään Applying the Leiden Manifesto principles in practice – commonalities and differences in interpretation käytännön esimerkkejä siitä, kuinka Leidenin manifestin periaatteet toteutuvat tutkimuksen arvioinneissa.

Samaa aihetta sivusi myös Lundin yliopiston professori Merle Jacobsin esitys Open science and its discontents. Hän toi esityksessään esille avoimeen tieteeseen liittyviä kysymyksiä mm. miten avoin tiede vaikuttaa tulevaisuudessa tutkijoiden meritoitumiseen ja millaisia tekijöitä on otettava huomioon avoimien tutkimusaineistojen jatkokäytössä. Hän otti esille myös sen, että osa tieteellisistä kustantajista on tehnyt avoimesta julkaisemisesta uuden bisnesmallin.

Työpajassa oli myös useita esityksiä Suomesta. Esimerkiksi Janne Pölönen Tieteellisten seurain valtuuskunnasta (TSV) puhui omassa esityksessään Open access and the Nordic publication indicator: friends or enemies? mm. Julkaisufoorumin (Jufo) merkityksestä avoimessa julkaisemisessa ja Jufon vastuullisesta käytöstä julkaisukanavien tasoluokituksessa.

Viimeisimpänä mutta ei suinkaan vähäisimpänä matkan antina oli tietenkin verkostoituminen niin kansallisesti kuin kansainvälisestikin. Lämmin kiitos kaikille, joiden kanssa vietin työntäyteiset mutta hauskat kolme päivää Boråsissa. Ensi vuonna kokouspaikkana toimii Reykjavik, ehkäpä nähdään taas siellä!

Linkkejä:
Työpajan viralliset sivut (mm. ohjelma)
Työpajan suullisia esityksiä (osa)
Työpajan postereita (osa)

IN ENGLISH

This year the annual Nordic Workshop on Bibliometrics and Research Policy was held in Borås, Sweden on November 7-9. The one-day pre-workshop and the two-day workshop were hosted by the University of Borås, which offers education, among others, in Library and Information Studies. In addition, Borås is a significant textile town which was apparent also in the art of the meeting environment with funny statues and decorative facade paintings of houses.

The workshop was hosted by the University of Borås. (Photo: Virpi Lindi)

One of the key topics in the workshop was the responsible metrics and the importance of the library in guiding and informing of responsible metrics. For example, Marianne Gauffriau from the University of Copenhagen gave in her talk “Applying the Leiden Manifesto in Practice – Commonalities and Differences in Interpretation” practical examples of how the principles of the Leiden Manifesto are realised in the research assessments.

Professor Merle Jacobs from the Lund University brought up in her presentation “Open science and its discontents” issues related to open science, for example, how open science will affect the merits of researchers in the future and what factors need to be taken into account in the further use of open research data. She also pointed out that some of the scientific publishers have made a new business model for open publishing.

There were also several presentations from Finland in the workshop. For example, Janne Pölönen from The Federation of Finnish Learned Societies (TSV) described in his talk “Open access and the Nordic publication indicator: Friends or Enemies?” the role of the Publication Forum (Jufo) in open publishing and the responsible use of Jufo in the publishing channel classification.

A notable benefit from the workshop was, of course, networking both nationally and internationally. Warm thanks to all those with whom I spent hard-working but great three days in Borås. Next year Reykjavik will be the meeting place, maybe we will see there again!

Related links:

Workshop’s official website (e.g. the programme)
Some of the oral presentations
Some of the poster presentations

Virpi Lindi, Tietoasiantuntija | Information specialist
Opetus- ja tietopalvelut | Training and information services
Käännöksen oikoluku | English language checking: Suvi Tolvanen

Jaa tämä / Share this
Share

Avoimen tieteen ja tutkimuksen tuen palveluja rakentamassa | Building Open Science and Research Support Services

(Please, scroll down to read Briefly in English.)

Yhteistyössä on voimaa! Näin voi todeta kuIuneen kolmen vuoden rupeamasta, jonka aikana Itä-Suomen yliopiston kirjastossa on määrätietoisesti rakennettu tutkimuksen tuen ja avoimen tieteen palveluja. Vuoden 2015 syksyllä päätimme perustaa kirjastoon tutkimuspalvelujen suunnitteluprojektin, jonka tärkeimpiä tavoitteita oli perehtyä avoimeen tieteeseen ja selkiyttää kirjaston tehtävät ja rooli tutkimuksen tuen palveluissa. Projektilaisia oli lähes puolet kirjaston henkilökunnasta ja heidät jaettiin viiteen ryhmään: avoin julkaiseminen, avoimet tutkimusaineistot, tutkimuksen arviointi, tietoaineistot ja tiedonhaku, sekä  tutkimuksen näkyvyys.

Kolmessa vuodessa on ehtinyt tapahtua paljon. Kirjastoon on rekrytoitu uusia työntekijöitä tutkimuksen tuen palveluihin ja joidenkin entisten työntekijöiden toimenkuviin on tullut muutoksia. Avoimen tieteen perusteista on tulossa kirjastolaisten perusosaamista, parhaillaan onkin meneillään koko henkilöstölle suunnattu perehdytysohjelma. Asiantuntijaryhmänä toimii puolestaan seitsenjäseninen kirjaston tutkimuksen tuen tiimi. Tutkijoille tarjotaan koulutusta ja ohjausta mm. seuraavissa asioissa: tutkimusaineiston hallinta, avoin julkaiseminen, artikkelin kirjoittajamaksut, tutkijatunnisteet, tutkimuksen näkyvyys, metriikka sekä tutkijan tarvitsemat tietoaineistot.

Kirjasto on myös aktiivinen tiedonvälittäjä yliopistossa avoimen tieteen ajankohtaisista teemoista. Kirjastolaisten postauksia voi nähdä usein openUEF Yammer- ryhmässä ja pari kolme kertaa vuodessa ilmestyy Avoimen tieteen uutiskirje. Yhteistyötä yliopiston eri toimijoiden kanssa tehdään monella taholla ja kirjastolla on vahva edustus kesällä 2018 perustetussa akateemisen rehtorin johtamassa Avoimen tieteen työryhmässä.

Vuorovaikutus ja yhteistyö sekä kansallisella että kansainvälisellä tasolla on koettu tärkeäksi kirjastossamme. Avoimen tieteen ja tutkimuksen tuen palveluiden rakentamisesta kertova posterimme herätti kiinnostusta kesällä Lillessä Ranskassa pidetyssä Euroopan tieteellisten kirjastojen liiton LIBERin 47. vuosikonferenssissa.

Konferenssin jälkeen saimme Library Connect -ohjelman yhdysvaltalaiselta koordinaattorilta pyynnön kertoa webinaarissa tutkimuksen tuen ja avoimen tieteen palveluiden rakentamisesta. Library Connect on maailman suurimman tieteellisen kustantajan Elsevierin ohjelma, jonka puitteissa julkaistaan mm. uutiskirjeitä, artikkeleita sekä järjestetään erilaisia tieteellisille kirjastoille suunnattuja seminaareja ja webinaareja. Lokakuun alussa järjestetyssä webinaarissa kirjastomme esitystä seurasi lähes tuhat osallistujaa yli sadasta maasta. Esityksen pohjalta on myös julkaistu artikkeli A Strategic look at research support and open science services at our library.

Kirjastomme edustajaa pyydettiin pitämään esitelmä myös Puolan tieteellisten kirjastojen ja Elsevierin järjestämässä konferenssissa marraskuun alkupuolella Poznanissa. Yhteydenottoja on tullut myös Kanadasta ja Slovakiasta. Samat kysymykset tuntuvat askarruttavan avoimen tieteen toimintakulttuurin rakentajia kaikkialla maailmassa. Kuinka saada avoimen tieteen strategiset tavoitteet käytännön toiminnaksi?

The so-called Święcicki Bench, a monument situated in front of the Adam Mickiewicz University in Poznan, Poland

The University of Eastern Finland Library has been active in building research support and open science services since 2015. The process started as a project, the main goal of which was  to clarify the library’s role in this field. During the past three years many things have changed in the library. Today the library provides training and consultation services for the university researchers and new employees have been hired. The library has become an active promoter of open science.

Our experiences have aroused interest worldwide since the Library’s representatives presented a poster in LIBER’s 47th Annual Conference in Lille in France in July 2018.  The library’s experiences and services were presented in Elsevier’s Library Connect webinar series in October and a few weeks later in Polish academic libraries annual conference in Poznan in Poland. To read more, please see the article A strategic look at research support and open science services at our library. The article was published by Elsevier’s Library Connect program.

Helena Silvennoinen-Kuikka | Palvelupäällikkö
Opetus- ja tietopalvelut | Head of Information and Training Services

Tomi Rosti | Tietoasiantuntija
Opetus- ja tietopalvelut | Information and Training Services

Jaa tämä / Share this
Share

Millä meitä mitataan? | How are we measured?

(Please, scroll down to read in English.)

Yliopistomaailmassa törmää erilaisiin tutkimus- ja julkaisutoimintaa arvioiviin mittareihin, kuten impact factoriin, h-indeksiin, jufo-tasoihin sekä julkaisu- ja  viittausmääriin. Lue lisää tutkimuksen arvioinnista julkaisujen avulla. Mittareiden avulla saatavaa tietoa hyödynnetään esimerkiksi apurahahakemusten teossa, tehtävää tai tointa hakiessa, rekrytointia tehdessä ja tutkimustulosten julkaisukanavaa miettiessä. Mittareita tutkaillaan yhteistyökumppaneita etsiessä ja puhtaasti omasta mielenkiinnosta.

Mittareiden hakemiseen ja osittain myös laskemiseen on kehitetty erilaisia, suhteellisen yksinkertaisiakin, työkaluja ja palveluja, joten erilaisten tunnuslukujen saaminen ei sinällään välttämättä vaadi mitään erityistaitoja. Tutkimuksen ja julkaisutoiminnan arviointi on haastavaa, joten selkeän numeerisen luvun antavien mittareiden käyttäminen on houkuttelevaa. Tunnistammeko mittareiden käyttöön liittyvät rajoitukset ja osaammeko tulkita ja käyttää niitä vastuullisesti oikein?

Useimmat mittarit perustuvat siteerauksiin

Mittareista on hyötyä erityisesti sellaisilla tieteenaloilla, joilla tutkimustulokset julkaistaan artikkeleina kansainvälisissä vertaisarvioiduissa tieteellisissä lehdissä englannin kielellä. Tällaisia aloja ovat eksaktit tieteet (luonnontieteet) ja niihin perustuvat alat, kuten esimerkiksi biokemia, farmasia ja lääketiede. Toisin sanoen kyse on tieteenaloista, joiden julkaisut löytyvät metriikkaan erikoistuneista Scopus– ja Web of Science -tietokannoista.

Useimmat mittarit perustuvat siteerauksiin. Eksakteissa tieteissä viittauksiin perustuvien mittarien voidaan sanoa kuvaavan tutkimuksen vaikuttavuutta. Esimerkiksi h-indeksi suhteuttaa tutkijan julkaisumäärän ja siteerausmäärän toisiinsa. Mitä korkeampi h-indeksin arvo on, sitä enemmän tutkijalla on siteerattuja kärkijulkaisuja. Siteeraaminen on yksi osoitus siitä, että tutkimus tulee huomatuksi ja että sillä on merkitystä.

Mittarit ovat saman tieteenalan sisällä puolueettomia ja niiden laskentaperusteet läpinäkyviä. Numerot ovat faktaa eivätkä mielipiteitä. Esimerkiksi erilaisten akateemisten tehtävien täytöissä tällä on merkitystä. Valitsijat voivat saada mittarien avulla jokseenkin vertailukelpoisen kuvan hakijoiden tieteellisistä ansioista kansainvälisellä tasolla. Mittareiden aikasarjaa tutkimalla voidaan selvittää myös tutkijan urakehitystä: onko ura nousevassa vaiheessa,  jo vakiintunut, vaiko mahdollisesti laskusuunnassa.

mittareiden soveltuvuus vaihtelee tieteenaloittain

Humanistisia ja yhteiskuntatieteitä pidetään yleensä perinteisen metriikan välineillä tehtävään mittaukseen huonosti soveltuvina: näiden alojen lehdistä vain osa on Web of Sciencessa ja Scopuksessa, joiden ulkopuolelle jäävät myös monilla tieteenaloilla julkaisukanavina tärkeät monografiat. Tilanne ei toisaalta ole näin yksiselitteinen: artikkelijulkaisemisen yleistyessä perinteisillä kirja-aloilla mittaaminen käy eri tavalla mahdolliseksi, ja esimerkiksi Google Scholar ottaa huomioon myös kirjat ja niiden saamat viitteet. Lisäksi jotkin tieteenalat myös humanististen ja yhteiskuntatieteiden sisällä istuvat paremmin perinteisen metriikan välinein mitattaviksi. Vaikkapa psykologian ja neurolingvistiikan julkaisut ovat aivan eri tavalla mitattavissa kuin historia ja oikeustieteet. Tällöin korostuu jo aiemmin esiin tullut ohjenuora: eri tieteenaloja ei voi verrata keskenään.

altmetriikka

Tutkimusjulkaisujen näkyvyyden arvioinnissa käytetään myös vaihtoehtoiseksi metriikaksi ja artikkelitason metriikaksi nimitettyä altmetriikkaa, jonka ideana on selvittää, mitä tieteessä tapahtuu juuri nyt perinteisen metriikan analysoidessa jo tapahtunutta. Altmetriikan avulla voidaan seurata, miten paljon tiettyä julkaisua verkossa ladataan, jaetaan ja kommentoidaan.

Altmetriikkapalveluita on sekä maksuttomia, esim. Altmetric (osittain) ja Kudos, että maksullisia, esim. SciVal (käytössä UEFissa, myös perinteistä metriikkaa) ja PlumX. Monissa palveluissa, muun muassa UEF eRepossa, on käytössä Altmetric-palvelun huomiopisteiden (attention score) kuvake, niin sanottu donitsi. Klikkaamalla sitä on helppo nähdä, missä julkaisua on jaettu ja keskustellaanko siitä vaikkapa Twitterissä.

Altmetriikkaan kytkeytyy läheisesti tutkijoiden näkyvyys sosiaalisessa mediassa, esim. Twitter, ja verkkoyhteisöissä, esim. Academia.edu, LinkedIn, Mendeley ja ResearchGate. Lue lisää altmetriikasta ja tutkimuksen näkyvyydestä

miten tutkimuksen avoimuutta mitataan?

Tutkimustiedon avoin saatavuus ja tutkimuksen läpinäkyvyys ovat tieteellisen prosessin kulmakiviä. Jo tällä hetkellä useat rahoittajat, kuten Euroopan komission Horisontti 2020 -ohjelma ja Suomen Akatemia, edellyttävät avointa julkaisemista ja kannustavat tutkimusdatan avaamiseen, kun avaamiselle ei ole juridisia, eettisiä tai sopimusoikeudellisia esteitä. Tieteen avoimuuden tukeminen on keskeinen tavoite niin kotimaisissa kuin kansainvälisissäkin tiedelinjauksissa, mutta työ avoimuuden mittareiden kehittämiseksi on vielä kesken. Tieteen vaikuttavuutta mittaavat metriikat perustuvat edelleen pitkälti vertaisarvioituihin kansainvälisiin julkaisuihin eivätkä tunnista avoimia menetelmiä. Avoimuuden kulttuurin muutosta tulee edistää kannusteilla ja tutkijoita palkita avoimuudesta. Tavoitteena on, että avoimuuden indikaattoreita hyödynnettäisiin aidosti mm. virantäytöissä ja tutkimusrahoituksen jakamisessa.

mittareiden vastuullinen käyttö

Miten tutkimus- ja julkaisutoimintaa kuvaavia mittareita sitten tulisi käyttää? Ensinnäkin, arvioinnin lähtökohtien tulee olla mahdollisimman tarkat. Tietokannasta haettuja viitetietoja verrataan tutkijan julkaisuluetteloon. Tietokannat eivät välttämättä sisällä kaikkia tietyn tutkijan, tutkimusryhmän tai tieteenalan julkaisuja. Yliopistossamme filosofisen tiedekunnan raportointivuoden 2017 vertaisarvioiduista julkaisuista vain vajaa 45 % löytyi Scopuksesta tai Web of Sciencestä. Yhteiskuntatieteiden ja kauppatieteiden tiedekunnassa vastaava kattavuus oli 65 %. Terveystieteiden tiedekunnassa päästiin 90 %:iin ja luonnontieteiden ja metsätieteiden tiedekunnassa 94 %:iin.

Koska mittareiden antama tieto on lähinnä määrällistä, tulee niitä käyttää asiantuntija-arvioinnin rinnalla.  Vastuullista käyttöä on myös se, että tarkastellaan useita mittareita samanaikaisesti. Tärkeää on muistaa, että mittareiden antamat numerotiedot ovat vertailukelpoisia vain saman tieteenalan sisällä, jos sielläkään. Lisäksi tulosten tulkintaan pitää liittää tutkijan uravaihe.  Arvioinnin kohteilla tulisi olla mahdollisuus testata ja todentaa tulokset, jolloin toimintaa voidaan pitää läpinäkyvänä molemmille osapuolille.

Vastuulliseen käyttöön kuuluu myös tieteen sisäinen vuoropuhelu siitä, mihin mittareita käytetään, mittaavatko ne oikeita asioita ja onko indikaattoreissa päivittämistarpeita.

Tutkimus- ja julkaisutoiminnan mittaaminen on ajankohtainen aihe, sillä myös valtakunnallisesti on aloitettu keskustelu siitä, olisiko Suomessa tarvetta yhteisille metriikan käytön pelisäännöille. Kansallisia linjauksia mittareiden käytöstä on odotettavissa lähitulevaisuudessa. Tieteellisten seurain valtuuskunta on perustanut työryhmän valmistamaan tutkijan vastuullista arviointia koskevan suosituksen. Lisäksi samaa aihepiiriä on käsitelty  Tutkimushallinnon verkostossa julkaisumetriikan työryhmässä, jonka aloitusseminaarissa käytiin läpi DORA-julistusta, Leidenin tutkimusmetriikkamanifestia ja Julkaisufoorumin vastuullista hyödyntämistä. Juuri nyt keskeistä on lisätä eri toimijoiden, kuten tutkijoiden, opettajien, rahoittajien ja tutkimushallinnon, tietoisuutta mittareiden rajoituksista ja eduista. Ihmiset tekevät vastuullisen metriikan.

Lue lisää:
Metric Tide
Metrics Toolkit

Kuva | Photo: Pixabay (CC0)

in English

Universities use different indicators, like impact factor, h-index or number of publications, to measure research output. Read more about evaluating research via publications. The information produced using these indicators is used, for example, in research grant applications, in applying for an office and in recruiting. They are also explored when looking for research partners and purely out of interest. There are different tools and services that are mostly easy to use. It is tempting to use clear numerical indicators as the assessment of research and publications is demanding. Do we recognise the limitations of these indicators? Do we know how to use them responsibly?

most indicators are based on citations

Bibliometrics is useful especially in exact sciences (natural sciences) and related disciplines, such as biochemistry, pharmacy and medicine. Publishing in these disciplines is standardised to peer-reviewed journal articles in English language. All or most of the articles may be found in Scopus and Web of Science databases. Thus, the quantitative analysis of publishing is possible. Bibliometrics is based on citations. Citation practices in science are well established. Considering all this, bibliometrics can be said to offer justified means to analyse research impact in science. Bibliometrics is objective and transparent within a discipline. Numbers represent facts. There is a need for this kind of information, e.g. in fulfilling academic positions. The applicants’ academic merits can be comparatively evaluated on an international level by using metrics. Time series of metrics are useful in finding out whether a career ladder is ascending, established or descending.

disciplines cannot be compared using bibliometrics

Usually, humanities and social sciences are not considered suitable for traditional bibliometrics. Only part of the journals in these fields are indexed for Scopus or Web of Science and monographies are not indexed at all. However, the situation is not that unequivocal as publishing articles is becoming more common also in these disciplines and as Google Scholar, for instance, counts also book refererences. In addition, some areas, such as psychology and neurolinguistics, within these fields are more fit to be measured using bibliometrics. It is just important to remember not to use metrics to compare different disciplines.

altmetrics

Altmetrics is alternative or article level metrics. The idea is to find out what happens in science right now, while traditional bibliometrics looks at what has happened. There are free tools, like Altmetric (partly free) and Kudos, and chargeable tools, like SciVal (in use at UEF, also traditional metrics) and PlumX. In many services, like in UEF eRepo, you can see the so-called attention score donut of Altmetric. By clicking it, you can find out where a publication has been shared and if it is discussed, for example, in Twitter. Researchers’ visibility in Twitter and in other social media and networking tools and services, like Adademia.edu, LinkedIn, Mendeley and ResearchGate, is closely connected to altmetrics.

how to measure openness?

The open access and the transparency of research are the keystones of the scientific process. Already several funders, such as the Horizon 2020 – EU Research and Innovation programme and the Academy of Finland, require open publishing and encourage the sharing of research data when there are no legal, ethical or contractual barriers. Supporting open science is the main goal both nationally and internationally, but the work to develop the indicators of openness is still ongoing. Impact indicators are still largely based on peer-reviewed international publications and do not recognise open methods. The change in the culture of openness should be promoted by incentives and researchers should be rewarded for openness. The goal is to genuinely utilise the indicators of openness, e.g. when employing staff and sharing research funding.

responsible metrics

How should the indicators be used? Firstly, the bases have to be exact. References from databases are compared with researcher’s publication list. Databases do not necessarily cover all publications by a researcher, a research group or a discipline. At UEF, 45% of the peer-reviewed publications of the Philosophical Faculty could be retrieved from Scopus or Web of Science, while the figure was 65% for the Faculty of Social Sciences and Business Studies, 90% for the Faculty of Health Sciences, and 94% for the Faculty of Science and Forestry.

Indicators provide mostly quantitative information and that must be used together with expert evaluation. It is also responsible to use several indicators, not only one. And to always take into account that the figures are comparable only within a discipline, at most. In the interpretation of  the results, the career phase of the researcher must always be taken into account. Evaluation should also be transparent. Scientists themselves are also responsible to discuss the use of these indicators.

National discussion about the need for common rules of using indicators and metrics has started. The Federation of Finnish Learned Societies (TSV) has established a working group to create guidelines of responsible researcher evaluation. The same topic has been processed in the publishing metrics working group of the Network for Research Services and Administration (TUHA). The DORA Declaration, the Leiden Manifesto and the responsible use of  the Publication Forum have been studied with care. Right now, it is important to increase the knowledge about the limitations and benefits of indicators among all parties. People make responsible metrics.

Further reading:
Metric Tide
Metrics Toolkit

Kaisa Hartikainen, Jussi Hyvärinen, Heikki Laitinen, Virpi Lindi, Mari Niemi, Tuulevi Ovaska, Maarit Putous & Tomi Rosti, tietoasiantuntijoita | information specialists
Opetus- ja tietopalvelut | Training and information services
Verkko- ja julkaisupalvelut | Library IT and publishing services
Jarmo Saarti, kirjastonjohtaja | library director

Käännöksen oikoluku | English language checking: Suvi Tolvanen

Jaa tämä / Share this
Share