Vaikuttavuus tiedonhauissa – hakusanojen pohdintaa | How to search effectiveness?

(Please, scroll down to read in English.)

Koulutuksen vaikuttavuus, tutkimuksen vaikuttavuus, sote-palvelujen vaikuttavuus, hoidon vaikuttavuus, sosiaalityön vaikuttavuus ym. teemat näkyvät opiskelijoidemme ja tutkijoidemme tiedonhakujen aiheissa. Vaikuttavuuden tutkimuksen päiviä 2021 kuuntelimme ja mietimme taas tiedonhakua.

Effectiveness

Vaikuttavuutta ei useinkaan löydy hakemalla sanalla vaikuttavuus (effectiveness). Sana ei välttämättä esiinny dokumentissa, julkaisussa, tutkimuksessa, vaikka vaikuttavuutta olisikin tutkittu. Tai tuloksiin tulee enimmäkseen kustannusvaikuttavuutta (cost-effectiveness), mikä toki on myös entistä tärkeämpi näkökulma.

Vaikuttavuus voidaan ajatella muutoksena, jonka jokin toimenpide, palvelu tms. saa aikaan esimerkikksi elämänlaadussa, hyvinvoinnissa, terveydessä, toimintakyvyssä tai tyytyväisyydessä. Vaikuttavuus on tavoitteiden suuntaan vaikuttamista.

Effects, impact, outcomes…

Jos tietoa ei vaikuttavuus-sanalla löydy tarpeeksi, joutuu laajentamaan tiedonhakua, miettimään muita ja vaihtoehtoisia hakusanoja. Kaikesta huolimatta kannattaa kokeilla hakea myös vaikutuksilla (effects, impact, outcomes…) tai arvioinnilla (evaluation).

Measures, intervention…

Vaikuttavuuden yhteydessä puhutaan myös mittareista, mutta measure ja measurement toimivat huonosti hakusanoina. Toimisivatko instrument, scale, tools, questionnaire ja muut menetelmäsanat paremmin?

Ja mitä on interventio? Intervention-sanakaan ei välttämättä esiinny artikkelissa, tutkimuksessa. Se voi olla vaikka tukea, ohjausta tai neuvontaa, esimerkiksi ravitsemusneuvonta, työllistymiskokeilu, digitaalinen oppimisympäristö, verkkopohjainen synnytysvalmennus riippuen tutkimuksesta.

Kattavat tiedonhaut, katsausten tiedonhaut…

Useimmiten on mietittävä, mitä vaikuttavuus on juuri kyseisessä tutkimusongelmassa. Minkä asioiden muutos kuvaa toimenpiteen, intervention, palvelun tai muun sellaisen vaikuttavuutta? Mitkä sanat kuvaavat aihekokonaisuutta ja miten hakusanoja keskenään yhdistellään?

Väheneekö esimerkiksi kiusaaminen?
Esimerkki
Gaffney, H., Ttofi, M. M., & Farrington, D. P. (2021). Effectiveness of school-based programs to reduce bullying perpetration and victimization: An updated systematic review and meta-analysis. Campbell Systematic Reviews, 17(2), e1143. doi:https://doi.org/10.1002/cl2.1143
Haut appendix A:ssa, tehty useana erillisenä hakuna. Ne voisi olla myös näin:
“anti-bully*” AND program* AND (effect* OR outcome* OR evaluation)
bully* AND school* AND (intervention* OR prevent* OR program*)

Väheneekö esimerkiksi päihteiden käyttö?
Esimerkki
McGovern, R., Newham, J. J., Addison, M. T., Hickman, M., & Kaner, E. (2021). Effectiveness of psychosocial interventions for reducing parental substance misuse. Cochrane Database of Systematic Reviews, (3) doi:10.1002/14651858.CD012823.pub2
Haut liitteessä

P.S. MOT Kielipalvelu antaa vaikuttavuuden käännökseksi sanan impressiveness, mutta sehän on aivan muuta vaikuttavuutta. (to impress = tehdä vaikutus, vaikuttaa)

Vaikuttavuus / vaikutus. Vaikuttavuusketjuajattelu. Tavoite - panos - teko - vaikutus - vaikuttavuusa
Vaikuttavuusketjuajattelu. Tomi Mäki-Opas (2017). UEF/MOOC Vaikuttavuus sosiaali- ja terveydenhuollon näkökulmasta. https://digicampus.fi/course/view.php?id=2137

 

Themes such as the effectiveness of education, research, social welfare and healthcare services, treatment and social work pop up in the search queries created by our students and researchers. Listening to the Conference of Effectiveness 2021 made us ponder the topic of effectiveness in information retrieval.

Effectiveness

Effectiveness is often not found through searching for the word effectiveness. The term will not necessarily be present in a document, publication, study, even if the research examined effectiveness. The search may also return hits primarily focused on cost-effectiveness, which, of course, is an increasingly important point of view.

Effectiveness can be seen as the change brought on by e.g. a service, affecting quality of life, well-being, health, ability to function or satisfaction, for example. Effectiveness is about moving towards objectives.

Effects, impact, outcomes…

If you are unable to find sufficient information using the search term ‘effectiveness,’ you must expand your search and think of other, alternative search terms. Nonetheless, it can be worthwhile trying search terms like effects, impact, outcomes or evaluation.

Measures, intervention…

Measurement and measure are also connected to effectiveness, but they are poor search terms. Would terms related to methods, such as instrument, scale, tools or questionnaire, be better?

What is an intervention? The word intervention may not necessarily be used in the article or study you are looking for. Words such as support, guidance or advice may be used instead, in contexts such as nutritional guidance, employment pilot, digital learning environment and web-based antenatal classes, depending on the study.

Comprehensive information retrieval, information retrieval in reviews…

We must often determine what effectiveness means in terms of a certain research problem. Which changes illustrate the effectiveness of the intervention or service at hand? Which words illustrate the theme and how can the search terms be combined?

Is there a decrease in bullying, for example?
e.g.
Gaffney, H., Ttofi, M. M., & Farrington, D. P. (2021). Effectiveness of school-based programs to reduce bullying perpetration and victimization: An updated systematic review and meta-analysis. Campbell Systematic Reviews, 17(2), e1143. doi:https://doi.org/10.1002/cl2.1143
Searches in Appendix A performed as several separate search queries.
Another options are this way:
“anti-bully*” AND program* AND (effect* OR outcome* OR evaluation)
bully* AND school* AND (intervention* OR prevent* OR program*)

Is there a decrease in substance abuse, for example?
e.g.
McGovern, R., Newham, J. J., Addison, M. T., Hickman, M., & Kaner, E. (2021). Effectiveness of psychosocial interventions for reducing parental substance misuse. Cochrane Database of Systematic Reviews, (3) doi:10.1002/14651858.CD012823.pub2
Searches in the Appendix

P.S. MOT Dictionaries translates the Finnish word ‘vaikuttavuus’ (used in this blog post) as ‘impressiveness’ (to impress as in evoke admiration), but it is not what is meant here.

Maarit Putous, tietoasiantuntija | Information specialist
Tuula Rissanen, tietoasiantuntija | Information specialist
Opetus- ja tietopalvelut | Training and information services

Kirjasto ja UEFRAE2019 | Library and UEFRAE2019

(Please, scroll down to read in English.)

Itä-Suomen yliopisto arvioi jatkuvasti tekemänsä tutkimuksen laatua sekä yhteiskunnallista vaikuttavuutta. Arviointeja tehdään vuosittain itsearvioinneilla sekä säännöllisin väliajoin tehtävillä kansainvälisillä vertaisarvioinneilla. Vuonna 2019 on kansainvälisen arvioinnin vuoro ja arviointi keskittyy yliopiston tutkimustoimintaan vuosina 2015-2018. Arvioinnin tarkoituksena on tunnistaa tutkimuksen vahvuuksia yliopiston tulevaa strategiaa varten. Tehtävässä arvioinnissa tarkastellaan yliopiston nykytilaa sekä tulevaisuuden mahdollisuuksia. Kun edellinen arviointi perustui tiedekuntakohtaisiin tarkasteluihin, niin tämän vuoden tarkasteluissa hyödynnetään tutkimusyhteisöjä, jotka ovat tietyn teeman ympärille rakentuneita monitieteisiä ja kansainvälisesti verkostoituneita yhteisöjä, joilla on selkeä tutkimusfokus.

Itä-Suomen yliopiston tutkijat ehdottivat tutkimusyhteisöjä UEFRAE2019-arviointiin. Yliopiston rehtorit ja dekaanit arvioivat ehdotukset ja tekivät valinnat arvioitavista tutkimusyhteisöistä. Valittujen tutkimusyhteisöjen tuli suorittaa itsearviointi kevään 2019 aikana. Osana itsearviointia kirjasto tuotti itsearviointiraportin liitteeksi bibliometrisen analyysin tutkimusyhteisön ilmoittamista vastuullisista tutkijoista (PI, Principal Investigator). Kirjastolle toimitettuun listaan sisältyi lähes 350 henkilöä, joille haettiin tiedot sekä Scopus että Google Scholar -tietokannoista. Google Scholarin tiedot poimittiin Publish or Perish -työkalun avulla ja ensisijaisesti tiedot poimittiin Google Scholar -profiilista, mikäli sellainen oli tarjolla. Tietokannoista haetut tiedot olivat julkaisujen kokonaismäärä, julkaisujen määrä vuosina 2015-2018, viittausten kokonaismäärä sekä H-indeksi. Muutamien alojen osalta kyseltiin mahdollisuutta käyttää Web of Science -tietokannan tuloksia, mutta kirjaston bibliometriikkaryhmässä todettiin, että monitieteisten ryhmien yhteismitallisen käsittelyn vuoksi tiedot otetaan vain Scopuksesta ja Google Scholarista.

Pääasiassa tiedot kerättiin parin työntekijän voimin, mutta toki taakkaa hiukan hajautettiinkin aikataulullisista syistä. Haasteeksi osoittautui muutamien henkilöiden kohdalla se, että Google Scholar -profiili ei ollut julkinen, joten Publish or Perish -työkalu antoi erilaisen tuloksen kuin henkilöllä itsellään näkyi profiilissa. Tietojen tarkastamiseksi tutkijoita pyydettiin muuttamaan Google Scholar -profiilinsa julkiseksi. Monessa tapauksessa etsimistä olisi helpottanut tutkijakohtainen ORCID-tunnus, joka yksilöi tutkijan ja näin auttaa hänelle kuuluvien julkaisujen löytymistä.

Kirjaston osuus UEFRAE2019-arvioinnin osalta on jo päättynyt, mutta lokakuussa yliopistolla on vielä ulkopuolisten arvioitsijoiden vierailu, jonka aikana kukin tutkimusyhteisö esittäytyy arviointipaneelille, joka myös haastattelee kaikki tutkimusyhteisöt. Tämän jälkeen voimme odotella tämän arviointikierroksen tuloksia.

Mies katsoo suurennuslasin läpi. Man looks through a magnifying glass.

The University of Eastern Finland continuously evaluates the quality of its research and its social impact. Evaluations are carried out annually through self-assessments and regular international research assessment exercises (RAE). The focus of RAE 2019 is on the University’s research activities in 2015-2018. The purpose of the evaluation is to identify research strengths for the future strategy of the university. The evaluation will look at the current state of the university and its future opportunities. While the previous evaluation was based on faculty specific reviews, this year’s reviews utilize research communities that are multidisciplinary and internationally networked communities around a specific theme with a clear research focus.

Researchers from the University of Eastern Finland proposed research communities for the UEFRAE2019 Research Assessment Exercise. The University rectors and deans evaluated the proposals and made the selection of the research communities to be evaluated. The selected research communities had to conduct a self-assessment during spring 2019. As a part of the self-evaluation process, the library produced a bibliometric analysis of Principal Investigator (PI) nominated by the research community as an appendix to the self-evaluation report. The list provided for the library included nearly 350 people, whose figures were retrieved from both Scopus and Google Scholar databases. Google Scholar data was extracted using the Publish or Perish tool, and the data was primarily extracted from the Google Scholar profile of the researcher, if available. The data retrieved from the databases were: the total number of publications, the number of publications in 2015-2018, the total number of citations and the H-index. In some areas, the possibility of using the results of the Web of Science was asked, but the Library’s bibliometrics group stated that due to the multidimensional treatment of data by multidisciplinary groups, data is only taken from Scopus and Google Scholar.

A couple of employees collected most of the data, but the workload was slightly dispersed for scheduling reasons. The challenge for some researcher was that the Google Scholar profile was not public, so the Publish or Perish tool gave a different result than the researcher himself or herself saw on the Google Scholar profile. To verify the data, researchers were asked to make their Google Scholar profile public. In many cases, searching would have been facilitated by a researcher specific ORCID, which identifies the researcher and thus helps to locate his or her publications.

The Library’s contribution to the UEFRAE2019 Research Assessment Exercise has already ended, but in October the University will still have a cite visit, during which each research community will present itself to the external evaluation expert panel, which will also interview all research communities. We can then wait for the results of this Research Assessment Exercise.

Tomi Rosti, tietoasiantuntija | information specialist
Marja Kuittinen, tietoasiantuntija | information specialist
Opetus- ja tietopalvelut | Training and information services