4.1 Haetun lähdeaineiston luotettavuus ja arviointi

Aiherelevanssi : onko sisältö oikeaa asiaa?

Ensimmäisessä vaiheessa arvioidaan viitteiden
– otsikoista,
– asiasanoista ja
– tiivistelmistä,
ovatko ne sisällöllisesti etsityn aiheen mukaisia ja käyttökelpoisia.

 

Tieteellistä tietoa?

Kullakin tieteenalalla on omat julkaisukäytäntönsä. Lähteitä käytetään eri tavoin, ja niihin viitataan eri tavoin. Yliopisto-opintojen yhtenä tavoitteena on oppia arvioimaan oman alan kirjallisuutta kriittisesti. Vastaavasti opintojen myötä hahmottuu, mitkä ovat omalla alalla tärkeimpiä lähteitä, ja miten niihin tulee viitata.

Tiedonlähteen luotettavuutta on vaikea arvioida, mutta yleisluontoisia ohjeita siihenkin on.

Vaikka tieteenalakohtaiset tietokannat sisältävät luotettavampaa aineistoa, kuin mitä esim. Googlella saat, tieteellisyydeltään eri tasoista aineistoa niissäkin voi olla.

  • Useissa kansainvälisissä tietokannoissa haun voi rajata koskemaan vain tieteellisten vertaisarvioitujen lehtien artikkeleita (peer review, referee, scholarly) -> Tee rajaus hakuusi, jos se on tarpeen!
  • Tieteellinen luotettavuus tiedolle syntyy vertaisarvioinnissa eli peer review –prosessissa. Silti kaikki tiedeyhteisönkään tuottamat julkaisut eivät välttämättä ole vertaisarvioituja, sillä tällainen julkaisuprosessi on melko hidas, ja usein on tärkeää saattaa uusin tieto nopeasti yleiseen käyttöön. Lisäksi tieteellisissä lehdissä julkaistaan myös pääkirjoituksia, uutisia, kirja-arvosteluja, kommentteja yms. tekstiä, jota ei ole vertaisarvioitu.
  • Lähdeluettelo on yksi tieteellisen ja luotettavan artikkelin tunnusmerkeistä. Joidenkin tietokantojen viitteissä on mukana myös artikkelin lähdeluettelo, josta voit päätellä paljon, vaikka et itse artikkelia kokotekstinä saisikaan käsiisi.

Miten erotan tieteellisen lehden muista julkaisuista?

Taulokossa tieteellisen ja muun aikakauslehden eroja

 

 

Tieteellinen

Populaari

 

Referee- eli peer review -menettely

on ei

Artikkelien pituus ja kattavuus

perusteellisuus, syvällisyys,
raportoi tutkimustuloksia
yleiskatsauksia, lyhyempiä kuin tieteellisessä lehdessä
Tekijä
alan asiantuntija toimittaja
Kieli
tieteenalan ”jargon” yleiskieli
Rakenne
yleensä määrämuotoinen ei määrättyä muotoa
Viittaukset, lähdeluettelot
lähdeluettelo ja viittaukset ei lähdeluetteloa eikä viittauksia tai viittaukset yleisiä tekstin sisällä
Kuvitus
taulukot, kaaviot, tekstiä tukevat kuvat värikuvat, valokuvat, mainokset…
Ilmestymistiheys
esim. 4 krt/v tai 1krt/kk useammin kuin tieteellinen lehti (ei erotteleva ominaisuus)
Kohderyhmä
”scholars”/”professionals”, alan asiantuntijat ja opiskelijat ”general audience”/”professionals”, laaja yleisö
Tarkoitus
tutkimustulosten raportointi yleistiedon levittäminen

Kirjojen laaduntarkkailu on kustantajien, kustannustoimittajien ja näiden käyttämien asiantuntijoiden vastuulla. Tieteellisiä kustantajia ovat mm. kotimaiset ja ulkomaiset tieteelliset seurat, tieteelliset kaupalliset kustantajat, yliopistot, tietyt valtion tutkimuslaitokset yms.
(esim. Suomen tiedekustantajat).

 

Julkaisufoorumi

Julkaisufoorumi (JUFO) on tieteellisen julkaisutoiminnan laadunarviointia tukeva luokitusjärjestelmä Suomessa. Senkin avulla voi tarkastella julkaisujen painoarvoa.

Julkaisufoorumi-luokituksen haku (JUFO)

Tavoitteena on kattaa kaikkien tutkimusalojen keskeisimmät tieteelliset julkaisukanavat sekä tunnistaa niistä korkeatasoisimmat ja vaikuttavuudeltaan laaja-alaisimmat.

Luokitus on tehty ensimmäisen kerran vuonna 2011, jolloin tasoluokituksen on saanut kaikkiaan n.19 500 lehteä ja julkaisusarjaa sekä n. 1 200 kirjakustantajaa. Luokituksista ovat päättäneet tieteenaloittaiset arviointipaneelit. (Tilanne 7.7.2017: 27 000 lehteä ja julkaisusarjaa, 82 000 konferenssia ja 8700 kustantajaa.)

Luokitusta ylläpitää Tieteellisten seurain valtuuskunta. Tutkimuksen arvioinnissa luokitus soveltuu:
– suurten julkaisumäärien, esim. yliopistojen tai tutkimuslaitosten koko julkaisutuotannon arviointiin, ei yksittäisten tutkijoiden arviointiin
– samaa tieteenalaa edustavien julkaisujen vertailuun, ei tieteenalojen väliseen vertailuun

Luokitusta on käytetty yliopistojen tuottamien tieteellisten julkaisujen laatuindikaattorina yliopistojen rahoitusmallissa vuodesta 2015 alkaen (OKM:n asetus). Tieteellisen ja muun julkaisutuotannon perusteella jaetaan yhteensä 13 prosenttia yliopistojen perusrahoituksesta. Tutkijat käyttävät JuFoa itselleen sopivan julkaisukanavan valikoimiseen.

Tieteelliset lehdet ja sarjat on luokiteltu kolmelle tasolle. Taso 1 kattaa eri tieteenalojen keskeisimmät kotimaiset ja ulkomaiset lehdet ja sarjat, jotka täyttävät tieteellisen julkaisukanavan määritelmän. Taso 2 kattaa eri tieteenalojen johtavat tieteelliset lehdet ja sarjat. Joitain suomen- tai ruotsinkielisiä lehtiä ja sarjoja on luokiteltu tasolle 2, koska niiden on todettu tavoittavan tieteenalansa kansainvälisen asiantuntijayleisön ja täyttävän tason 2 kriteerit. Lisäksi arviointipaneelit ovat voineet valita tason 2 lehdistä ja sarjoista korkeatasoisimmiksi katsomansa tasolle 3.
Lisää tietoa Julkaisufoorumin sivuilta.

Viittausten tarkastelu

Viittaustietokannat (esim. Social Sciences Citation Index, Scopus) laskevat, paljonko niiden artikkeleihin on viitattu muissa artikkeleissa. Tältä pohjalta on arvioitu lehtien arvostusta ja vaikuttavuutta. Journal Citation Reports -tietokanta laskee tältä pohjalta tieteellisille lehdille vaikuttavuuskertoimet (impact factor), joita voidaan vertailla kunkin tieteenalan sisällä.

 

 

Julkaisun ikä / tuoreus

Järkevä vuosirajaus riippuu aiheesta ja alasta.

Usein kannattaa lähteä liikkeelle mahdollisimman tuoreista aineistoista. Uudet tutkimustulokset kuitenkin kertyvät vanhojen päälle. Sikäli myös lähdeluetteloiden läpikäyminen on hyödyllistä. Klassikot eivät vanhene.

Tietokantojen tulokset voi lajitella uusimmasta vanhimpaan, joten aikarajaus ei haussa ole välttämätön.

 

Aineiston saatavuus

Paljonko aikaa ja rahaa on käytettävissä? Jos aineisto ei ole saatavissa omassa kirjastossasi painettuna tai elektronisena, kaukopalvelu välittää maksusta lainoja ja kopioita muualta.

Toki pääasiallinen arvioinnin ja valinnan peruste pitäisi olla jokin muu kuin saatavuus. Paljonko resursseja on tarpeen käyttää, määrittyy paljolti siitä, minkä tasoista ja laajuista tieteellistä työtä ollaan tekemässä.

 

Nettilähteiden valintaperusteita

Samoja arviointiperiaatteita voidaan soveltaa sekä painetuille että elektronisille lähteille, mutta erityisesti avoimen Internetin aineistoon on suhtauduttava kriittisesti.

Arvioitavia näkökulmia ovat esim.

  • luotettavuus
  • tavoitteet ja kohderyhmä
  • tekijän/tiedontuottajan/julkaisijan/kustantajan tausta (asiantuntemus)
  • onko informaatio suodatettu/arvioitu?
  • paikkansapitävyys
  • puolueettomuus
  • tuoreus, ajantasaisuus, lähteen ikä
  • kattavuus

Katso nettilähteistä ensiksi sivun osoitetta, tekijän tietoja, lähteitä, julkaisupäivämäärää. Näilläkin voidaan tosin huijata, joten sisältö kuitenkin ratkaisee viime kädessä. Kokeile esim. tuottaa tieteellinen julkaisu osoitteessa

https://pdos.csail.mit.edu/archive/scigen/

 

Aiheeseen liittyviä linkkejä:

Tieteellinen huijaus  https://journal.fi/tt/article/view/56812/18925

Yle-uutinen tiedetoimittajien kongressista https://yle.fi/uutiset/3-6702598