15.4.2019

Mitä on rankingin takana? | What’s behind a ranking?

(Please, scroll down to read in English.)

Kansainvälisissä korkeakouluvertailuissa (ranking), joita on nykyisin kaikkiaan ainakin 14, arvioidaan muun muassa tutkimuksen määrää ja vaikuttavuutta, opetuksen laatua, yliopistojen mainetta sekä kansainvälisyyttä. Tunnetuimmat vertailut lienevät ARWU, NTU, QS ja THE. Vertailuissa on eroja sekä aineistoissa että menetelmissä eivätkä menetelmät ole avoimia, läpinäkyviä tai yksiselitteisiä. Kansainvälisissä yliopistovertailuissa huomioidaan yleensä vain tietyistä tietokannoista löytyvät englanninkieliset julkaisut, mikä korostaa luonnon- ja lääketieteiden asemaa. Lähdeaineistoina käytettyjen kyselyiden otokset eivät välttämättä ole edustavia. Maailman noin 20 000 korkeakoulusta vain pieni osa on mukana vertailuissa.

Mistä tämä taulukko oikeasti kertoo? Kuva: Viivi Aumanen, Jyväskylän yliopiston Datatiimi

Yliopistovertailujen historiaa

Jo vuonna 1906 James McKeen Cattell, jota voi pitää rankingien isänä, julkaisi “American Men of Science” -hakemiston, jossa nostettiin esille johtavia yliopistoja niiden tutkijoiden maineeseen perustuen, ja vuosina 1930-1951 Beverly Waugh Kunkel ja Donald B. Prentice asettivat yhdysvaltalaisia yliopistoja paremmuusjärjestykseen sen mukaan, kuinka moni niiden tutkijoista oli päässyt Who’s Who -julkaisuun. Vuonna 1959 Yhdysvalloissa tapahtui historiallinen käänne, kun rankingien pohjaksi otettiin Science Citation Index (ja sittemmin 1960-luvulla Social Sciences Citation Index), kun taas Euroopassa alkuperin opiskelijoille suunnattu saksalainen CHE-Hochschul-Ranking on 1990-luvulta alkaen ollut raivaamassa tietä myös kansainvälisten vertailujen suosiolle. Niistä ensimmäinen oli vuonna 2003 julkaistu niin sanottu Shanghain lista eli ARWU, jossa käytetään yhdistelmää maineeseen perustuvista mittareista ja bibliometrisistä indikaattoreista, jotka saadaan Scopus ja Web of Science -tietokannoista.

Euroopassa on kirjoitettu 1900-luvulla tiede- ja korkeakoulupolitiikkaa uusiksi ottamalla malliksi yhdysvaltalaisia yritysyliopistoja. Perustelut ovat haettu kansainvälisistä yliopistorankingeista, joissa eurooppalaisista yliopistoista 20 parhaan joukkoon pääsee vain pari brittiyliopistoa. Tämä liittyy Euroopan unionin tavoitteeseen vahvistaa kilpailukykyä suhteessa muihin merkittäviin talousalueisiin ja määritellä myös tiede taloudellisen kilpailukyvyn mittariksi. Vaikka rankingeja on alusta saakka arvosteltu, vaikuttavat ne merkittävästi niin EU:n politiikkaan kuin yliopistojen toimintaankin.

Academic Ranking of World Universities (ARWU)

Vuodesta 2009 ARWU:a eli niin sanottua Shanghain listaa on julkaissut riippumaton Shanghai Ranking Consultancy. Alkuperäinen tarkoitus oli selvittää kiinalaisten huippuyliopistojen asemaa maailmassa, mutta pian tuloksia alettiin uutisoida maailmanlaajuisesti. Käytössä on kuusi indikaattoria: Nobelin palkinnon tai Fieldsin mitalin saaneet alumnit ja työntekijät, Clarivate Analyticsin valitsemien siteeratuimpien (highly cited) tutkijoiden määrä, Nature– ja Science-lehdissä julkaistujen artikkelien määrä, Science Citation Index ja Expanded and Social Sciences Citation Index -tietokantoihin luetteloitujen artikkelien määrä sekä yliopiston suoritteet pääluvun mukaan. Näillä kriteereillä listalle voi päästä vain monialainen ja/tai luonnon- ja terveystieteellinen yliopisto.

ARWU:n vuoden 2018 vertailussa on Suomesta neljä yliopistoa ja UEF sijoittuu niistä neljänneksi, maailman 401-500 parhaan yliopiston joukkoon.

Center for World University Rankings

Yhdistyneissä arabiemiirikunnissa pääkonttoriaan pitävä CWUR käyttää seitsemää indikaattoria: koulutuksen laatu, alumnien työllistyminen, tiedekunnan laatu, tutkimustuotokset, julkaisujen laatu, vaikuttavuus ja viittausmäärä. Julkaisuihin liittyvä informaatio kerätään Science Citation Index Expanded, Social Science Citation Index ja Arts and Humanities Index sekä Journal Citation Reports -tietokannoista. Humanistisille aloille tietoja täydennetään European Reference Index for the Humanities (ERIH) – tietokannan tiedoilla. Yleisesti julkaisutietoja katsotaan viimeisen 10 vuoden ajalta. Vaikuttavuuden arvioinnissa käytetään Science, Nature ja Proceedings of the National Academy of Sciences of the USA -lehdissä ilmestyneiden artikkeleiden lukumääriä. Tiedekunnan laadunmittaamisessa hyödynnetään kansainvälisien palkintojen (mm. Nobel) ja mitalien (Fields ja yli 20 muuta) saaneiden työntekijöiden lukumäärää. Mukaan lasketaan myös henkilöt, jotka ovat työskennelleet organisaatiossa palkinnon tai mitalin saamisen aikaan. Alumnien työllistymisessä huomioidaan Forbes Global 2000 -listalla olevien yritysten toimitusjohtajina toimivat henkilöt ja lukumäärää suhteutetaan organisaation kokoon. Koulutuksen laatuun vaikuttavina tekijöinä katsotaan opiskelijat ja alumnit, jotka ovat voittaneet edellä mainittuja kansainvälisiä palkintoja tai mitaleja. Viittausmäärää laskettaessa huomioidaan vain viitatuimmat julkaisut. Katso suomalaisten yliopistojen sijoitukset.

Centre for Science and Technology Studies (CWTS) Leiden Ranking

Leidenin vertailu perustuu yksinomaan Clarivate Analyticsin Web of Science -tietokannan bibliografiseen dataan eikä kata kaikkia tieteenaloja. Mukaan tulevat biolääketiede ja terveystieteet (Biomedical and health sciences), bio- ja geotieteet (Life and earth sciences), matematiikka ja tietojenkäsittelytiede (Mathematics and computer science), fysiikka, kemia, tähtitiede ja insinööritiede (Physical sciences and engineering) sekä yhteiskuntatieteet ja humanistiset tieteet (Social sciences and humanities). Mittareina käytetään CWTS:n (Centre for Science and Technology Studies, Alankomaat) itse laatimia mittareita, muun muassa julkaisuja, vaikuttavuusmittareita ja yhteistyömittareita. Analyyseissa käytetään sekä kokoon suhteuttamista että siitä riippumattomuutta. Tiedot käytetyistä mittareista on selostettu tarkasti eli tieto menetelmistä on saatavilla hyvinkin tarkasti. Leiden myös tarjoaa opastusta vertailujen vastuulliseen käyttöön, toisin kuin kilpailijansa.

Leidenin listalla on kahdeksan suomalaisyliopistoa, joiden joukossa UEF on viidentenä.

the Performance Ranking of Scientific Papers for World Universities

NTU Rankingin nimellä tunnettu National Taiwan Universityn (Taipei) vertailu, joka luokittelee 800 maailman parasta yliopistoa. Aineisto perustuu Clarivate Analyticsin Essential Science Indicator, Web of Science Core Collection sekä Journal Citation Reports– tietokantoihin, joiden taustalla ovat Science Citation Index ja Social Science Citation Index -tietokannat. NTU Ranking perustuu kolmeen eri kokonaisuuteen: tuottavuus, vaikuttavuus ja laatu. Tuottavuutta mitataan sekä vuoden että 11 vuoden aikaikkunoissa julkaisumäärittäin ja vastaavasti vaikuttavuutta kahden vuoden ja 11 vuoden aikaikkunoiden läpi viittausmäärittäin sekä keskimääräistä viittausmäärää 11 vuoden aikana. Laatuosiossa arvioidaan kahden vuoden h-indeksiä, viitatuimpien julkaisujen määrää 11 vuoden ajalta sekä kahden viime vuoden aikana viitatuimmissa lehdissä ilmestyneiden artikkeleiden määrää. Katso suomalaisten yliopistojen sijoitukset.

QS World University Rankings

QS Ranking on monikansallisen Quacquarelli Symonds -yrityksen kokoama rankinglista maailman yliopistoista. Listalle pääsee vuosittain yli 500 yliopistoa. Vuoteen 2009 saakka lista julkaistiin yhteistyössä Times Higher Education -lehden kanssa ennen kuin THE loi oman rankinglistansa vuonna 2010. QS Ranking perustuu kuuteen erilaiseen mittariin: akateeminen maine, työnantajamaine, opettaja-opiskelijasuhdeluku, viittausmäärä ja sekä tutkijoiden että opiskelijoiden kansainvälisyys. Mainetekijät mitataan laajoilla kyselyillä, jossa akateemiset asiantuntijat ja työnantajat voivat arvioida organisaation onnistumista. Viittausmäärissä käytetään hyödyksi Scopus-tietokannan tietoja ja julkaisutiedot katsotaan viiden vuoden aikaikkunan läpi, kun taas viittaustiedot kuuden vuoden aikaikkunan kautta. Lisäksi eri tieteenalojen julkaisukulttuurien erilaisuutta pyritään hälventämään tieteenalanormalisoinnilla. Kansainvälisyydessä katsotaan sekä ulkomaisen henkilökunnan määrää suhteessa koko henkilökuntaan että ulkomaisten opiskelijoiden osuutta koko opiskelijamäärästä.

Suomalaiset yliopistot QS-vertailussa 2019

QS world university rankings by Subject käyttää hyödyksi kolmea samaa mittaria eli mainetekijöitä sekä viittaustietoja sekä lisäksi h-indeksiä, jonka painotus vaihtelee tieteenaloittain.

Round University Ranking

Rpund University Ranking (Moskova) sisältää yli 900 yliopiston vertailun ja perustuu 20 indikaattoriin, jotka jakautuvat neljään alueeseen: opetus, tutkimus, kansainvälinen monimuotoisuus ja taloudellinen kestävyys. Vertailu perustuu Clarivate Analyticsin organisaatioprofiileihin sekä kyselytietoihin ja koostuu neljästä tarkastelukokonaisuudesta: opetus, tutkimus, kansainvälisyys ja talous. Opetuksen alla tarkastelleen muun muassa opettaja-opiskelijasuhdelukua, akateemisen henkilöstön määrää suhteessa valmistuneisiin kandidaatteihin ja tohtoreihin. Tutkimuksen osalta tarkastellaan muun muassa viittausten määrää suhteessa tutkimushenkilöstöön ja julkaisujen määrää suhteessa tutkimushenkilöstöön. Kansainvälisyydessä tarkastellaan esimerkiksi kansainvälisen henkilöstön ja opiskelijoiden osuuksia ja taloudellisessa osiossa muun muassa tulevaa rahoitusta suhteessa opiskelijoihin ja tutkimushenkilökuntaan. Etsi Suomi.

Scimago Institutions Rankings

Scimago-vertailussa (Scimago Lab, osa monikansallista SRG S.L. companya) käytetään kolmea tarkastelukokonaisuutta, joista tutkimuksen mittareilla on suurin painotus. Arvioitavat kokonaisuudet ovat tutkimus, innovaatiot ja yhteiskunnallinen ulottuvuus. Tutkimuskokonaisuuden muodostavat indikaattorit ovat julkaisujen lukumäärä, kansainväliset yhteisjulkaisut, normalisoitu viittausmäärä, vaikuttavimmissa lehdissä julkaistut artikkelit, viitatuimmat julkaisut, vastuutekijät, vastuutekijät viitatuimmissa julkaisuissa, organisaation eri tekijöiden määrä. Innovaatio-osuudessa keskitytään patenttitietoihin ja niissä esiintyviin julkaisumääriin. Yhteiskunnallisessa osiossa arvioidaan organisaation verkkosivuston suuruutta sekä organisaation verkkosivustolle johtavien linkkien määrää. Vertailussa on mukana erityyppisiä tutkimusorganisaatioita, myös esimerkiksi yliopistolliset sairaalat. Suomalaisten listaus.

Times Higher Education World University Rankings

THE Ranking (Lontoo) luokittelee yli 1200 tutkimusintensiivistä yliopistoa 86 maasta. Arviointikokonaisuudet jakautuvat viiteen pääkategoriaan: opetus (oppimisympäristö, mm. kysely, opettaja-opiskelijasuhdeluku); tutkimus (volyymi, tulot ja maine), kansainväliset näkymät (henkilöstö, opiskelijat ja yhteistyö); viittaukset; teollisuuden tulot. Se käyttää 13 indikaattoria kattavimpien ja tasapainoisimpien vertailujen saamiseksi. Sekä maiden että tieteenalojen yli- ja aliarvostuksen vaikutusta pyritään huomioimaan normalisoinnilla. Lähteinä käytetään organisaatioilta itseltään kerättyä tietoa, Scopus-tietokannan aineistoa sekä laajaa vuosittaista kyselyaineistoa. THE Ranking julkaisee myös samoilla mittareilla tuotettuja alueellisia ja temaattisia rankinglistauksia. Suomalaiset yliopistot World University Rankings 2019 -listalla.

U Multirank

Tämä saksalainen (Centrum für Hochschulentwicklung gGmbH) vertailu mittaa viittä eri ulottuvuutta: opetus ja oppiminen, tutkimus, osaamisen siirto, kansainvälinen suuntautuminen ja alueellisuus. Perustuu organisaatioiden itse tuottamaan aineistoon, opiskelijakyselyyn, CWTS Leidenin tuottamaan, Clarivate Analyticsin tietokantoihin perustuvaan, bibliometriseen ja patenttiaineistoon. Vertailussa on mukana myös ammattikorkeakouluja. Dataa voi lajitella, valikoida ja visualisoida itse.

University Ranking by Academic Performance (URAP)

URAP-vertailua on tuotettu vuodesta 2010 lähtien Informatics Institute of Middle East Technical Universityssa (Ankara, Turkki) ja se luokittelee 2500 organisaatiota. URAP perustuu kuuteen eri indikaattoriin: edellisen vuoden julkaisumäärä, viittaukset, julkaisujen kokonaismäärä, artikkelivaikuttavuus ja viittausvaikuttavuus sekä kansainvälinen yhteistyö (yhteistekijyys). Tiedot tuotetaan Web of Science -tietokanan inCites -palvelusta. Muut indikaattorit poimitaan viiden edellisen vuoden tietojen perusteella.

RANKINGIT ovat vain rankingeja

Koska useimpien vertailujen käyttämät menetelmät ovat vaikeasti tulkittavia tai jopa salaisia, ne eivät täytä vastuullisen tieteen kriteereitä. Rankingeihin kannattaa suhtautua kriittisesti. Halusimme tai emme, rankingit kuitenkin vaikuttavat päätöksentekoon, akateemiseen toimintaan, rahoittajien mielipiteisiin ja yhteiseen ymmärrykseemme tieteestä riippumatta siitä, kuinka paljon niiden menetelmiä kritisoidaan tai kuinka skeptisesti niihin suhtaudutaan. Niitä käytetään paljon ja niistä haetaan tukea yliopistojen kehittämiseen, sillä yliopistot ovat mukautuneet niiden mittareihin. Media julkaisee mielellään ranking-uutisia ja yliopistot käyttävät niitä markkinoinnissaan etenkin, jos niiden sijoitus on noussut.

Lähteitä:
Tapio Erkkilä ja Ossi Piironen, Shifting fundaments of European higher education governance: Competition, ranking, autonomy and accountability. Comparative Education 2013; 50(2): 1-15.
Ellen Hazelkorn, Rankings and the Reshaping of Higher Education: The Battle for World-Class Excellence. Palgrave Macmillan, 2015.
Erkki Karvonen, Terttu Kortelainen ja Jarmo Saarti, Julkaise tai tuhoudu! Vastapaino, 2014.
Esa Väliverronen, Julkinen tiede. Vastapaino, 2016.

Katso myös: UEF kansainvälisissä vertailuissa

Briefly in English

In international rankings, of which there are at least 14 at present, the number and effectiveness of research, the quality of teaching, the reputation of universities and internationalisation are assessed. There are differences in the comparisons, both in contents and methodology and the methods used are not open or transparent. In international university rankings, only publications in English that can be found in certain databases are generally taken into account, emphasising the position of natural and medical sciences. The survey samples used may not be comprehensive. Of the approximately 20,000 universities in the world, only a small part is included in the rankings.

What does this diagram tell us? Figure: Viivi Aumanen, University of Jyväskylä, Data team

The American Men of Science by James McKeen Cattell, the so-called father of rankings, was published already in 1906, and can be called the first university ranking. In 1930-1951 Beverly Waugh Kunkel and Donald B. Prentice ranked universities in the USA. In 1959, the Science Citation Index became the basis for rankings is the the USA, while in Europe, the German CHE-Hochschul-Ranking cleared the way for international comparisons from the 1990s. The first of these was the so-called Shanghai List in 2003. In the 20th century, the European Union’s objective of strengthening its ability to compete with other major economic areas and of defining science as an indicator of economic competitiveness has emphasised the role of rankings. Even though university rankings have been criticised from the outset, they have a significant impact on both EU policy and universities’ actions and strategies.

The best-known comparisons are probably ARWU, NTU, QS and THE.

ARWU or Academic Ranking of World Universities by ShanghaiRanking Consultancy (China) uses six indicators, including the number of alumni and staff winning Nobel Prizes and Fields Medals, number of highly cited researchers selected by Clarivate Analytics, number of articles published in journals of Nature and Science, number of articles indexed in Science Citation Index – Expanded and Social Sciences Citation Index, and per capita performance of a university.
NTNU or National Taiwan University Ranking (Taipei) evaluates the performance of scientific papers, with indicators designed to compare both the quality and the quantity of scientific papers in each university.
QS or Quacquarelli Symonds (headquartered in London) designed its rankings in order to assess performance according to what it believes to be key aspects of a university’s mission: teaching, research, nurturing employability, and internationalisation.
THE or Times Higher Education (London) ranks research-intensive universities across their core missions: teaching (the learning environment); research (volume, income and reputation), international outlook (staff, students and research); citations (research influence); industry income (knowledge transfer) and uses 13 performance indicators.

Other rankings include

CWUR or Center for World University Rankings (headquartered in the United Arab Emirates)
CWTS or Leiden Ranking (The Centre for Science and Technology Studies, The Netherlands) exceptionally provides guidelines on the responsible use of their own ranking and university rankings more generally
Round University Ranking published by the RUR Ranking Agency (Moscow, Russia)
Scimago Institutions Ranking (Scimago Lab, a division of the multinational SRG S.L. company) ranks also other institutions than universities, for example university hospitals
U Multirank (Centrum für Hochschulentwicklung gGmbH, Germany) ranks also, e.g. universities of applied sciences
URAP or University Ranking by Academic Performance (Informatics Institute of Middle East Technical University, Turkey)

Because all the methods of most rankings are not openly available or are at least difficult to interpret, they do not meet the criteria of responsible science. However, whether we want it or not, rankings affect decision-making, academic activity, funders’ opinions, and our common understanding about science, regardless of how much their methods or aims are criticised. Media is happy to publish ranking news and universities use them in their marketing, especially if their ranking has risen.

References:
Tapio Erkkilä ja Ossi Piironen, Shifting fundaments of European higher education governance: Competition, ranking, autonomy and accountability. Comparative Education 2013; 50(2): 1-15.
Ellen Hazelkorn, Rankings and the Reshaping of Higher Education: The Battle for World-Class Excellence. Palgrave Macmillan, 2015.