Med tildelingen av nobelprisen i medisin eller fysiologi til May-Britt og Edvard Moser har NTNU mottatt sin første nobelpris noensinne, og forfatteren av denne artikkelen tror at dette alene vil føre til at NTNU rykker opp minst 100 plasser på den såkalte Shanghai-rangeringen, som er en av de mest kjente internasjonale universitetsrangeringene. I så vel denne som i den andre toneangivende rangeringen i regi av Times Higher Education kan små endringer på indikatorer som framstår som perifere og metodisk tvilsomme, føre til store endringer i samlet rangering. Det er noen av grunnene til at disse rangeringene ikke bør tillegges for stor betydning.
FREDRIK NICLAS PIRO, FORSKER, NIFU
fredrik.piro@nifu.no
Det er viktig å få en kritisk debatt om de internasjonale universitetsrangeringene uten at det blir oppfattet som forsøk på å bortforklare norske læresteders til dels svake resultater på disse rangeringene. Det er neppe stor uenighet om at norske universiteter befinner seg langt unna nivået til de aller fremste universitetene i USA og Storbritannia, slik rangeringene viser. NIFU har på oppdrag fra Kunnskapsdepartementet foretatt en analyse av de to mest sentrale internasjonale universitetsrangeringene, Shanghai-rangeringen (heretter ARWU) og Times Higher Education World University Rankings (heretter THE), der formålet ikke var å vurdere hvordan norske universiteter ligger an i forhold til de aller beste, men å sammenligne nordiske universiteters plasseringer og identifisere faktorer som kan forklare hvorfor de kommer ulikt ut. Slike sammenligninger har større allmenn interesse enn det å sette egne universiteter opp mot de høyest rangerte, ettersom universitetene i de aller fleste land befinner seg utenfor både topp 50- og topp 100-listene. I begge de nevnte rangeringene kommer omtrent halvparten av de 200 øverst rangerte universitetene fra USA og Storbritannia.
Vi fant at norske universiteter skårer lavere enn enkelte andre nordiske universiteter på en del indikatorer for forskerproduktivitet som benyttes i rangeringene: hvor mye forskningen blir sitert og bibliometriske mål på vitenskapelig «Excellence» (antall publikasjoner i tidsskriftene Nature og Science og antall publikasjoner og enkeltforskere som er mest sitert i verden). Men det er ikke på grunn av rangeringene at vi vet dette. Denne typen bibliometrisk informasjon er kjent fra før og tilgjengelig gjennom andre datakilder enn universitetsrangeringene.
Vårt hovedfunn var at rangeringene er konstruert på en slik måte at de er lite egnet til å forklare forskjeller mellom nordiske universiteter, noe som også, mer generelt, betyr at de er lite egnet til å forklare kvalitetsforskjeller mellom universiteter som ikke er blant de aller høyest rangerte. Det gjør at rangeringene er lite nyttige for myndigheters og universiteters kvalitetsarbeid.
Store ulikheter mellom rangeringene
I 2013 var det svært godt samsvar mellom THE og ARWU med hensyn til hvilke ti universiteter som var høyest rangert. Rekkefølgen på disse ti var riktignok noe ulik i de to rangeringene (Harvard, Stanford og Berkeley var øverst i ARWU, mens Caltech, Oxford og Harvard var øverst i THE), men jo lenger ned på listene vi går, desto mer sprikende blir resultatene. Universitetet i Oslo (UiO) var for eksempel nummer 69 i ARWU og 185 i THE, ikke ulikt Københavns Universitet som var nummer 42 i ARWU (og best i Norden), men bare på 150. plass i THE. De tekniske universitetene Danmarks Tekniske Universitet og svenske KTH gjorde det derimot bedre i THE, der begge kom på plass 117, enn i ARWU, der de kom på henholdsvis plass 151-200 og 201-300.
Små forskjeller gir store utslag
Mens det både i THE og ARWU er åpenbare og store forskjeller mellom de universitetene som er rangert som henholdsvis nummer én og nummer 50, er forskjellen mellom universitetene som er plassert på henholdsvis 50. og 100. plass små, og forskjellene blir mindre blir jo lenger ned på listene vi kommer.
Den måten dataene omdannes til indikatorer/skårer på, innebærer at alle universiteter tilpasses en normalfordeling der små endringer på en enkeltvariabel kan få store konsekvenser for totalskåren for de universitetene som befinner seg i den nedre enden av skalaen – mens slike endringer vil ha liten betydning i den øvre delen av skalaen. Mye av forklaringen på Universitetet i Bergens (UiB) stadig dårligere rangering de senere årene i THE er sannsynligvis en beskjeden reduksjon i siteringsindeksen som fikk stor betydning på grunn av den plasseringen UiB hadde da indeksen sank.
Utdanning er i realiteten fraværende
Et kjennetegn ved begge rangeringene er at de er tilnærmet rene forskningsrangeringer, selv om de hevder noe annet. ARWU opererer for eksempel med en indikator på undervisning som heter Alumni: antall tidligere studenter som har vunnet nobelpriser. Det kan neppe sies å være et godt mål på dagens undervisningskvalitet, når det f.eks. innebærer at et universitet som hadde en student på 1950-tallet som vant nobelprisen på 1970-tallet, kommer betraktelig bedre ut enn et annet universitet med tilnærmet samme resultater på alle andre indikatorer – men uten en tidligere student som har vunnet en nobelpris.
THE gjør et stort poeng av at rangeringen bygger på indikatorer som favner alle universitetenes primæroppgaver, også undervisning. 30 prosent av universitetenes sluttskår i THE avgjøres riktignok av rangeringens undervisningsindikator, men det er all grunn til å reise tvil om kvaliteten på denne indikatoren når den viser seg å bestå av fem delindikatorer, der fire uttrykker forholdstall mellom henholdsvis ansatte og studenter (4,5 pst. vekt), ansatte og avlagte doktorgrader (6 pst.), avlagte doktorgrader og bachelorgrader (2,25 pst.) og forskningsinntekter og ansatte (2,25 pst.). Det sier lite om undervisningskvalitet, læringsutbytte, om studentene fullfører på normert tid osv. Det gjør neppe heller den femte delindikatoren på undervisningskvalitet som er resultatet fra en omdømmeundersøkelse som alene teller like mye (15 pst.) som de øvrige delindikatorene til sammen. I den blir respondentene bedt om å svare på et spørsmål om hvilke (inntil 15) universiteter innenfor deres felt som etter deres mening har den beste undervisningen i verden.
Omdømme og nobelpriser gir store utslag
I THE bestemmer resultatene fra en omdømmeundersøkelse 33 prosent av samlet skåre i rangeringen. I den siste omdømmeundersøkelsen oppga rundt 15 000 respondenter på verdensbasis navn på inntil 15 universiteter i verden som de mente er best på henholdsvis forskning og undervisning innenfor egne fagfelt. Vi får svært lite informasjon om denne undersøkelsen, ut over at Harvard kommer best ut (men ikke med hvor mange stemmer) og hvilke 49 universiteter som følger deretter (med prosentvis andel stemmer i forhold til Harvards ukjente stemmetall). Omdømmeundersøkelsen måler trolig i større grad hvilke institusjoner som er mest berømt, enn hvilke som er kvalitativt best på forskning og undervisning. Resultatene i undersøkelsen er ekstremt skjevfordelt, noe vi kan slutte oss til av at universitetet på 50. plass i omdømmeundersøkelsen bare fikk 6,5 prosent av stemmene til Harvard. Det betyr også at antall stemmer til norske universiteter som kommer vesentlig lenger ned på listen, er svært lavt; følgelig vil ytterst få ekstra eller færre stemmer ha stor betydning for deres plassering. Dette er én av grunnene til de store endringene fra ett år til et annet i mange universiteters plasseringer i THE.
I Shanghai-rangeringen er det motsatt. Her er rangeringene mer stabile fordi en stor andel av sluttskåren bestemmes av antall nobelpriser til institusjonens ansatte og tidligere studenter. Det betyr at det er et klart skille mellom de som har en nobelpris, og de som ikke har det. UiO har fram til nå ligget langt foran UiB og NTNU hovedsakelig på grunn av UiOs tre nobelpriser. Når et universitet først får sin første nobelpris, klatrer det voldsomt på rangeringen. Det skjedde da London School of Economics i 2010 rykket opp fra 201.-300. plass til 102.-150. plass, hvor de har ligget siden. Det skjedde også med Hokkaidi University i Japan som i 2010 rykket opp fra 151.-200. til 101.-150. plass.
NTNU kommer trolig til å klatre enda mer fordi disse universitetene ble kreditert 1/3 nobelpris, mens NTNU vil bli kreditert med 2/3 nobelpris. Vår spådom er at NTNU neste høst vil rykke opp fra 201.-300. plass til 101.-150. plass. NTNU har selvsagt all grunn til å glede seg over nobelprisen, men at de nå kommer til å gjøre et byks på Shanghai-rangeringen, betyr neppe at NTNU i løpet av dette året og på grunn av denne nobelprisen alene går fra å ha vært et middels godt universitet til å bli et veldig godt universitet. Edvard Moser sa at han ikke hadde regnet med å få nobelprisen før han ble 80 år; om så var skjedd, ville NTNU ennå i mange tiår vært rangert på 201.-300. plass i ARWU. Det er all grunn til å betvile rangeringenes evne til å fange forskningskvaliteten ved en hel institusjon når den først er i stand til å fange det opp når et vedtak i Stockholm foreligger.
Undersøkelsen det vises til er publisert i NIFU-rapport 25/2014, Fredrik N. Piro, m.fl.: Nordiske universiteter og internasjonale universitetsrangeringer. Hva forklarer nordiske plasseringer, og hvordan forholder universitetene seg til rangeringene? Den kan leses på http://www.nifu.no/publications/1153160/