Danmarks Grundforskningsfond blev i slutningen af 2013 evalueret med et flot resultat. Overordnet set er der ingen grund til at stille spørgsmålstegn ved denne vurdering, men dykker man lidt ned i datamaterialet viser der sig alligevel interessante nuancer.
JESPER W. SCHNEIDER, SENIORFORSKER, AARHUS UNIVERSITET
jws@cfa.au.dk
I forlængelse af offentliggørelsen af evalueringen af Danmarks Grundforskningsfond i december 2013 blev det fremført, at Grundforskningsfondens centre præsterer bedre end de europæiske topuniversiteter og endda er på vej til at måle sig med de bedste i USA. Udtalelserne er ikke nødvendigvis forkerte, men bør nuanceres. Hovedkonklusionen i den bibliometriske analyse, som udtalelserne bygger på, er at publikationer fra danske centre generelt har en impact på samme niveau som nogle af de bedste universiteter i Europa, men også at der er væsentlige forskelle i Grundforskningsfondens præstationer indenfor forskellige emneområder og mellem de enkelte centre.
Valg af analyseenhed til fondens gunst?
Det var et vilkår for de bibliometriske analyser, at centrenes publikationer skulle behandles under ét som «tilhørende» Grundforskningsfonden. Som analyseenhed blev fonden dermed betragtet som en «forskningsinstitution». Spørgsmålet er, om en sådan analyseenhed er rimelig, når man ønsker at sammenligne med europæiske og amerikanske universiteter? Der er i realiteten tale om vidt forskellige analyseenheder, som fungerer under væsentlig forskellige konditioner. Dette faktum vanskeliggør i sig selv en direkte sammenligning, men der er også en metodisk pointe, som er vigtig at fremhæve, idet man sammenligner enheder af væsentlig forskellig størrelse (størrelse defineret ud fra publikationsvolumen). Relative citationsindikatorer vil ofte have en tendens til at bevæge sig mod en referenceværdi (typisk en middelværdi for citationsaktiviteten i databasen), jo større enheden er. Derfor forsøger man oftest i bibliometriske analyser at sammenligne enheder af nogenlunde samme størrelse. Generelt er alle benchmark-universiteternes volumen større end Grundforskningsfonden. Det bør derfor medtænkes, at der dermed er valgt en sammenligningsmetode, som i udgangspunktet er gunstig for Grundforskningsfonden. Det er i den sammenhæng også interessant, at Grundforskningsfondens performance toppede omkring 2007. De seneste år er performance faldet til et lidt lavere niveau og dette falder sammen med, at den årlige publikationsvolumen for Grundforskningsfonden i denne sidste periode er den største i hele den undersøgte periode fra 1993 til 2011.
Stor variation under overfladen
Formålet med evalueringen var som nævnt at give en samlet vurdering af Grundforskningsfonden. Det er naturligvis rimeligt at betragte summen af de undersøgte centres præstationer som et aggregeret udtryk for fondens evne til at udvælge og finansiere excellent forskning. Men man skal huske på, at forskningsperformance varierer en hel del, og at dette også er tilfældet for de 66 centre, som indgår i den samlede analyse. Figuren viser gennemslagskraften for de enkelte centre. Blandt de 66 centre er der enkelte, som ikke fik deres bevilling fornyet ved midtvejsevalueringen efter 5 år, og centre som indenfor den pågældende analyseperiode ikke havde afsluttet deres 10-årige bevilling fra Grundforskningsfonden. Figuren viser centrenes gennemsnitlige citeringshyppighed. Vi ser at en del centres performance er spektakulær og langt over de traditionelle referenceværdier som anvendes i bibliometriske analyser. Mange centre har en god performance, men det er også værd at bemærke, at omkring 12-13 procent af centrene har en performance omkring eller under referenceværdien, og de fleste af dem er centre som har haft en 10-årig bevilling.
Variationen nuancerer fortællingen om Grundforskningsfonden. Centre, som finansieres af Grundforskningsfonden, får nogle forskningsrammer som er særdeles gunstige. Figuren viser, at nogle centre ikke præsterer som forventet. Paradoksalt nok er dette faktum faktisk alligevel forventeligt, fordi udvælgelse og finansiering af potentielt excellent forskning er særdeles udfordrende og nødvendiggør en stor risikovillighed. Man er nødt til at acceptere, at ikke alle præsterer lige godt og at nogle sikkert ikke vil præstere i forhold til det forventede. Dette hører også med til fortællingen.