Det Europæiske Forskningsråd (ERC) har for nyligt offentliggjort en evaluering af rådets første 199 bevillinger. Såvel resultaterne som metoden knyttet til evalueringen påkalder sig bred interesse, men giver samtidig anledning til refleksioner over, hvordan man på en meningsfuld og valid måde kan vurdere effekterne af elitebevillinger. Det gode spørgsmål er, hvordan vi måler forskellige bevillingers forskellige typer af samfundsmæssige effekter.
DAVID BUDTZ PEDERSEN, LEKTOR, AALBORG UNIVERSITET KØBENHAVN
Davidp@hum.aau.dk
KAARE AAGAARD, SENIORFORSKER, AARHUS UNIVERSITET/NIFU
ka@ps.au.dk
Såvel i de nordiske lande som på EU-plan er der en stadig stigende opmærksomhed omkring udviklingen af redskaber til måling af forskningens videnskabelige og samfundsmæssige gennemslagskraft. Politikere og beslutningstagere efterspørger evidens, der kan kaste lys på, om de offentlige og private forskningsmidler anvendes rigtigt og herunder vise hvordan forskellige bevillingstyper klarer sig i sammenligning med hinanden. I de fleste tilfælde er denne type evalueringer dog i helt overvejende grad kvantitativt orienteret – typisk baseret på bibliometriske og/eller økonomiske indikatorer.
Kvalitativt orienteret evaluering
En nylig evaluering foretaget af ERC går imidlertid i en anden retning. Evalueringen er overvejende baseret på kvalitative evalueringer udført af 25 ekspertpaneler hvert bestående af tre anerkendte forskere. Rapporten suppleres dog af en citationsanalyse fra 2014, der viser, at ca. 7 procent af de artikler, som eksplicit kan henføres til ERC-finansiering, rangerer i top-1 procent af de mest citerede publikationer inden for deres fagområde. Men i stedet for at nøjes med denne opgørelse har ERC udarbejdet en kvalitativ kortlægning, der kaster mer nuanceret lys på forskningens aftryk. Ved at underkaste både publikationer og anden dokumentation en faglig vurdering giver rapporten et indblik i, hvilke effekter forskningen har – for eksempel på talentudvikling, forskningsbaseret uddannelse, politisk rådgivning og anden vidensspredning – ligesom evaluatorerne blev bedt om at vurdere sandsynligheden for fremtidig impact.
Rapporten, som blev offentliggjort denne sommer ved Euroscience Open Forum (ESOF) i Manchester, viser, at over 70 procent af de evaluerede projekter har ført til «væsentlige videnskabelige gennembrud eller fremskridt». Rapporten fremhæver også, at ERC ikke kun investerer i risikobetonede grundforskningsprojekter, men at mange af rådets projekter bidrager afgørende til samfundet gennem samarbejde, talentudvikling og vidensspredning. Kun 4 procent af projekterne har ifølge rapporten ingen dokumenteret gennemslagskraft. Ikke mindst spørgsmålet om grundforskningens effekter udover videnskabens egne grænser har vakt opmærksomhed. Netop fordi ERC (i lighed med eksempelvis Danmarks Grundforskningsfond) udelukkende uddeler midler til nysgerrighedsdreven grundforskning er det blevet set som opsigtsvækkende, at evalueringen synes at dokumentere en række fordele for økonomien og samfundet. Ifølge studiet har tæt ved 50 procent af projekterne allerede haft en effekt på samfundet, heraf har 10 procent haft «en væsentlig effekt».
Usikre metoder og uklare succeskriterier
Metoden der er anvendt i evalueringen rejser dog også nogle principielle spørgsmål: På den ene side er der grund til at hilse et studie, der ikke blot baserer sig på kvantitative indikatorer, velkomment. Der er et stærkt behov for udviklingen af nye og mere nuancerede bud på, hvordan vi evaluerer forskningsinvesteringer. På den anden side må det konstateres, at ERC endnu langt fra er i mål med tilgangen. Dels er den offentligt tilgængelige dokumentation af metoder og resultater knyttet til evalueringen særdeles begrænset. Det er således vanskeligt at vurdere, hvor robuste resultaterne er. Dels synes vurderingskriterierne at have været lidt uklart definerede. Spørgsmålet om hvordan man eksempelvis definerer et videnskabeligt gennembrud er ikke klart besvaret. ERC anerkender imidlertid disse begrænsninger og arbejder på at forfine metoderne i fremtidige evalueringer.
Herudover knytter der sig en vigtig diskussion til, hvordan man overhovedet opstiller meningsfulde succeskriterier for bevillingsmekanismer af denne karakter. Det er oplagt, at der er grund til at have ganske høje forventninger, når man har at gøre med bevillinger, der opfattes som særdeles prestigefyldte, og hvor der kan selekteres fra allerøverste hylde blandt verdens forskere. At resultaterne er gode, er derfor nærmest en selvfølge. Men hvor gode skal de være, før vi kan tale om en succes, og hvad kan man overhovedet sammenligne resultaterne med?
Et nyt forsvar for den lineære model?
At ovenstående spørgsmål indtil videre fremstår utilstrækkeligt behandlet, kan imidlertid hænge sammen med, at ERC-evalueringen er designet med et andet formål for øje end blot at sikre en uvildig evaluering. I diskussionerne, der har fulgt lanceringen af evalueringen, er det således fremført af blandt andre ERC-præsident, Jean-Pierre Bourguignon, at Rådet leder efter «… evidence-based arguments to show that bottom-up, curiosity driven Research is valuable to society». Rådet er med andre ord ude i en mission for at sikre fortsat støtte til deres model. Med dette udgangspunkt har man valgt en evalueringsmodel, der i hovedsagen ikke opererer med kontrolgrupper eller komparationer, men baserer sig på vurderinger fra sagkyndige forskere, hvor to ud af tre har tidligere forbindelse til ERC. I dette lys fremstår rapporten mere som en effektiv fortælling om ERC’s første uddelingsperiode end som en kritisk og uafhængig evaluering.
En ting er imidlertid sikkert. Den tid er forbi, hvor værdien af bevillinger til grundforskning på det højeste niveau naturligt kan tages for givet. ERC er med deres valg af evalueringsdesign klar over, at også grundforskningsbevillinger må kunne sandsynliggøre deres samfundsmæssige værdi på kort og mellemlang sigt – og ikke kun henvise til den langsigtede nedsivning af viden i samfundet. Alligevel bliver vi ikke meget klogere på, om denne type bevillinger med stærk orientering mod interne videnskabelige kriterier reelt fører til samfundsmæssigt udbytte, eller om de måske tværtimod bidrager til at skubbe forskningen endnu højere op i elfenbenstårnet. Det hænger ikke mindst sammen med, at ERC opererer med en snæver definition af samfundsmæssig impact forstået som effekter på økonomi, samfund og politikudformning. Der mangler med andre ord en mere differentieret forståelse af impact uden for det videnskabelige domæne.
Flere internationale evalueringer er i stigende grad opmærksomme på de forskellige måder, som forskningen optages på i samfundet (for eksempel via konferencer, rådgivning, seminarer, formelle eller uformelle samarbejdsrelationer), hvordan forskningen konkret finder anvendelse (for eksempel via inspiration, videreformidling, praksisudvikling, forretningsmodeller) til de effekter, som forskningen i sidste ende kan have for brugerne (for eksempel adfærdsændring, nye forståelser og holdninger, udvikling af nye teknologier, ændring af praksis, indflydelse på politiske beslutninger). For at kunne redegøre for denne type impact er der imidlertid behov for et langt mere dynamisk evalueringsdesign, der inddrager såvel kvalitative vurderinger og casestudier som uafhængige kvantitative data.
Interessant tilgang, men rum for forbedring
Som fremhævet ovenfor repræsenterer den kvalitative vej, som ERC nu har valgt til evalueringen af rådets bevillinger, et velkomment bidrag til udviklingen af nye og mere nuancerede vurderingssystemer. Men hvis forsøget for alvor skal fremstå overbevisende, er der også brug for at fremtidige opfølgninger på evalueringstilgangen forfines – såvel metodisk som designmæssigt. Kun herigennem kan argumenterne for det fornuftige i fortsat generøs støtte af fri grundforskning sandsynliggøres.