Ny international debat om effekter af præstationsbaserede forskningsfinansieringssystemer.
Hvad er effekterne af præstationsbaserede forskningsfinansieringssystemer med fokus på kvantitet? Dette spørgsmål fylder aktuelt meget i den del af den internationale forskningslitteratur, der beskæftiger sig med forskningspolitik og bibliometri. Både påstandene om effekterne af resultatbaseret finansiering og spørgsmålet om hvilke policy-konklusioner man kan drage, er i øjeblikket mere modstridende end nogensinde.
Av Kaare Aaagaard, seniorforsker, Aarhus Universitet og Gunnar Siversten, forsker, NIFU
I den internationale forskningslitteratur pågår der aktuelt en række interessante diskussioner om effekter af præstationsbaserede forskningsfinansieringssystemer. Herunder findes der blandt andet en mere specifik debat om relationen mellem forsk- ningsproduktivitet og gennemslagskraft.
Diskussionerne er komplekse og har mange lag af både datamæssig, metodisk, teoretisk og policyorienteret karakter, som ikke alle kan ydes retfærdighed her. Vi vil i denne sammenhæng særligt fokusere på to indbyrdes sammenhængende problemstillinger:
1) udfordringerne ved at sige noget generelt om effekter af præstationsbaserede finansieringssystemer (som eksempelvis den norske publiceringsindikator), og
2) risikoen for økologiske fejlslutninger, når der drages konklusioner fra aggregeret niveau til individniveau.
Skarp kritik af tidligere studier
Katalysatoren for den internationale debat har været en række studier fra den svensk/hollandske forskerduo, Ulf Sandström og Peter van den Besselaar. I disse studier udfordrer de blandt andet læren fra et hyppigt refereret studie af Linda Butler fra 2003.
Butler hævder med udgangspunkt i australske data fra 1990’erne, at præstationsbaserede systemer, der udelukkende belønner kvantitet, ikke blot fører til øget produktivitet, men også til faldende gen- nemsnitlig gennemslagskraft. På baggrund af en kritik af dette studie samt data fra en række af deres egne nye undersøgelser konkluderer Sandström og van den Besselaar i stedet, at et øget fokus på kvantitet i forskningsproduktionen er en ønskelig effekt af præstationsbaserede finansieringssystemer, fordi kvantitet også fører til øget citations-gennemslagskraft.
Disse konklusioner opfattes selvsagt som kontroversielle i en tid, hvor termer som slow science synes at vinde popularitet. Studierne, der berører et forskningspolitisk kernespørgsmål om sammenhængen mellem øget produktivitet og citationshyppighed har således genereret interessante efterfølgende diskussioner med input fra en række højt profilerede forskere på tværs af lande.
Kan vi isolere effekterne af præstations- baserede forskningsfinansierings- systemer?
Som indikeret ovenfor, handler en del af diskussionen imidlertid også om, hvorvidt og i hvilket omfang vi overhovedet kan sige noget præcist om effekterne af præstationsbaserede forskningsfinansieringssystemer.
En række indlæg i nr. 3/2017 af Journal of Informetrics belyser dette spørgsmål fra forskellige vinkler, blandt andet ved at indrage resultaterne af evalueringen af den norske publiceringsindikator fra 2014. Diskussionen drejer sig ikke mindst om, hvorvidt adfærdsændringer i ekstremt komplekse systemer, hvor disciplinære kulturer interagerer med både lokale, nationale og internationale incitamentsstruk- turer, kan tilskrives et enkelt politisk virkemiddel.
Forskellige metodiske designs kan tages i brug for at imødegå sådanne udfordringer, men det er fælles for alle eksisterende studier, at de i bedste fald kun når et stykke af vejen.
Linda Butlers oprindelige studie hører i denne sammenhæng til blandt de mere robuste, da der i den australske case var mulighed for at sammenligne udviklingen hos både institutioner omfattet af systemet og institutioner udenfor. Men også her kan der dog peges på betydelige metodiske udfordringer.
Ydermere gælder det, at selv i tilfælde, hvor studiets design synes at bakke op om eventuelle fund af ret entydige effekter, kan disse aggregerede resultater meget vel blot være gennemsnittet af et meget heterogent underliggende mønster.
Giver flere publikationer større gennemsnitlig gennemslagskraft?
Hvor Linda Butlers tidligere studie viste en negativ sammenhæng mellem øget produktivitet og citationshyppighed, viser to artikler i tidsskriftet PLOS ONE fra 2016 derimod en positiv sammenhæng: De mest produktive forfattere i Web of Science har en højere andel af verdens højest citerede artikler end antallet af publikationer alene kan forklare.
Den ene af artiklerne, af netop Sand-ström og van den Besselaar, konkluderer på denne baggrund at man helt overordnet skal stimulere til øget produktivitet og støtte de mest produktive forskere. Øget produktivitet er i deres øjne et positivt tegn og ikke en pervers effekt af kvantitetsorienterede incitamentssystemer.
I den anden artikel når det canadisk- spanske forfatterpar Vincent Larivière og Rodrigo Costas – på baggrund af samme observation – til den stik modsatte konklusion: At der er sammenhæng mellem citationshyppighed og produktivitet, afspejler ifølge denne artikel især kumulative effekter af succes i forskningen, som Merton fremhævede det for efterhånden 50 år siden. Vil man forny forskningen, skal man derfor ikke bare satse på dem, der producerer meget, men finde de bedste forskere ved hjælp af kvalitative kriterier og fagfælle-vurdering.
Endelig kan der peges på en lignende konklusion, som imidlertid baserer sig på en næsten modsat observation. I et nyt studie, der blev præsenteret på den internationale bibliometri-konference (ISSI) i Wuhan (Kina) i oktober, har det kinesisk-norske forfatterpar Lin Zhang og Gunnar Sivertsen suppleret data for norsk forskning fra Web of Science med mere komplette data for videnskabelig publicering fra CRIStin- databasen. Denne tilgang giver et mere balanceret udtryk for produktivitet på tværs af fag, alder og stillingsgrupper.
Studiet viser med dette udgangspunkt, at produktivitet er meget svagt korelleret med citationshyppighed i Web of Science, selv i de fag, der har næsten fuld dæknings- grad i denne datakilde.
I stedet findes der andre interessante mønstre, som viser behovet for balancere- de incitamenter i forskningsfinansieringen overordnet set (i forhold til både basismidler og ekstern finansiering). Eksempelvis kan det fremhæves, at yngre forskere i midlertidige stillinger gennemsnitligt bliver højere citeret end de ældre og mere produktive forskere, som figurene under viser.
Væsentlige implikationer for udformningen af politiske virkemidler
Ovenstående resultater rejser dermed et centralt forskningspolitisk spørgsmål: Kan estimerede aggregerede effekter af virkemidler overhovedet oversættes til policy- anbefalinger, der giver mening på system- niveau?
Som diskussionerne illustrerer, kræver det som minimum, at incitamentssystemerne har tilnærmelsesvis ens effekter på tværs af institutioner, hovedområder, stillingskategorier og køn. Er dette ikke tilfæl- det, kommer vi let til at begå det, der i litteraturen betegnes som en økologisk fejlslutning. Som diskussionen om forholdet mellem produktivitet og gennemslags- kraft ovenfor viser, finder vi ikke denne ensartethed i effekter. De aggregerede trends dækker tværtimod over et interessant og heterogent underliggende billede.
Dette bør derfor minde os om, at aggregerede trends sjældent giver et nuanceret billede, når vi beskæftiger os med komplekse systemer. De mål og incitamenter, der på denne baggrund kan opstilles, bliver derfor nærmest per definition grove og upræcise.
Hvis man alligevel fra politisk side vælger at implementere incitamentssystemer af denne karakter, er det således helt afgørende, at omfordelingseffekten (for)bliver marginal, så incitamentsstyringen ikke bliver for kraftig, samt at der insisteres på, at aggregerede mål kun kan blive menings- fulde ved at blive oversat og tilpasset til lokale forhold.
I denne lokale tilpasningsproces skal der ikke mindst tages højde for, at der selv inden for afgrænsede faglige miljøer kan være betydelige variationer baseret på eksempelvis alder, stillingsniveau og køn. Denne artikels diskussioner illustrerer dermed tydeligt faren ved mekanisk lokal anvendelse af indikatorer udviklet til brug på aggregeret niveau.
Centrale kilder til diskussionen
- Butler, L. (2003). Explaining Australia’s increased share of ISI publications – the effects of a funding formula based on publication counts. Research Policy, 32(1), 143-155.
- Sandström, U., van den Besselaar, P. (2016). Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE 11(11): e0166149.
- Larivière, V., Costas, R. (2016). How Many Is Too Many? On the Relationship between Research Productivity and Impact. PLoS ONE 11(9): e0162709.
- Zhang, L., Sivertsen, G. (2017). Productivity versus citation impact: A study of persons, not just authors. Paper presented at ISSI, Wuhan, China
- Journal of Informetrics: Volume 11, Issue 3, Pages 599-944 (August 2017). Special Section on Performance-based research funding systems