Dansk Center for Forskningsanalyse præsenterede i januar en evaluering af den norske publiceringsindikator. Evalueringspanelet fremhæver i denne artikel nogle overordnede resultater og fokuserer herunder på tre centrale udfordringer, der bør adresseres i et fremtidigt perspektiv. Udfordringerne knytter sig til ønsket om at indikatoren skal være neutral på tværs af hovedområder; at der skal være gennemsigtighed og legitimitet omkring nomineringsprocesserne; samt at der skal opbygges bedre tilpassede og mere fintmaskede lokale modeller.
KAARE AAGAARD, POST DOC., AARHUS UNIVERSITET
ka@cfa.au.dk
CARTER BLOCH, VICECENTERLEDER, AARHUS UNIVERSITET
carter.bloch@cfa.au.dk
JESPER W. SCHNEIDER, SENIORFORSKER, AARHUS UNIVERSITET
jws@cfa.au.dk
Den norske publikationsindikator repræsenterer et væsentligt bidrag til den internationale udvikling af performance-baserede basisbevillingsmodeller. Indikatoren placerer sig mellem de omkostningskrævende peer review-baserede modeller, de kun delvist dækkende citationsbaserede modeller, samt de let manipulerbare, udifferentierede, publikationsbaserede modeller. Publiceringsindikatoren er ikke mindst unik, fordi der er tale om en universalmodel med differentieret pointtildeling, fuld dækningsgrad og ens indikatorer for alle fagområder. Det gælder imidlertid også, at der hverken i Norge eller andre steder kan findes eksempler på optimale modeller af denne type. Enhver model er karakteriseret ved en række trade offs, og dette gælder også for den norske indikator.
Stor stabilitet på aggregeret niveau
Det er velkendt, at debatten siden indikatorens introduktion har været præget af en række indlæg om potentielle uhensigtsmæssige effekter. Indledningsvist vil vi derfor starte med at fastslå, at der ikke på aggregeret niveau kan findes klare indikationer på uønsket publiceringsadfærd. Vi kunne i evalueringen dokumentere en betydelig stigning i publiceringsvolumen i form af både antal publikationer i CRIStin, antal publikationspoint og antal publikationer i Web of Science. Denne tilvækst lader sig ikke blot forklare med periodens ressourcevækst. Til gengæld fandt vi næsten ingen effekter på andre målbare parametre. Både gennemslagskraft og valg af kanaler har udvist stor stabilitet gennem perioden. Ligeledes er der heller ingen tegn på salami-publicering, reduceret samarbejde eller væsentlige forskydninger mellem publikationstyper. Indenfor humaniora og samfundsvidenskab ser vi dog indikationer på en mindre bevægelse væk fra norsk som publikationssprog.
Problematiske antagelser bag indikatoren
Under denne tilsyneladende stabile overflade fandt vi imidlertid indikationer på forhold som efter vores vurdering over tid kan bidrage til at undergrave modellens legitimitet, og som også vil kunne føre til uønsket adfærd, hvis ikke problemerne adresseres. Der ligger (mindst) tre centrale antagelser til grund for indikatorens aktuelle udformning; 1) at der kan skabes en pointtildeling, der er neutral på tværs af fagfelter, således at sammenlignelige forskere i gennemsnit vil få samme pointtildeling for samme arbejdsindsats; 2) at det gennem konsensusprocesser på gennemsigtig og legitim vis kan lade sig gøre at fordele publikationskanaler mellem fagråd og herunder rangordne disse publikationskanaler inden for to niveauer; samt 3) at indikatorens incitamenter kan holdes på aggregeret niveau, og at der lokalt vil blive opbygget mere fintmaskede og bedre tilpassede modeller. Ingen af disse forudsætninger synes i dag fuldt ud at være opfyldte.
Omfordeling på tværs af områder
I forhold til spørgsmålet om fagfeltsneutralitet knytter diskussionen sig først og fremmest til spørgsmålet om den tværgående fordeling af midler. Såvel analyserne i evalueringen samt resultaterne af andre undersøgelser indikerer, at der sker en uønsket omfordeling af midler mellem hovedområder. Evalueringsrapporten peger på fraktioneringsreglerne som ét af de elementer, der kan være med til at forklare denne tendens. I det store billede er det dog formentlig ganske små beløb, der reelt bliver flyttet mellem de enkelte hovedområder, så på denne baggrund kan problemet fremstå som ubetydeligt. Der knytter sig dog også et legitimitetsspørgsmål til problematikken, og dette kan vise sig at have større betydning, hvis det bidrager til at undergrave accepten af modellen. Efter vores vurdering er dette dog det mindste problem blandt de tre, vi fremfører her.
Uigennemsigtige nomineringsprocesser
Mere alvorligt er det efter vores opfattelse, at der også er ganske lav legitimitet omkring nomineringsprocesserne. Det er her særligt gennemsigtigheden i afgørelserne af hvilke kanaler, der skal placeres på henholdsvis niveau 1 og 2, repræsentationen i de enkelte fagråd (fra såvel mindre/ tværdisciplinære forskningsfelter samt institut- og helsesektoren), og opdelingen mellem fagråd og herunder ejerskabet til forskellige kanaler, der trækkes frem som problematiske. Igen kan der både peges på et legitimitetsproblem og et mere praktisk problem. Hvis nomineringsprocesserne af mange opfattes som uigennemsigtige og i nogle tilfælde præget af særinteresser knytter der sig naturligvis et åbenbart legitimitetsproblem til dette. Men herudover kan man argumentere for, at problemet er af begrænset reel betydning, hvis indikatoren kun anvendes på aggregeret niveau og bare i gennemsnit rammer nogenlunde rigtigt. Til gengæld vil problemet være af noget mere alvorlig karakter, hvis indikatoren anvendes for direkte på lokalt niveau i tilfælde, hvor den ikke afspejler lokale vurderinger af, hvordan kanalerne bør niveauinddeles. Som næste punkt viser, synes dette i nogen grad at være tilfældet.
Mangel på lokale modeller
Endelig har vi til sidst det problem, som vi opfatter som det væsentligste: spørgsmålet om den lokale anvendelse af indikatoren. Dette punkt knytter sig til det forhold, at indikatoren er udformet til brug på aggregeret niveau til fordeling af midler mellem institutioner, men at den samtidig skal bidrage til at påvirke adfærden på individuelt niveau. Evalueringen dokumenterer en meget stor variation såvel på tværs af institutioner som internt på enkelte institutioner i forhold til, hvordan dette dilemma håndteres, men hovedindtrykket er dog, at den overordnede models incitamenter mange steder føres ned til individniveau og anvendes på måder, som er delvist i strid med de anbefalinger, der kan findes i Vekt på forskning. Der synes således at være en tendens til, at pointoptjeningen samt niveauinddelingen af kanaler også på individuelt niveau bruges som en performanceindikator (se figur under). Hertil kommer, at der for mange synes at være stor usikkerhed i forhold til indikatorens reelle betydning for den enkelte i forhold til eksempelvis karrierespørgsmål. Denne tendens synes ikke mindst at være tydelig indenfor de humanistiske og samfundsvidenskabelige områder.
Hvorfor er det så vanskeligt at fastholde indikatoren på aggregeret niveau?
Indikatorens begrænsede økonomiske incitament samt mulighederne for at svække eller afkoble virkningerne af den på institutionernes forskellige niveauer gør, at det kan forekomme overraskende, at modellen mange steder i praksis tillægges ganske stor betydning af såvel forskere som ledere. Imidlertid viser det sig, at der udover det rent økonomiske incitament er andre stærke tilskyndelser til at føre incitamenterne ned. Set fra et ledelsesmæssigt og administrativt perspektiv repræsenterer indikatoren således et redskab, der kan bidrage til at opstille let monitorerbare mål samt reducere kompleksitet og forsimple beslutningsprocesser, hvor der tidligere var behov for vanskelige skøn. Hertil kommer, at det langtfra er ligetil at udforme gode lokale modeller. Der er ganske få bud på, hvordan det kan gøres i praksis, og der synes at være en generel mangel på dialog og læring i systemet i forhold til dette spørgsmål. Endelig gælder det også, at omkostningerne ved udformning af lokale modeller i sidste ende betales på lokalt niveau samt at udarbejdelsen af disse kan blive en arena for nye lokale konflikter. Der er således en række faktorer, der i praksis betyder, at indikatorens incitamenter i mange tilfælde føres langt ned i institutionerne. Vi ser derfor et klart behov for øget opmærksomhed på denne problemstilling på alle niveauer og herunder et behov for mere eksplicitte diskussioner af, hvordan indikatoren i praksis kan indgå i arbejdet med lokale prioriteringer og belønningsmekanismer, uden at dette risikerer at føre til skævvridning mellem forskellige typer af opgaver eller skaber incitamenter til uønsket publiceringsadfærd.
Evalueringsrapporten kan leses på Universitets- og høgskolerådets hjemmeside, se http://bit.ly/1iUY0B2