Fagfellevurdering er det viktigste grunnlaget ved tildeling av forskningsprosjekter. Mens systemene og prinsippene for slike tildelinger ble til i en tid med relativt høye suksessrater og god tilgang på eksperter til å vurdere søknadene, har vi i dag lave suksessrater, og eksperter takker oftere nei til å bidra. Hva gjør vi når systemet blir kritisert og tilliten synker?
Liv Langfeldt, forsker 1, NIFU og senterleder R-Quest
Hvorfor fagfellevurdering?
Både offentlige og private forskningsfinansiører bruker vurderinger fra fageksperter (fagfeller) som grunnlag for tildeling av prosjektmidler. Fagfellevurdering har to hovedfunksjoner i denne sammenhengen: Kvalitetssikring og kvalitetsforbedring.
Kvalitetssikring handler om å sikre at finansiert forskning holder en god vitenskapelig standard, er verdifull for vitenskapen og samfunnet, og i tråd med finansieringsordningens målsettinger. Hensikten er å sikre at midlene brukes fornuftig, og fagfellene er portvoktere som forkaster prosjekter som ikke er tilstrekkelig interessante og relevante, eller baseres på inadekvate metoder og perspektiver. Uønskede effekter av slik portvokting kan være konservative vurderinger, i den forstand at for eksempel nye og ukonvensjonelle forskningsideer og metoder ikke blir finansiert.
Kvalitetsforbedring er derimot i stor grad basert på fordelene ved konkurranse. Konkurranse mellom søkere forventes å forbedre søknadene og forskningen. Hvis kon kurransen er høy og finansieringsordningen er attraktiv, kan den tiltrekke seg mer kvalifiserte søkere og bedre søknader, og det kan være lettere å få tak i fagfeller med den rette kompetansen.
Konkurransedynamikken som skapes av slike prestisjefylte ordninger, kan også ha positive effekter i forskningsmiljøene. Forskerne må utmerke seg for å få en bevilgning, og kanskje tilegne seg ferdigheter i å utforme og presentere forskningsprosjekt. Uønskede effekter kan være at utvelgelsesprosessen krever uforholdsmessig mye tid og ressurser, og at forskningsmidlene konsentreres på de mest konkurransedyktige miljøene (kumulative fordeler/Matteus-effekten), noe som kan begrense mangfoldet i forskningen. Noen forskningsmiljøer og temaer faller gjennom.
Utfordringer og dilemmaer
En hovedutfordring ved tildeling av forskningsprosjekter er å velge de søknadene som er best egnede til å oppnå målene i utlysningen, samtidig som man minimerer ressursene som brukes på tildelingsprosessen. Flere faktorer gjør dette vanskelig:
Usikkerhet og uenighet. Prøving og feiling, usikkerhet og begrenset enighet er en del av vitenskapens dynamikk og logikk. Dette kommer lett i konflikt med forskningsfinansiering basert på forskningskvalitet som en forhåndsdefinert målbar egenskap som vurderes og rangeres.
Søknadsbehandling er prospektiv, den vurderer en plan for forskning som skal utføres. Den har som mål å forutsi suksess, og suksessfaktorene er usikre. Fagfeller er ofte uenige om forskningssøknader. De kan ha ulike vurderinger av forskningen og vektlegge ulike aspekter og kvaliteter ved søknadene. Dessuten har forskningsfelt ulike kvalitetsbegreper og kriterier, noe som kompliserer sammenligning av søknader på tvers av fag, og ikke minst valg av fagfeller til fler- og tverrfaglige søknader.
Kompetanse og habilitet. En hovedutfordring når man organiserer fagfellevurdering, er å matche eksperter til søknader, altså å definere hvem som er en fagfelle og hvem som er habil. Det viktigste dilemmaet er at jo mer ekspertise en har på en søknad, desto større er sjansen for inhabilitet. I små, spesialiserte, internasjonale fagfelt med mye samarbeid kan det være umulig å finne fagfeller som ikke har noen koblinger til søkerne.
«Fagfellenekt». Hvem som blir valgt til å vurdere en søknad avhenger ikke bare av hvem som identifiseres og velges til oppgaven, men også av hvem som har ledig tid og er motivert. Forskere er generelt travle og kan være motvillige til å påta seg de (ofte mange) vurderingsoppgavene de blir spurt om – fra blant annet tidsskrifter og forskningsråd – i tillegg til deres vanlige forsknings- og undervisningsoppgaver. Reviewer fatigue er blitt et begrep for dette internasjonalt, på norsk kan vi kalle det «fagfellenekt» eller «fagfelleslitasje».
Det er ikke uvanlig at forskningsråd må gå langt ned på listen over relevante fagfeller før de får et positivt svar. Ifølge en studie fra 2019 bruker de ofte 6 timer eller mer for å finne fagfeller til én søknad (Publons 2019:22). Fagfellevurdering forutsetter at fagfeller har kompetansen til å være vitenskapens vakthunder – altså at de har kompetanse innen søknadens fagfelt, og helst på samme nivå eller høyere enn søkerne de vurderer. I en situasjon med mye fagfellenekt vil ikke fagfellevurdering fungere etter hensikten.
Lave suksessrater og lavere tillit. Lave suksessrater innebærer mye arbeid for å vurdere et stort antall søknader for å identifisere noen få som skal finansieres. Det blir med 1 https://publons.com/static/Grant-Review-in- Focus-web.pdf andre ord høyere kostnader per prosjekt som blir finansiert. Samtidig kan dette gi insentiver til å investere stadig mer ressurser i å forberede (flere) konkurransedyktige søknader. Dermed blir flere ressurser brukt på å utforme og vurdere søknader, i stedet for å utføre forskning.
Lave suksessrater og krevende vurderingsprosesser kan resultere i lavere tillit til vurderingene. Søkere mener at søknadene deres ikke har blitt riktig vurdert, og at fagfellene ikke var kompetente.
Det er en fare for at disse faktorene – lave suksessrater, fagfellenekt og lav tillit til vurderingsprosessen – forsterker hverandre: For eksempel at lave suksessrater genererer flere søknader, gjør det vanskeligere å skille ut de beste søknadene/velge de få vinnerne, øker belastningen på fagfellene, og skaper mer mistillit.
Skjevheter og kumulative fordeler. Fagfellevurdering blir kritisert både for å ikke avdekke feil og juks, og for å være for konservativ – å hemme innovativ og banebrytende forskning. Den kritiseres også for å svekke unge forskeres og kvinners muligheter når vurderinger baseres på søkerens merittliste.
Som nevnt kan fagfellevurdering bidra til kumulative fordeler i forskningen: De som har mest ressurser til å skrive søknader og den flotteste merittlisten – i form av tidligere bevilgninger og publikasjoner – er best posisjonert til å vinne. Det er samtidig verdt å merke seg at empiriske studier av skjevheter (bias) i søknadsbehandling ikke er entydige, og omfang og type av «bias» varierer.
Tilfeldigheter på flere nivåer. Utfallet av fagfellevurdering er kontekstavhengig. Det avhenger av hvem som vurderer hva på hvilken måte, og det er mye rom for tilfeldigheter. Sjansene dine kan avhenge av fagfellene, de andre søknadene og prosessen:
(1) Sjansene avhenger av hvilke fagfeller som er valgt til å vurdere og rangere din søknad («fagfellelotteriet»), fagfellenes interesser og motivasjon, hvor mye tid de er villige til og kan bruke på vurderingsarbeidet, deres ulike referanserammer for å forstå og vurdere søknadene, inklusive kompetanse på spesifikke forskningsfelt og -temaer, deres kjennskap til ulike forskningsmiljøer, og hvor mye tid de bruker på å utvide sin referanseramme.
Hvis søknadene vurderes og rangeres i et panelmøte, kan fagfellenes akademiske status og forhandlingsevner/personlige egenskaper også påvirke utfallet.
(2) Sjansene avhenger av de andre søkerne og søknadene, og hvor mange som konkurrerer om bevilgningene. Generelt er det mer rom for tilfeldigheter når suksessratene er lave. Når bare noen få av mange prosjekter (som alle kan fremstå som like viktige og lovende) skal velges ut, blir det såkalte «fagfellelotteriet » – hvem som vurderer din søknad – viktigere. Suksess blir både mindre sannsynlig og mer uforutsigbart.
Mens fagfeller kan bli enige om en gruppe søknader på toppen av listen, er det mye vanskeligere å oppnå enighet om rangeringen innenfor denne toppgruppen. Problemet med usikkerhet øker derfor når suksessratene blir så lave som 10–20 prosent.
(3) Sjansene avhenger av hvordan vurderings- og utvelgelsesprosessen er organisert. En gitt søknad kan ha svært ulike sjanser i konkurranse med søknader fra andre fagfelt, enn i en prosess med et separat budsjett for hvert fag.
Når det konkurreres på tvers av fag, avhenger sjansene av sammensetningen av vurderingspanelet – om det er noen der med nær kompetanse og interesse for fagfeltet – og av forhandlingsevnen og statusen til eventuelle representanter for fagfeltet.
Tilsvarende vil tverrfaglige søknader og unge forskere ha større muligheter når det er en egen pott for slike søknader enn når de konkurrerer mot henholdsvis disiplinsøknader og seniorforskere.
Vurderingsskalaer, kriterier og budsjettbegrensninger kan også påvirke utfallet. For eksempel gir åpne og brede kriterier mer rom for tilpasning til ulike fagfelt og å sikre faglig pluralisme. Å vurdere vitenskapelig og samfunnsmessig verdi hver for seg kan gi et annet resultat enn å vurdere det samlet. Høye suksessrater, grovmasket karakterskala, heterogene paneler og åpne prosesser kan gi større muligheter for innovative prosjekter.
Hvordan fikse fagfellevurderinger
Systemene og prinsippene for vurdering av forskningssøknader ble etablert i en tid med suksessrater på 30 til 50 prosent og mindre arbeidsbyrde for fagekspertene.
Det ble brukt mindre tid på å skrive avslåtte søknader, og flere søkere var fornøyde. I et større forskningssystem, med høy konkurranse, svært lave suksessrater og økende fagfellenekt, trengs tiltak for å sikre kompetanse, åpenhet, rettferdighet og upartiskhet i prosessen.
Økt kompetanse og åpenhet. Hovedutfordringen i å sikre kompetanse er å (1) identifisere, rekruttere og motivere fagfeller med ekspertise på søknadenes spesifikke fagfelt og på tverrfaglige søknader, og (2) gjøre det mulig for fagfellene å gjøre en god jobb og forbedre sin vurderingskompetanse.
For å oppnå det første kan det være nødvendig med mer involvering fra forskersamfunnet i identifiseringen av fagfeller.
Samtidig må man ta hensyn til mulig partiskhet når man velger å bruke fagfeller som er foreslått av søker. I noen sammenhenger kan det være nyttig å inkludere fagfeller i eget land, som kjenner forskningsmiljøene og finansieringsinstrumentene, og ikke bare utenlandske forskere som kanskje er mindre villige til å bruke tid på vurderingene.
Det er verdt å merke seg at forskere ser på fagfellevurdering som en del av sine akademiske plikter og noe de gjør for faget og forskningssamfunnet, mens en hovedårsak til å takke nei til å vurdere en søknad er at den ligger utenfor egen ekspertise.
Det andre elementet, fagfellelæring, kan sikres gjennom arbeid i vurderingspaneler (og ikke bare individuelle vurderinger), intervjuer med søkerne, og kursing og oppfølging for fagfellene ved å gi dem informasjon om tidligere erfaringer, resultatet av utvelgelsesprosessen og utfallet av prosjektene. Både motivasjon og fagfellelæring kan fremmes ved å involvere fagfellene i utviklingen av vurderingskriterier og prosesser.
Økt rettferdighet og upartiskhet. I en situasjon med stor konkurranse, høye avslagsrater og søknader på ulike forskningsfelt som konkurrerer mot hverandre, må mulig faglig partiskhet overvåkes.
Når kvalitetsbegreper varierer mellom forskningsfelt, får vi skjevheter i flerfaglige paneler: Noen fagfelt kan for eksempel ha klarere kriterier for vitenskapelig suksess og/eller vellykkede grupper er mer synlige, og disse vil lettere lykkes i flerfaglige paneler. Tiltak kan være en ekstra innsats for å matche fagfelleekspertise til søknadene (samme felt og faglige perspektiver) og overvåke suksessratene til de ulike fagfeltene.
For å fremme tverrfaglig forskning, kan separate ordninger eller utlysninger være nødvendig. Å ta en ekstra diskusjon eller ny vurdering på søknader som har fått sterkt sprikende ekspertvurderinger, kan bedre sjansene for ukonvensjonell forskning. En delvis randomisering (for eksempel en loddtrekning blant søknader som er vurdert aktuelle for støtte) kan også bidra til å redusere faglige skjevheter, i tillegg til å gi en mindre ressurskrevende utvelgelsesprosess.
Denne artikkelen er basert på Liv Langfeldt (2024) «The Many Dilemmas of Grant Peer Review» i G. Sivertsen & L. Langfeldt (red.) Challenges in Research Policy. Evidence- Based Policy Briefs with Recommendations. Springer ISBN 978-3-031-69579-7. Boken kan lastes ned gratis som PDF.
Policy-implikasjoner
Søknadsbehandlingen må tilpasses. Lav suksessrate og fagfellenekt legger press på tillit og kompetanse i søknadsvurdering. Det finnes ikke noen idealmodell for fagfellevurdering.
Kravene til søknader og vurderingsprosedyrer må tilpasses finansieringsordningens størrelse og mål, og søknadsmengden.
Noen kan fremme ukonvensjonell forskning og mangfold i finansieringsporteføljen med en delvis randomisert seleksjon. Andre kan oppnå dette ved å selektere og trene fagfeller dedikert for formålet. Når en høy andel av fagfellene man forespør takker nei (eller ikke svarer), bør man vurdere å involvere forskningsmiljøet mer i å identifisere og motivere kompetente fagfeller.
Mistillit må møtes med åpenhet. Åpenhet er viktig for god søknadsbehandling. Det innebærer full informasjon om utvelgelsesprosedyrer, vurderingspaneler og kriterier, adekvat tilbakemelding til søkerne, mulighet for søkerne til å indikere kompetente (og inkompetente) eksperter for sin søknad, og når det er mulig, gi dem tilsvarsrett på vurderingene («rebuttal»). Å involvere fagfellene i utviklingen av vurderingskriterier og prosesser, kan gi mer motiverte fagfeller og bedre vurderinger.
Kompetanse og upartiskhet må matches. Den viktigste og vanskeligste jobben i organisering av fagfellevurdering er å rekruttere kompetente, dedikerte og upartiske fagfeller.
Ekspertisen bør være tilstrekkelig nær for en grundig og dedikert vurdering av søknaden, men samtidig upartisk, altså ikke for nær. Ideelt bør fagfellene kunne vurdere og sammenligne flere søknader og ikke ha bånd til noen av forskningsmiljøene som er involvert i søknadene.
Å finne disse fagfellene krever god oversikt over ekspertise, samt klare habilitetsregler og oversikt over alle typer av potensiell partiskhet. Det kan også kreve noen kompromisser, for eksempel habilitetsregler som ikke er så strenge at de umuliggjør kompetent og dedikert fagfellevurdering.
Topp foto: champpixs.