Påvirker krav om å diskutere forskningens samfunnsmessige innvirkning hvordan forskningsprosjekter vurderes?
Av Kristin Oxley, seniorrådgiver Norges forskningsråd og Magnus Gulbrandsen, professor, Universitetet I Oslo
Behovet for å løse store samfunnsutfordringer har blitt en stadig viktigere begrunnelse for offentlig forskningsfinansiering. Relatert til denne utviklingen har samfunnseffekt – ofte kalt impact – i stadig større grad blitt inkorporert som et kriterium i vurderingsprosesser for forskningssøknader. Denne utviklingen har imidlertid i begrenset grad redusert vektleggingen av vitenskapelig eksellens.
Tidligere ble forskningsmidler ofte gitt med få betingelser, basert på troen på at forskernes autonomi ville fremme vitenskapens utvikling og i neste rekke produsere positive samfunnseffekter.
I dag forventes det i større grad at konkurransebaserte midler skal bidra til å løse store samfunnsutfordringer på en mer målrettet måte. Det har dermed blitt vanlig at forskningsfinansiører ber forskere diskutere den potensielle samfunnseffekten av forskningen i søknadene sine.
Denne utviklingen er imidlertid ikke ukontroversiell. Mens forskere generelt anses som dyktige til å vurdere den vitenskapelige effekten av forskningsprosjekter, er deres evne til å bedømme den samfunnsmessige effekten mer omstridt.
Utfordringer med å evaluere samfunnseffekt
Å vurdere samfunnseffekten av fullført forskning innebærer betydelige utfordringer. Disse utfordringene kompliseres ytterligere, eller endrer karakter, når man forsøker å bedømme effektene av forskning som ennå ikke er gjennomført. Kriteriene og prosessene for slike vurderinger er ikke standardiserte, og er ofte uklare.[1]
Hvordan de som evaluerer søknader om støtte til forskningsprosjekter tolker og bruker kriterier for samfunnseffekt varierer. Deres motivasjon, evne og vilje til å gjennomføre vurderingene varierer også.[2] I tillegg er det indikasjoner på at inkludering av samfunnsmessige hensyn i vurderingsprosessen fører til at kortsiktig og kommersielt orientert forskning ofte foretrekkes.
Begrenset oppmerksomhet rundt samfunnsmessig effekt i vurderingspaneler
I OSIRIS, et åtteårig senter for analyser av forskningens samfunnseffekter, har vi gjennomført omfattende studier av arbeidet som gjøres i vurderingspanelene. Dette inkluderer observasjoner av nesten 70 ulike paneler, og oppfølgingsintervjuer med nærmere 90 paneldeltagere innenfor ulike forskningsfinansierende organer på nasjonalt, nordisk og europeisk nivå.
Vi finner at virkningen av å inkludere kriterier for samfunnseffekt i vurderingsprosessen ofte er begrenset. Hvis ekspertene får frie tøyler, har de en tendens til å legge mindre vekt på kriterier for samfunnsmessig effekt i sin helhetsvurdering av søknader om forskningsmidler.
Naturligvis er det forskjeller i hvor stor vekt ekspertene tillegger denne type vurderinger. Som forventet er faglig bakgrunn en kilde til variasjon, der forskere som driver med anvendt forskning har en tendens til å tillegge samfunnsmessig effekt mer vekt.
Personlige preferanser når det gjelder tema har også innvirkning. Paneldeltakerne blander ofte sammen vurderingen av samfunnsmessig effekt med vurderingen av hvor viktig de mener temaet som søknaden tar for seg er.
Generelt ser vi to hovedtilnærminger blant ekspertene når det gjelder hvordan de gjennomfører effektvurderingene: Den mest vanlige er en lineær forståelse av hvordan samfunnseffekter av forskning skapes, og som legger hovedvekt på planer for formidling og kommunikasjon. Mindre vanlig er en mer interaksjonsorientert tilnærming, der planer for involvering av interessenter gjennom hele forskningsprosessen blir sett som essensielt for å skape samfunnsmessige effekter.
Vitenskapelig kvalitet dominerer vurderingene
Til tross for forskjeller og nyanser i hvordan samfunnseffekt forstås og vurderes, er det et gjennomgående mønster at ekspertene legger mest vekt på vitenskapelig kvalitet. Dette ser vi både i den tiden som brukes i panelene på å diskutere ulike kriterier, og i hvordan ekspertene begrunner hvorfor søknader fortjener finansiering.
Diskusjonene kan være gjenstand for forhandlinger og taktikk ettersom paneldeltakerene må bli enige om den endelige vurderingen (de fleste paneler krever konsensus). Vi har sett at effektkriterier oftere er gjenstand for taktikkeri eller bruk som forhandlingskort. Årsaken er sannsynligvis at samfunnseffekt er et nyere og mindre standardisert kriterium.
Videre har vurderinger av samfunnseffekt en tendens til å følge vurderingen av vitenskapelig kvalitet. Dersom en ekspert har en svært positiv vurdering av den vitenskapelige kvaliteten, blir også kriteriet for samfunnseffekt ofte vurdert høyt – uten at dette nødvendigvis er basert på en grundig vurdering av samfunnsmessige effekter som sådan.
Dette poenget er ikke normativt. Paneler utgjør en sosial kontekst, og eksperter er sjelden helt enige i vurderingen av søknader, noe som gjør at forhandlinger er nødvendige og nyttige. Å legge større vekt på et etablert kriterium – som vitenskapelig kvalitet – som de vet mye om, kan være både forståelig og rasjonelt.
Organisering for samfunnseffekt
Hvis forskningsfinansiører derimot ønsker å gi kriterier for samfunnseffekt samme vekt som vitenskapelig kvalitet, slik mange av dem hevder, må dette gjenspeiles i hvordan vurderingsprosessene organiseres.
I vårt datasett ser vi at det viktigste er å ha dedikerte kriterier for samfunnseffekt med klart definert vekting, samt en tydelig angivelse av hva slags effekter finansieringen forventes å bidra til. En slik tilnærming ser ut til å passe særlig godt for målrettede utlysninger, hvor finansiørene bør kunne gi en klar beskrivelse av hvilke forventede effekter satsingen skal bidra til.
Det viktigste alternative tilnærmingen observert i våre data – å gi ekspertene betydelig frihet til å operasjonalisere og vekte samfunnseffekt – kan føre til betydelige variasjoner i vurderingene som gjøres, men vil likevel ha en hovedvekt på vitenskapelig kvalitet.
…
Dette er en variant av artikkelen “Excellence dominates over impact in grant proposal assessments”, første gang publisert på OSIRIS-bloggen. https://bit.ly/4hQhCtH For mer om OSIRIS, se “Åtte år med forskningssentrene R-QUEST og OSIRIS”. https://fpol.no/osiris
Foto: Paul Bradbur1
[1] Ma et al., 2020 https://bit.ly/4gq0HwM
[2] Abma-Schouten et al., 2023 https://bit.ly/4griYKc
Bozeman & Boardman, 2009 https://bit.ly/4jPNMHy
Derrick & Samuel, 2016 https://bit.ly/4hKKxza