De siste tiårene har «impact» blitt et mer gjennomgripende tema i forskningspolitikken. Forskningens relevans og nytte – med eller uten bruk av impact-begrepet – har lenge vært sentralt i prioriteringsdiskusjoner og i utvikling og evaluering av forskningsprogrammer og -satsninger. En nyere trend er at det kreves en redegjørelse for mulige samfunnseffekter også når det søkes om prosjektmidler til forskning.
LIV LANGFELDT, FORSKER, NIFU
liv.langfeldt@nifu.no
NIFU har sett på i hvilken grad slike effekter inngår i vurderingen av søknader hos fire forskningsfinansiører: National Science Foundation (NSF) i USA, Horisont 2020/ EUs rammeprogram, Natural Environment Research Council (NERC) i Storbritannia samt Norges forskningsråd. Søknaders bredere relevans og mulige effekter blir i ulik grad eksplisitt vurdert i disse fire organisasjonene. Det er bare Horisont 2020 (ikke inkludert ERC) som gjør dette så konsekvent at samfunnseffekter gis en fast vekt i den samlede vurderingen av en søknad.
Horisont 2020: Impact teller like mye som excellence I hoveddelen av Horisont 2020 er det tre kriterier i søknadsvurderingen: «Excellence», «Impact» og «Quality and effciency of the implementation». «Impact» forstås som «The extent to which the outputs of the project should contribute at the European and/or International level» og utdypes ulikt for ulike typer prosjekter/virkemidler. Under «Excellence» vurderes blant annet om forskningen er ambisiøs og «Beyond state of the art», og under «Quality and efficiency of the implementation» vurderes blant annet prosjektplan, prosjektstyring og sammensetning av konsortiet. Det kreves minimum karakteren 3 på alle kriteriene for å komme i betraktning for finansiering (5 er beste karakter). Samtidig vektes normalt alle kriteriene likt i utregningen av samlet poengsum, slik at både «impact» og «excellence» teller en tredjedel i den samlede vurderingen av søknaden. I noen sammenhenger gis «impact» også ekstra vekt (vekt 1,5 i «Innovation actions» og «SME instruments»). Dette står i sterk kontrast til ERC-delen av Horisont 2020 hvor vitenskapelig kvalitet er enerådende – der vurderes kun prosjektets «Groundbreaking nature, ambition and feasibility» og prosjektleders «Intellectual capacity, creativity and commitment». Det skal imidlertid legges til at «excellence» kan telle mer enn «impact» også i hoveddelen av Horisont 2020. Når søknader har samme poengsum, rangeres de først etter hvilken karakter de har oppnådd på «Excellence» (igjen med unntak for «Innovation actions» og «SME instruments»).
USA: «Broader impact» siden 1997
De tre andre forskningsfinansiørene har valgt mer åpne tilnærminger for å vurdere søknaders forventede «impact», og NSF og NERC lar disse åpne tilnærmingene gjelde samtlige virkemidler. Det skilles med andre ord ikke ut egne ordninger eller virkemidler der det ikke forventes «impact». I USA har NSF hatt «broader impact» som et generelt vurderingskriterium for alle søknader siden 1997. Men til forskjell fra Horisont 2020 gis det ikke en egen karakter på «impact», og det er ingen regler for vekting. Det gis kun en samlet vurdering for de to hovedkriteriene «Intellectual merit» og «broader impact». «Broader impact» er vidt definert, og det er opp til den enkelte evaluator hva som skal telle mest for den enkelte søknad. Samtidig bes evaluatorene om å angi hva de har vektlagt, og NSF benytter slik kvalitativ informasjon når ekspertuttalelser sammenstilles og søknader rangeres. Det er med andre ord stort rom for skjønn i hva som vektlegges i vurderingen av den enkelte søknaden.
UK: «Pathways to impact» siden 2009
De britiske forskningsrådene har hatt en egen «pathways to impact»-agenda siden 2009. Det kreves at alle søknader beskriver potensielle samfunnsmessige og økonomiske effekter av prosjektet og hvordan disse skal realiseres (det vil si beskriver «pathways to impact»). I NERC (og i de fleste andre britiske forskningsrådene) har «pathways to impact» ingen direkte betydning for utfallet av søknadsbehandlingen. «Impact» er ikke del av vurderingskriteriene, men «pathways to impact»-beskrivelsen må godkjennes før et prosjekt kan gis bevilgning, og søker gis eventuelt mulighet til å revidere den etter kommentarer fra ekspertpanelet. Formålet er å bevisstgjøre forskerne og stimulere dem til å arbeide mer for at forskningen deres skal tas i bruk og bli nyttig for andre, samtidig som man ikke ønsker at forventet «impact» skal avgjøre hvilke søknader som får støtte. Begrunnelsen er blant annet at det er vanskelig å vurdere eller forutsi et prosjekts effekter.
Norges forskningsråd: Et bredt sett av nytte- og relevanskriterier
Norges forskningsråd har en tilnærming som likner Horisont 2020, ved at det er ulike sett av vurderingskriterier for ulike virkemidler, og «impact» er ikke et gjennomgående hensyn på tvers av alle virkemidler. Det er sentralt i eksempelvis Forskningsrådets innovasjonsprosjekter og kompetanseprosjekter for næringslivet, men ikke i forskerprosjekter og fri prosjektstøtte. Et moment her er at Forskningsrådets brede mandat gjør det mindre relevant med felles vurderingskriterier på tvers av virkemidler. Forskningsrådets innovasjonsprosjekt har eksempelvis ikke noe motsvar i NSF og NERC – NSF og NERC støtter i all hovedsak forskningsprosjekt og forskningsinstitusjoner. Samtidig benytter Forskningsrådet en rekke ulike vurderingskriterier relatert til relevans og samfunnsnytte og har ikke et mer generelt og åpent «impact»-kriterium slik som NSF og NERC. For innovasjonsprosjekt i næringslivet er eksempelvis innovasjonsgrad, verdiskapingspotensial for bedriftspartnere, realisering av innovasjonen og forskningens innovasjonsrelevans separate vurderingskriterier. Når det gjelder rom for skjønn, vekting og synliggjøring av «impact»-vurdering, ligger Forskningsrådet mellom Horisont 2020s klart definerte aggregeringsmetode og NSFs og NERCs åpne tilnærminger. Det gis en karakter for hvert enkelt vurderingskriterium, men det er ingen fast vekting når samlet karakter gis, her er det rom for skjønn.
Myk eller hard linje
Det finnes med andre ord både myke og harde strategier for å stimulere forskere til å vektlegge bredere samfunnseffekter i prosjektsøknader. De myke strategiene i NSF og NERC brukes for å gi forskere incentiver til å tenke gjennom prosjektenes mulige nytteeffekter og inkorporere dette i prosjektplaner uten at forventede økonomiske effekter eller samfunnsnytte er del av søknadsvurderingen (NERC) eller gis en egen karakter (NSF). Den harde strategien i Horisont 2020 lar på sin side prosjektets forventede samfunnsmessige betydning og nytte inngå som en fast del av søknadsvurderingen, med faste terskelverdier og vekter. Dette gir klarere incentiver til å vektleggeslike hensyn i prosjektsøknadene og stiller samtidig større krav til ekspertene som skal vurdere søknadene. Det er vanskelig å sammenlikne verdien av forventet nytte mellom søknader og mange usikkerhetsmomenter når det gjelder realisering av forventet nytte. Ekspertene kan ha ulike vurderinger både av forskningsspørsmålets samfunnsmessige betydning, mulighetenfor å generere resultater som kan tas i bruk, og mer generelt hvilke prosjekt som kan og bør gagne hvilke samfunnsinteresser.
Slik usikkerhet taler for en myk strategi for å incentivere impact. Både NSF og NERC er opptatt av å ha en åpen tilnærming til «impact». Det er stor variasjon i forskning når det gjelder hva, hvordan og,når den kan ha betydning for samfunnet, og begge organisasjonene lar det være opptil søkerne å definere mulige effekter av prosjektene, men ber ikke evaluatorene om en separat vurdering eller sammenlikning av søknadenes forventede nytte. De britiske forskningsrådenes (www.rcuk.ac.uk) oversikt over relevante aspekter for «pathways to impact» omfatter alt fra verdiskaping og økonomisk vekst til å generere nye forskningsmidler og øke publikums interesse for forskning. «Impact»- begrepet er med andre ord bredt definert og kan brukes på all forskning.
Spørsmålet blir så hvordan økte forventninger og krav til å redegjøre for «impact» påvirker forskningen. Foreløpig finnes det få analyser av i hvilken grad dette endrer forskningspraksis. Det er grunn til å tro at søkerne blir flinkere til å redegjøre for relevans og nytte av forskningen sin, det vil si å tydeligere få fram (reklamere for) mulige effekter av et prosjekt. Et annet moment her er at mange forskere forholder seg til flere finansieringskilder, noe som kan bidra til «smitteeffekter» når det gjelder hvordan prosjekter planlegges og beskrives – eksempelvis at kravene ogvektleggingen av «impact» i Horisont 2020 også gir seg utslag i hvordan «impact» vektlegges og beskrives i søknader til nasjonale forskningsråd. I Horisont 2020 kreves det en god «impact»-strategi/plan for å få forskningsmidler. Suksessraten er generelt lav, det er egne søknadsskrivingskurs som driller søkere i betydningen av «impact» i Horisont 2020, og «impact» må også følges opp i prosjektrapporteringen til Horisont 2020. Dette tilsier at «impact»-fokus lett påvirker både utformingen av prosjektplaner og hvordan prosjekter formidles. Om det også påvirker forskningsinnholdet og faglig fokus i prosjektene, gjenstår å se.
Artikkelen bygger på NIFU Working Paper 8/2015 (Liv Langfeldt og Lisa Scordato: Assessing the broader impacts of research. A review of methods and practices). Studien dekker et begrenset antall organisasjoner, og NIFU har ikke oversikt over i hvilken grad samfunnseffekter inngår i søknadsvurderingen i andre organisasjoner.