Det stilles stadig strengere krav til at forskningen skal redegjøre for sine effekter i og på samfunnet. Men hva er en samfunnseffekt av forskning, og hva er de største utfordringene en står overfor når komplekse årsakssammenhenger og langsiktige prosesser skal beskrives?
MARKUS M. BUGGE, FORSKER, NIFU
markus.bugge@nifu.no
I de siste årene har det vært en økende interesse for å utvikle metoder for å måle forskningens samfunnseffekter. Vi vet mye om hvor forskningen publiseres og hvor hyppig den blir sitert innenfor forskningssamfunnet, og vi vet også en del om forskningens økonomiske betydning. Men vi vet mindre om hva slags samfunnseffekter forskning har ut over dette.
Fokus i bedømmelser av forskning har med det beveget seg fra output i form av publikasjoner og siteringer til et bredere fokus på outcome, samfunnsmessige effekter i vid betydning. Men hva menes med samfunnseffekter av forskning? Og hvordan kan disse måles, hvis dette i det hele tatt er mulig? Hvordan jobbes det med å utvikle måter å måle samfunnsmessige effekter av forskning på?
Fra output til outcome
Så langt har initiativer for å måle forskningens samfunnseffekter i all hovedsak handlet om å forstå og måle økonomiske effekter, ettersom slike effekter er de (relativt sett) letteste å måle. Andre former for samfunnsmessige effekter har tradisjonelt fått svært begrenset oppmerksomhet. I litteraturen opereres det gjerne med følgende kategorier for samfunnsmessig effekt:
• Økonomiske effekter henspiller gjerne på produktivitet og læringsutvikling og kan måles gjennom indikatorer knyttet til kostnader, investeringer, investeringskilder, omsetning, innovasjonsevne, konkurransekraft, resultater, patenter, salg, eksport, sysselsetting eller markedsandeler.
• Helsemessige effekter refererer gjerne til forskningens effekt på folkehelse (forventet levealder, lavere sykefravær, forebygging og utbredelse av sykdom), helsetjenester og deres kostnader, medisinsk infrastruktur, utstyr, medisinering og behandling.
• Miljømessige effekter henspiller på forbedringer i miljø og livsstil, bærekraft, redusert avfall og forurensning og forbedret utnyttelse av naturressurser.
• Sosiale effekter kan være forbedring av livskvalitet, økt toleranse, mindre kriminalitet, demokrati, tillit, nye tilnærminger til sosiale utfordringer, kompetanseutvikling (inkl. personifisert og taus kunnskap), ekspertise og ledelse, rettferdighet samt forbedret helse og trygghet.
• Effekter på offentlige tjenester kan være kortere ventetider, raskere behandlingstid, enklere tjenester, bedre brukeropplevelse, bedre ressursutnyttelse, mindre belastningsskader, lavere dødelighet, bedre infrastruktur, mer effektiv læring eller lavere frafall fra utdanning.
• Symbolske effekter av forskning. En bedrift kan eksempelvis oppnå høyere troverdighet ved å delta i FoU-prosjekter eller på annen måte bli assosiert med universiteter og akademia.
Utviklingen av målemetoder for forskningens samfunnsmessige effekter inndeles gjerne i tre faser:
1. Technometrics: Kvantitative mål, f.eks. investeringer fra næringslivet, kommersialisering og teknologioverføring, ofte brukt innenfor teknologi, ingeniørvitenskap, medisin og næringsliv.
2. Sociometrics: Kartlegger forskningens effekter i form av offentlig samfunnsmessig statistikk. Disse indikatorene gir imidlertid ikke noen god forståelse av forholdet mellom akademisk forskning og samfunnsmessige trender på makroplan.
3. Casestudier: Søker å anlegge en mer nyansert, kvalitativ og bredere forståelse av forskningens samfunnsmessige betydning ved å dokumentere enkeltresultater.
Flere land har de senere år gjort forsøk på å ta i bruk casestudie-tilnærmingen, basert på en oppfatning om at casestudier evner å fange opp komplekse sammenhenger og gi en dypere og mer helhetlig forståelse. Kritikere mener imidlertid at det er en svakhet ved casestudier at de ikke gir objektive eller kvantifiserbare mål på samfunnsmessige effekter.
Storbritannia i front
Storbritannia ligger langt fremme i arbeidet med å utvikle et nasjonalt system for systematisk måling av samfunnsmessige effekter av forskning. Dette er det første landet som har forsøkt å utvikle en tilnærming basert på kvalitative casebeskrivelser i stor skala, og som samtidig har knyttet dette til finansieringssystemet.
I 2012-2013 mottok det britiske Research Excellence Framework (REF) i alt 6975 casebeskrivelser fra 154 institusjoner med illustrasjoner av hvordan forskning ved disse institusjonene har hatt samfunnsmessig effekt.
Casestudiene er institusjonenes egne beskrivelser og vurderinger av de effektene egen forskning har hatt i ulike deler av samfunnet. Disse casestudiene har så blitt vurdert av paneler sammensatt av kompetente fagpersoner. Konklusjonene fra deres gjennomgang er at forskningen som er beskrevet, generelt har hatt svært stor samfunnsmessig betydning. Det vises til effekter for økonomi, samfunn, kultur, politikkutforming, offentlige tjenester, helse, miljø og livskvalitet, både i Storbritannia og internasjonalt. Fagpanelenes bedømmelse av casebeskrivelsene samsvarer for øvrig også med bibliometriske resultater – forskning med høy samfunnseffekt kommer også godt ut på bibliometriske mål.
Resultatene av denne kvalitative vurderingen av forskningens samfunnsmessige effekt har betydning for fordelingen av forskningsressurser til institusjonene. Men fortsatt vil det bare være 20 prosent av REFs finansiering av forskning ved institusjonene som bestemmes av kvalitative vurderinger av samfunnseffekter, mens tradisjonelle mål knyttet til vitenskapelig kvalitet fortsatt vil være utslagsgivende for så mye som 65 prosent av tildelingene. De siste 15 prosentene av forskningsstøtten baseres på vurderinger av bl.a. institusjonenes ledelse, strategi og ressursbruk.
En evaluering av den innovative casebaserte metodikken i Storbritannia konkluderer med at prosessen stort sett har vært vellykket, og at vurderingene av casebeskrivelsene er konsistente på tvers av fagpanelene.
Både Sverige og Tsjekkia har utviklet modeller som likner på den britiske, men ingen av disse er politisk vedtatt ennå. I Nederland er samfunnsmessig relevans ett av fire kriterier (kvalitet, produktivitet, samfunnsmessig relevans og vitalitet/ fleksibilitet) for evaluering av forskningen. Her er imidlertid effektmålingene ikke knyttet til finansieringssystemet. Det er ennå uvisst hvilken retning Norge velger i dette landskapet.
Mye gjenstår
Det er flere utfordringer knyttet til bruken av slike casebeskrivelser. Det kan være vanskelig eller umulig å fastslå hva som kontrafaktisk ville skjedd dersom forskningen som beskrives ikke hadde funnet sted. Det kan også være vanskelig å tilskrive enkeltstående forskningsprosjekter æren for bestemte effekter. Ofte vil en gitt effekt springe ut av ulike typer forskning fra flere fagområder eller samtidig være betinget av andre faktorer enn forskning. Det er følgelig vanskelig å operere med en én-til-én-relasjon mellom input og outcome. Ved samarbeid kan det være uklart hvem som bør krediteres for effektene av forskningen.
Det tar dessuten gjerne lang tid før forskning får samfunnsmessig betydning. Det vil derfor i mange tilfeller være vanskelig å identifisere årsakssammenhengene mellom forskningsresultater og samfunnseffekter som først viser seg lenge etterpå.
Det kan også være mismatch mellom ulike typer effekter. Høy akademisk betydning i form av mange siteringer gir ikke nødvendigvis høy samfunnsmessig effekt, og motsatt trenger ikke forskning nødvendigvis å ha høy akademisk betydning for å få stor samfunnsmessig betydning.
Flere har gitt uttrykk for skepsis til måten casebeskrivelsene har vært gjennomført på i REF i Storbritannia. Evalueringen av REFs metodikk peker blant annet på at det er behov for tydeligere retningslinjer og for en mer nyansert karakterskala. Andre bekymringer gjelder habilitet; det kan reises tvil om troverdigheten til universitetenes egne redegjørelser ettersom det er i forskernes og universitetenes interesse å fremstille egne forskningsaktiviteter i et best mulig lys. Dette har allerede skapt en «effektindustri» i form av private aktører som selger retoriske og kommunikative tjenester. Spredning av innhold og synlighet på nett kan også få økt oppmerksomhet, og i den grad digitale fotavtrykk blir brukt som bevis på impact, blir det også viktig å forstå dynamikken på digitale arenaer.
En del er altså gjort for å utvikle en bedre forståelse og dokumentasjon av forskningens samfunnsmessige effekter. Men mye gjenstår. Man mangler et felles internasjonalt rammeverk for å måle samfunnseffekter. En må få en bedre forståelse av hvordan enkeltstående forskningsprosjekters betydning er betinget av mange ulike faktorer, og det er behov for å videreutvikle fremgangsmåter som på en balansert måte ivaretar krav til habilitet. I tillegg mangler en forståelse av forholdet mellom effektene selv og deres årsaker, dvs. hva som utløser forskningens samfunnseffekter i ulike kontekster, på kortere og lengre sikt, og på direkte og indirekte måter. Endelig er det behov for en bedre forståelse av hva koplingen mellom måling av samfunnsmessig effekt og finansieringssystemet medfører.
