I et innlegg i Morgenbladet 17. november kritiserer UiO-rektor Svein Stølen og Åse Gornitzka Indikatorrapporten for å gi et snevert bilde av universitetenes samfunnsbidrag. Mye av kritikken er grunnløs og imøtegått i vårt innlegg i Khrono 20. november. Men hovedproblemstillingen er høyst reell: Kan man måle universitetenes samlede samfunnsbidrag, eller kommer indikatorene til kort når vi skal telle det som virkelig teller?
Espen Solberg, forskningsleder, NIFU
Kaja Wendt, seniorrådgiver, NIFU
Et stadig bredere bilde
Universitetenes og høgskolenes samfunnsrolle er bred og sammensatt. Noen vil også si at samfunnsbidraget er så udiskutabelt at det er unødvendig å måle. Men hovedtrenden i Norge og internasjonalt er at man ønsker mer og bedre måling, spesielt når det gjelder resultater og brede samfunnseffekter.
Dette ble også vektlagt på OECDs såkalte Blue Sky-konferanse om fremtidens forskningsindikatorer i 2016. Her ble det også advart mot å styre etter forenkling og komposittindikatorer. Isteden bør politikere og andre brukere gjøre bruk av det mangfold av indikatorer som finnes, og bidra aktivt til å utvikle nye.
Når norske universiteter og høgskoler neste år mottar 35 milliarder kroner direkte fra staten, er det naturlig at man utvikler og bruker indikatorer som kan si mest mulig om denne aktiviteten. Så hvor godt treffer dagens indikatorbatteri?
Etter vårt syn, bedre og bedre: Ser vi på universitetenes tre oppgaver – undervisning, forskning og formidling – har vi grovt fortalt gode og etablerte mål på de to første, og vi får stadig bedre metoder til å måle den såkalte «tredje oppgaven»:
Studentene
Vi har lenge hatt gode data og tidsserier for utdanning av studenter, høyere grads kandidater og doktorander mv. Dette er tall som presenteres årlig i Indikatorrapporten og Kunnskapsdepartementets tilstandsrapporter. Gjennom NIFUs kandidatundersøkelser får vi også kunnskap om de ferdige kandidatenes jobbsituasjon og syn på relevansen av egen utdanning.
Det vi vet mindre om, er kandidatenes videre karrierer og livsløp og ikke minst arbeidsgivernes erfaringer. Dette har så langt vært dekket av sporadiske arbeidsgiverundersøkelser, men i 2018 vil NIFU legge fram den første samlede arbeidsgiverundersøkelsen av høyere utdannet arbeidskraft i Norge. Parallelt med dette utvikles kvantitative metoder for å følge alle kandidatenes karrierer, inkludert doktorandene. Dette vil gi ny innsikt i det som kanskje er universitetenes hovedbidrag til samfunnet.
Publisering
Tall for vitenskapelig publisering har lenge vært en hovedindikator for universitetenes forskningsaktivitet. Dette har vært en viktig del av Indikatorrapporten gjennom 20 år, og feltet er under stadig utvikling. Analysene blir kontinuerlig utviklet ved at NIFU deltar aktivt i den internasjonale forskningen på feltet.
Gjennom den nasjonale CRISTin-databasen har Norge også tilgang til all vitenskapelig publisering innenfor samfunnsvitenskap og humaniora, noe få andre land er forunt. Videre gir CRISTin-basen informasjon om institusjonenes formidling gjennom ikke-vitenskapelige kanaler som mediebidrag, rapporter, foredrag og kunstnerisk aktivitet.
Samarbeid
Samarbeid mellom akademia og samfunns-/næringsliv er et tredje område hvor indikatorene nå fanger opp flere aspekter enn før. I tillegg til sampublisering og ekstern finansiering har nye virkemidler som krever samarbeid også generert data om dette samarbeidet. Dermed har Forskningsrådets programmer, senterordninger, SkatteFUNN-ordningen og EU-prosjektene blitt nye kilder til informasjon om universitetenes samarbeidsmønstre.
I 2017 inneholdt Indikatorrapporten for første gang også selvrapporterte tall over universitetenes internasjonale forskningssamarbeid og omfanget av næringsrelevant forskning. Disse tallene indikerer at samarbeidsformer trolig er langt mer omfattende enn det som gir seg utslag i økonomiske transaksjoner.
Bør alt måles?
Dette er bare noen eksempler på at utviklingen av nye indikatorer bidrar til å gi et bredere bilde av universitetenes samfunnsrolle. Samtidig er det åpenbart mange aspekter ved universitetenes samfunnsbidrag som indikatorene ikke fanger opp.
Svein Stølen og Åse Gornitzka mener at Indikatorrapporten hopper bukk over universitetenes bidrag til politikk, forvaltning og kulturliv. Som nevnt ovenfor er det flere av tallene i Indikatorrapporten som faktisk sier noe om dette. Men vi kan ikke måle alt, og kanskje bør vi det ikke heller.
De siste årene har flere land begynt å samle inn såkalte impact caser, som er standardiserte eksempler på at forskningen har hatt konkret effekt på samfunnet ut over akademia. I Norge har Forskningsrådet inkludert denne øvelsen i fire av sine siste fag- og instituttevalueringer.
Materialet gir interessant innsikt i de i effektene som vanligvis unnslipper statistikken og tellekantene. Men hvis man skal bruke dette i en indikatorrapport, må øvelsen gjøres mer omfattende og systematisk, som i den britiske Research Excellence Framework (REF). Erfaringene derfra burde imidlertid mane til forsiktighet: «Are we creating a Frankenstein Monster?», spurte SPRU-professor Ben Martin da han tidligere i år gjestet NIFU for å snakke om den britiske øvelsen med innsamling og rangering av impact caser. Svaret var åpenbart ja.
Kanskje er det bedre å gjøre klok bruk av de indikatorene man har og heller avfinne seg med at noen dimensjoner må anerkjennes uten de nødvendigvis må måles.
INDIKATORRAPPORTENS RASJONALE
Indikatorrapporten ble gitt ut første gang i 1997 og var et resultat av et ønske om å publisere noe mer enn en kommentert tabell- og figursamling fra FoU-statistikken.
Siden starten har Indikatorrapporten blitt utarbeidet i samarbeid mellom Norges forskningsråd, Statistisk sentralbyrå og NIFU, der sistnevnte har hatt det redaksjonelle hovedansvaret. Redaksjonen har også hatt medlemmer fra de ulike sektorene og virkemiddelapparatet.
Gjennom alle år har Utdanning, Forskning og utvikling, Teknologi og Innovasjon vært fire nøkkeltermer preget inn på forsiden av rapporten. Utdanning har ikke vært et hovedfokus, siden Kunnskapsdepartementet (KD) har gitt ut en egen tilstandsrapport for høyere utdanning nesten like lenge som Indikatorrapporten har vært gitt ut. Her har det med andre ord vært en arbeidsdeling mellom de to rapportene.
Indikatorrapporten har utviklet seg fra primært å være datastyrt til å bli mer tematisk rettet. De senere år har redaksjonen landet på en femdeling av indikatorene i internasjonale, nasjonale og regionale kapitler samt hatt egne deler for samarbeid og resultater.
Formålet med Indikatorrapporten er å gi leserne et kunnskapsgrunnlag med mest mulig robuste indikatorer. Den skal fungere som oppslagsverk og bidra til indikatorutvikling. I såkalte fokusbokser setter ulike (ofte eksterne) forfattere søkelys på nye felt som senere kan bli til indikatorer og statistikk, for eksempel helsemonitor, eller årets bidrag om impact.
Rapporten skal også gi rom for diskusjon om indikatorenes relevans og nytte, gjerne i faktabokser av typen «Om internasjonal sammenlignbarhet/en type statistikk».
Indikatorrapporten balanserer mellom å være den sentrale kilden til informasjon om forsknings- og innovasjonssystemet i Norge med robuste, lange tidsserier og internasjonalt sammenlignbare data og nye indikatorer. Videre balanserer den mellom å være nøytral og interessant, mellom å være oppslagsverk og å gi analyse.
Se også
Svein Stølen og Åse Gornitzka:
Tall som teller — teller tall?
Hvordan vi tenker om universitetene
John-Arne Røttingen:
