Siteringer anvendes i økende grad som indikatorer når forskning evalueres. Ofte regnes siteringer å gjenspeile innflytelsen til forskningen eller dens kvalitet. Hva er begrunnelsen for denne antakelsen, og i hvilken grad er det sammenheng mellom siteringer og forskningskvalitet? I denne artikkelen oppsummeres en gjennomgang av litteraturen rundt disse spørsmålene.
Dag W. Aksnes, forsker 1, NIFU
Utbredt bruk
Siteringsindikatorer er et uttrykk for hvor ofte publikasjoner blir referert til i den påfølgende vitenskapelige litteraturen. Siteringer og andre bibliometriske indikatorer brukes i mange ulike sammenhenger i forbindelse med forskningsevaluering og forskningspolitikk generelt. Eksempler er evaluering av forskningsmiljøer, institutter og institusjoner, evaluering av søknader til forskningsprosjekter, allokering av midler til forskning og ansettelser av akademisk personell.
Siteringer inngår også i sentrale indikatorer i flere av universitetsrangeringene, slik som CWTS Leiden Ranking og Academic Ranking of World Universities (ARWU).
Fagfellevurdering og/eller siteringsindikatorer?
Tradisjonelt anses fagfellevurdering (peer review) som gullstandarden for forskningsevaluering. I økende grad benyttes siteringsindikatorer som et alternativ, alene eller i kombinasjon med fagfellevurdering. Dette reiser spørsmål ved hvilken gyldighet slike indikatorer har for evaluering av forskning og i hvilke sammenhenger og for hvilke formål indikatorene er egnet. Dette er spørsmål som har blitt hyppig diskutert internasjonalt de siste tiårene, og det er en omfattende litteratur om tematikken.
Det mest radikale synspunktet som har blitt fremmet, er at siteringsindikatorer kan og bør erstatte fagfellevurdering av forskning. Argumentene her er at evalueringer gjennomført av fagfeller har en høy kostnad, de er tidkrevende, vurderingene er subjektive og påvirket av hvilken faglig bakgrunn og hvilke interesser evaluatorene har. Siteringsindikatorer har ikke denne typen begrensninger.
Motsatt har andre avvist enhver bruk av siteringsbaserte indikatorer, blant annet fordi det er en rekke feilkilder knyttet tilberegning av siteringstall og at tallene er påvirket av faktorer som ikke har noe å gjøre med forskningskvalitet. Ikke minst har bruk av tidsskriftimpaktfaktorer (journal impact factor) blitt sterkt kritisert. Impaktfaktoren måler den gjennomsnittlige siteringsraten til artiklene i et tidsskrift i løpet av en bestemt tidsperiode. Denne debatten førte til den såkalte DORA-erklæringen (The San Fransisco Declariation on Research Assessment), som argumenterer sterkt for at denne indikatoren ikke bør brukes ved beslutninger om finansiering, ansettelser eller forfremmelser.
Forskningskvalitet er flerdimensjonal
Et grunnleggende spørsmål er også hva siteringstall sier noe om og kan brukes som indikator på. Forskningskvalitet er et flerdimensjonalt begrep: God forskning er vitenskapelig holdbar (soliditet/plausibilitet), den gir ny kunnskap (originalitet) og har betydning for annen forskning (vitenskapelig verdi). Ofte inkluderes også betydning for samfunnet (samfunnsverdi) som en fjerde dimensjon ved forskningskvalitet.
Det kan være en lang rekke grunner til at en artikkel blir sitert i påfølgende vitenskapelige publikasjoner. Disse grunnene kan ikke utledes av siteringstallene direkte. Det mest generelle som kan sies, er at artikkelen på en eller annen måte vurderes å ha relevans for forskningen som rapporteres i de påfølgende publikasjonene.
Soliditet
De fire forskningskvalitetsdimensjonene utgjør imidlertid ikke selvstendige grunnlag for sitering. Når det gjelder soliditet, kan en anta at i tilfeller hvor holdbarheten til en relevant artikkel vurderes som dårlig, vil mange ikke sitere den på grunn av dette. Men det finnes mange eksempler på høyt siterte artikler som har vist seg ikke å holde mål faglig, og i ekstreme tilfeller utgjort forskningssvindel.
Originalitet
Det er heller ikke noen entydig sammenheng mellom originalitet og siteringer. Studier med høy originalitet kan bidra til store vitenskapelige gjennombrudd eller få begrenset betydning. I det siste tilfellet vil artikler som ikke fungerer som grunnlag for videre forskning, generelt bli lite sitert – selv om de kan være originale i form av teoretisk eller metodisk tilnærming.
Samfunnsverdi
Når det gjelder samfunnsmessig verdi (aspekter som helse, miljø, økonomi, teknologisk utvikling, etc.), finnes det eksempler på artikler som har fått stor samfunnsmessig betydning og som er høyt sitert. Et eksempel er Prescott og Kydlands artikler som dannet grunnlaget for nobelminneprisen i økonomi i 2004, og som etter hvert fikk stor betydning for praktisk økonomisk politikk og pengepolitikk spesielt.
Generelt er likevel koblingen mellom siteringer og samfunnsmessig relevans svak, og dette er en grunn til at det er økt oppmerksomhet mot å utvikle alternative metoder for å måle samfunnsmessig relevans.
Vitenskapelig verdi
Den kvalitetsdimensjonen som siteringer i størst grad kan si noe om, er vitenskapelig verdi eller betydning.
Argumentene for dette er gjerne at en forsker i skriveprosessen vil referere til tidligere studier som har vært relevante for den aktuelle forskningen som rapporteres i publikasjonen. Således kan artikler som får mange siteringer, antas å være mer nyttige eller ha større vitenskapelig betydning enn artikler som knapt siteres i det hele tatt.
Tilsvarende argumentasjon kan da brukes for aggregerte nivåer av artikler, som er det som vanligvis analyseres når siteringsindikatorer brukes i en evalueringskontekst.
Selvforsterkende mekanismer
Det er likevel flere faktorer som gjør at det ikke er noen entydig sammenheng mellom siteringer og vitenskapelig verdi, spesielt gjelder dette på enkeltartikkelnivå. Siteringer har både en kunnskapsmessig og sosiologisk dimensjon. Det vil normalt være et svært stort antall tidligere publikasjoner som har relevans for en ny artikkel, og kun en liten del av disse blir referert til.
Det publiseres hvert år mer enn to millioner vitenskapelige artikler på verdensbasis. Det er lett å forsvinne i massen. Når en artikkel er sitert av mange påfølgende artikler, blir enda flere forskere oppmerksomme på dette arbeidet. På denne måten øker artikkelens synlighet og dermed sjanse for å oppnå flere siteringer. Det er en selvforsterkende mekanisme som medfører at noen få artikler kan oppnå et ekstremt høyt antall siteringer (jf. «Matteus-effekten»).
Det er også andre dimensjoner som vil ha betydning for sannsynligheten for å bli høyt sitert: hvor mange forskere som finnes på feltet, hvor generelt bidraget er, hvilket tidsskrift det publiseres i, fagets publiseringsmønster og referansepraksis osv. I tillegg til andre faktorer som ikke nevnes her, gjør dette at heller ikke vitenskapelig verdi entydig vil reflekteres gjennom
siteringstall.
Bør brukes med omhu
Det er vanlig å anbefale at siteringsanalyser kombineres med kvalitative vurderinger. Siteringer og andre bibliometriske indikatorer bør således utgjøre et supplement og ikke noen erstatning for tradisjonelle fagfellevurderinger.
Vi kan konkludere med at siteringer reflekterer aspekter knyttet til vitenskapelig innflytelse og relevans, men med viktige begrensninger. Derimot er det ikke belegg for at siteringer gjenspeiler andre dimensjoner av forskningskvalitet. En økt bruk av siteringsindikatorer når forskning skal evalueres og finansieres, kan derfor medføre mindre oppmerksomhet om eksempelvis forskningens soliditet, originalitet eller samfunnsmessige verdi. Likevel, gitt at det er behov for å evaluere forskning, for å differensiere forskningsressurser og foreta faglige prioriteringer, vil siteringsanalyser kunne være et nyttig – men ikke uproblematisk – hjelpemiddel.
En lengre versjon av artikkelen kan leses her.
R-Quest, NIFUs senter for studier av kvalitet i forskningen
Dag Aksnes’ artikkel i dagens nummer – om siteringsindikatorer – er basert på forskning utført innenfor rammen av R-Quest, NIFUs senter for forskning på forskningskvalitet og politikkutforming.
Navn: R-Quest – Centre for Research Quality and Policy Impact Studies
Finansiering: Norges forskningsråds FORINNPOL-program 2016–2024
Forskningstema:
• Hva er – og hvordan defineres – forskningskvalitet?
• Hvordan skapes forskningskvalitet, og hvilken rolle har forskningsinstitusjoner og offentlig politikk i å legge til rette for høy kvalitet i forskningen?
• Hva er sammenhengen mellom forskningskvalitet og samfunnsnytte?
Ledelse: Leder Liv Langfeldt/NIFU, nestleder Siri Brorstad Borlaug/NIFU
Forskningspartnere: NIFU (vertsinstitusjon); Institutt for statsvitenskap, Universitetet i Oslo; CFA – Dansk Center for Forskningsanalyse, Aarhus Universitet; CWTS – Centre for Science and Technology Studies, Leiden University; KTH
Kungliga Tekniska högskolan, Avdelningen för historiska studier av teknik, vetenskap och miljö; MIoIR – Manchester Institute of Innovation Research, University of Manchester.
Brukerpartnere: Kunnskapsdepartementet; Norges forskningsråd; Det Norske Videnskaps-Akademi; Næringslivets hovedorganisasjon; Universitets- og høgskolerådet; Forskningsinstituttenes fellesarena; Oslo universitetssykehus; Universitetet i Oslo; SINTEF.
Nettside: www.r-quest.no
Se også:
«Hva er kvalitet i forskning og vitenskap?», artikkel i Forskningspolitikk fra mars 2017.
, artikkel i Forskningspolitikk fra oktober 2016.
Hovedbilde: Blankstock