Mange vitenskapelige publikasjoner har mer enn én forfatter og har bidragsytere fra mer enn én institusjon. Dette kompliserer bibliometriske analyser av resultater av forskning, og spørsmålet er hvordan det er mest rimelig å konstruere resultatindikatorer. Ulike metoder kan gi betydelige forskjeller, noe man blant annet ser i resultatene fra universitetsrangeringene.
Av Dag W. Aksnes, forsker, NIFU
Spørsmålet reiser seg ikke bare i forbindelse med beregning av publiseringsvolum, men også når det gjelder siteringsindikatorer.
Tradisjonelt har den såkalte «heltallsmetoden» vært mest benyttet. Det vil si at en forfatter eller institusjon får full kreditt for en artikkel, uavhengig av hvor mange andre bidragsytere den måtte ha.
Alternativet
En alternativ metode er å fraksjonere artikkeltallet i forhold til oppgitte forfatteradresser på artiklene.
Hvis en artikkel for eksempel har én forfatter fra Universitetet i Oslo (UiO) og én fra Universitetet i Bergen (UiB), vil artikkelen vektes som en ½ artikkel for hver av disse institusjonene.
Et slikt prinsipp med beregning av forfatterandeler ligger til grunn for det norske resultatbaserte finansieringssystemet. Det finnes også mer kompliserte måter å vekte på, for eksempel at førsteforfatterskap gis økt uttelling.
Det kan argumenteres for at det er urimelig å kreditere artikler med forfattere fra flere institusjoner heltallig til hver institusjon som bidrar. Ikke minst gjelder dette i tilfeller der et stort antall forfattere og institusjoner har bidratt til en artikkel, og der de individuelle bidragene kan være marginale.
Ekstremtilfellet her er de såkalte« CERN-artiklene» som kan ha mer enn tusen forfattere. Det er likevel ikke grunn til å si at én beregningsmetode er mer korrekt enn en annen, snarere gir de to komplementære bilder. Mens heltallsmetoden måler «deltakelse», vil en beregningsmetode basert på forfatterandeler vise hvor mange artikler som er «krediterbare» til en institusjon.
Dagens praksis
I Norge har heltallsmetoden oftest vært benyttet i bibliometriske analyser, for eksempel gjelder dette de fleste av analysene presentert i Indikatorrapporten. En fraksjonert beregningsmetode benyttes imidlertid også, særlig i forbindelse med analyser av publiseringsvolum. For siteringsanalysene har heltallsmetoden vært anvendt.
Norge har manglet komplette bibliometriske verdensdata som er påkrevet for å anvende en fraksjonert beregningsmetodologi for siteringer.
Internasjonalt kan en se at begge beregningsmetoder brukes, men en fraksjonert metode synes å bli brukt i økende grad. For eksempel gjelder dette bibliometriske rapporter gitt ut av Nordforsk (se F. N. Piro et al. Comparing Research at Nordic Higher Education Institutions Using Bibliometric Indicators). I Leiden-rankingen beregnes nå indikatorer basert på begge prinsipper.
Eksempel på betydning
Spørsmålet om målemetode har mer enn bare teoretisk interesse. Det har stor innvirkning på resultatindikatorene både når det gjelder volum og siteringer. Som eksempel på dette viser figuren under relativ siteringsindeks for de norske breddeuniversitetene basert på heltall og fraksjonering.
Data er hentet fra Leiden-rankingen (merk at universitetssykehusene er inkludert under universitetene). Som det fremgår, synker UiOs indeksverdi fra 1,45 til 1,05 og UiB fra 1,41 til 0,98, mens det for NTNU er en mindre reduksjon: fra 1,27 til 1,04. Figuren viser også hvilken plassering universitetene har blant de 28 nordiske universitetene som inngår i Leiden-rankingen.
Med heltallsmetode er UiO plassert på en syvendeplass i Norden, men synker til en 14. plass med fraksjonert metode. Også UiB kommer relativt mye dårligere ut med sistnevnte metode, og går ned fra 10. plass til 22. plass. For NTNU er imidlertid forholdet motsatt, og institusjonen klatrer fra 20. plass til 16. plass. Tendensen er videre at en fraksjonert metode utjevner noe av forskjellene mellom institusjonene.
Hva forklarer nedgangen?
Et påtrengende spørsmål er hvorfor siteringsindeksen synker så mye når den beregnes med fraksjonert metodologi. Hovedforklaringen på dette er at siteringshyppigheten til artikler som involverer internasjonalt samarbeid (medforfatterskap), generelt er markert høyere enn til artikler som bare har forfattere fra ett land. Dette er et generelt fenomen som vi også ser tydelig for Norge og for de norske institusjonene.
Figuren under, som er hentet fra Indikatorrapporten (2017), viser siteringsindeksen til de norske artiklene som har utenlandske medforfattere, og artiklene som bare har forfattere fra Norge.
Sistnevnte artikler er sitert litt under verdensgjennomsnittet i hele perioden 1994–2014. Artiklene med internasjonalt samarbeid er i perioden i gjennomsnitt sitert 47 prosent mer enn verdensgjennomsnittet. Samtidig har en stadig økende andel av de norske artiklene slikt samarbeid (62 prosent i 2014).
Årsaken til at artikler med internasjonalt samarbeid generelt blir mer sitert, skal ikke diskuteres videre her. Men siteringstallene indikerer at når forskningen involverer internasjonalt samarbeid, blir den vitenskapelige innflytelsen større.
Forskjeller i samarbeidsprofil
I henhold til data fra Leiden-rankingen for perioden 2012–2015, hadde 66 prosent av UiBs artikler medforfattere fra andre land, mens tilsvarende tall for NTNU var 51 prosent. Dette forklarer således at UiB «synker» mer enn NTNU når en fraksjonert beregningsmetode brukes.
Når metodene gir såpass forskjellige og til dels motstridende resultater, er det vanskelig å tolke denne indikatoren – ikke minst med tilfeller som UiB, som ramler fra øverste til nederste del på den nordiske listen. I slike situasjoner kan det argumenteres for at det er rimelig å legge størst vekt på resultatene basert på en fraksjonert metode. Med heltallsmetoden krediteres institusjonene for bidrag reelt sett gjort av andre.
Etter undertegnedes mening er det også grunn til å benytte en fraksjonert metode som primær siteringsindikator fremover. Dette vil også være mer konsistent med prinsippet som benyttes for beregning av publiseringspoeng. Data som muliggjør slike beregninger, vil i fremtiden bli tilgjengelig gjennom den nasjonale infrastrukturen for bibliometri, en database med bibliometriske verdensdata, finansiert av Kunnskapsdepartementet.