Digitalisering og sterkare krav til open tilgang til forskning gjer at også fagfellevurdering lyt tilpassast ei ny tid. Professor Martin Paul Eve frå University of London har sett på dette.
Kjerstin Gjengedal, for Forskningspolitikk
– Eg kan berre snakke for meg sjølv, men eg har aldri lært korleis ein skal skrive ei fagfellevurdering, seier Martin Paul Eve, professor i litteratur, teknologi og forlagsverksemd ved Birkbeck, University of London.
– Eg lærte av å sjå korleis andre gjorde det, og det er lett å falle inn i ei vane og berre følgje den. Det slo oss i arbeidet med denne studien at det er veldig vanskeleg å endre åtferd når alle trur at den måten dei gjer det på, er den einaste rette fordi det er slik det alltid har vore gjort.
Tid for fornying
For ei stund sidan fekk Eve, saman med eit lag av andre forskarar med interesse for vitskapleg publisering, tilgang til fagfellevurderingar frå det opne megatidsskriftet PLOS One. Det var eit sjeldsynt høve til å studere korleis kulturen for fagfellevurdering endrar seg – eller ikkje.
– Eigentleg veit vi jo veldig lite om korleis fagfellevurdering går føre seg. Her fekk vi eit høve til å undersøke det, seier Eve.
Fagfellevurdering av vitskaplege publikasjonar er blitt ein så sjølvsagt del av den vitskaplege prosessen at det kan vere vanskeleg å førestille seg eit akademia utan. Samstundes er det ingen mangel på kritikk av, eller spørsmål omkring, fagfellevurdering. Det er godt dokumentert at fagfellevurdering ikkje hindrar at mykje dårleg forsking blir publisert. Alle forskarar har anekdotar om innsendte artiklar som er komne tilbake med motstridande eller ubrukelege vurderingar. Og det er ein velkjent kritikk at fagfellevurdering kan føre til skeivrepresentasjon av forsking ved at dei mest spektakulære funna blir publisert, medan negative resultat og replikasjonsstudiar i mindre grad slepp til.
Og så er det all uvissa knytt til sjølve vurderingsprosessen: Kva gjer ein når fagfeller er ueinige om verdien av ein artikkel? Kor mange fagfeller er tilstrekkeleg for å sikre ei grundig vurdering? Kven eig ei fagfellevurdering – den som har skrive henne, eller publikasjonen? Korleis kan publikum lite på fagfellevurderingsprosessen utan innsikt i kva kriterium fagfellene skal oppfylle?
I takt med at det blir produsert stadig fleire forskingsartiklar, veks behovet for eit system som både sikrar høg kvalitet på den publiserte forskinga, og samstundes hjelper forskarar å finne fram i den uhandterlege mengda av nye studiar.
Eit radikalt tidsskrift
Difor blir det for tida eksperimentert med ulike former for vurdering, filtrering og «kuratering» av forsking. Slike eksperiment inkluderer vurdering etter publisering, og såkalla «open fagfellevurdering», som er ein del av endringa i retning av open vitskap, men som i seg sjølv ikkje har nokon eintydig definisjon.
Men fører slike eksperiment til endring? Det ville Eve og kollegaene hans undersøke, ved å studere fagfellevurderingar frå ein vitskapleg utgjevar som har som uttrykt mål å endre måten fagfellevurdering og vitskapleg publisering fungerer på, nemleg the Public Library of Science (PLOS).
PLOS vart etablert i 2000 for å publisere artiklar med open tilgang direkte på nett, i første omgang i to tidsskrift, PLOS Biology og PLOS Medicine. I 2006 vart PLOS One lansert, eit tverrfagleg megatidsskrift med mål om å publisere alle artiklar som passerte ein rudimentær kvalitetssjekk der ein såg på om forskinga var solid utført, ikkje om resultata var nyskapande.
– Initiativtakarane bak PLOS meinte at tradisjonell fagfellevurdering er for tilfeldig og at det forseinkar forskingsprosessen fordi det tek for lang tid å få forskinga ut, seier Eve.
PLOS One opererer i staden med ein kombinasjon av fagfellevurdering før publisering (der fagfellene uttrykkeleg blir bedne om å leggje vekt på om metodar og gjennomføring følgjer god skikk, og ikkje på om resultata er viktige), og open fagfellevurdering etter publisering.
Ser etter gjennombrota
– Det er tidlegare gjort nokre studiar av fagfellevurdering, så vi kunne samanlikne fagfellerapportane frå PLOS One med det vi veit frå andre studiar. Vi var interesserte i å sjå om dei som var fagfeller for PLOS One, hadde internalisert retningslinene som sa at dei skulle leggje vekt på andre ting enn dei var vande med hos andre tidsskrift. Og i det store og heile må vi konkludere med at det hadde dei ikkje, seier Eve.
Forskarane la ned eit enormt arbeid i å kode rapportane frå fagfellene heilt ned på setningsnivå. Det resulterte i ein omfattande taksonomi for ulike typar utsegner i rapportane. Dei noterte ikkje berre kva fagfellene uttala seg om, men også om dei gjorde det i positive eller negative vendingar.
Dei fann at trass i retningslinene frå utgjevaren, kommenterte 77 prosent av fagfellene på i kva grad artikkelen inneheldt noko nytt og viktig, og dei fleste brukte graden av «novelty» som basis for å frå- eller tilrå publisering.
– Dei skriv slike ting som at «novelty and impact is low». Eller at artikkelen ikkje er i nærleiken av å vere klar for publisering, hovudsakeleg grunna manglande novelty. Vi fann eitt tilfelle der ein fagfelle etterlyste ei tydeleg skildring i innleiinga av kva som var nytt og viktig ved studien.
Eve og kollegaene trur denne gjennomgående jakta på novelty og impact kan ha pragmatiske forklaringar, men mykje kan antakeleg tilskrivast ein kultur som er så etablert at fagfellene ikkje greier å endre vanar sjølv når dei uttrykkeleg blir bedne om å gjere det.
Samstundes fann dei nokre enkeltståande døme på fagfeller som kritiserer artikkelforfattaren for å leggje for mykje vekt på novelty i artikkelen.
– Så nokre forskarar er i ferd med å internalisere det nye regimet, og det gjev håp, seier Eve, som ikkje er i tvil om at vi må vekk frå fascinasjonen over gjennombrota dersom vi vil forbetre systemet med fagfellevurdering.
Endring tek tid
– Eg trur at dersom vi vil leggje til rette for det Thomas Kuhn kalla normalvitskap, så lyt vi gjere rom for publisering av negative resultat og ting som ikkje inneber store gjennombrot. Slik det er no, brukar forskarar mykje tid på å gjere ting som allereie er utprøvd, rett og slett fordi dei ikkje veit at nokon har gjort det før dei. Dermed kastar vi bort mykje tid og ressursar. Så ja, eg trur ei endring er nødvendig.
Han minner om at berre fordi vi ikkje ser dei store endringane førebels, tyder ikkje det at endring er umogleg.
– Utan tiltak som det PLOS står bak, vil vi i alle fall ikkje komme dit. Men det er vanskeleg å få auge på endringar medan ein står midt oppe i dei. Truleg er det rett og slett for tidleg å slå fast om ideane bak PLOS har ført
til endringar i forskarkulturen. Sjølv trur eg vi befinn oss ved eit vasskilje no, seier han.
Fenomen som preprint-publisering, som er i ferd med å bli svært utbreidd takka vere databasar som arXiv og HAL, og såkalla overlay journals, opne tidsskrift som publiserer artiklar frå preprint-databasar etter å ha sendt dei igjennom fagfellevurdering, tyder på at endringane kjem, meiner han.
Når det gjeld å forstå meir av sjølve fagfellevurderingsprosessen, vonar han at typologien for fagfellevurderingar, som han og kollegaene har utarbeidd, vil vere nyttig for andre forskarar som vil fordjupe seg i dette.
– Opphavleg var planen vår å trene ei datamaskinalgoritme til å forstå fagfellerapportar slik at vi kunne gjere dette i mykje større skala. Men det å utarbeide taksonomien var enormt arbeidskrevjande, og vi innsåg at vi ikkje hadde ressursar til å produsere ein database med fagfellerapportar som var stor nok til å brukast til maskinlæring slik vi ønskte.
Men i ettertid har andre forskarar teke kontakt for å høyre korleis dei fekk tilgang til PLOS-rapportane, fortel han.
– Så vi vonar det tyder på at andre vil ta opp tråden der vi slapp, seier Eve.