Ifølge forfatteren av dette innlegget tyder mye på at fagfellevurdering, slik den i dag praktiseres av så vel «open access» som tradisjonelle tidsskrifter, har så mange svakheter at det reiser tvil om hvorvidt kvalitetssikringen av vitenskapelig kunnskap er god nok. Strukturelle endringer i publiseringssystemet er nødvendig, mener han.
RONNY KJELSBERG, HØGSKOLELEKTOR, HOVEDTILLITSVALGT NTL, HØGSKOLEN I SØR-TRØNDELAG
ronny.Kjelsberg@gmail.com
Det er i dag vel etablert at vitenskap er den beste måten å kvalitetssikre og oppnå ny kunnskap på. Det betyr selvsagt ikke at vitenskapen slik den praktiseres i dag, ikke har svakheter. Det har den. Betydelige. Men alle andre metoder for erkjennelse har ikke bare de problemene vitenskapen har, men også en hel rekke andre i tillegg. Ikke desto mindre er det grunn til å se kritisk på måten store deler av forskningen foregår på i dag. Et av de viktigste elementene som gjør at vitenskap gir sikrere kunnskap enn andre informasjonskilder, er fagfellevurdering (peer review): alle arbeider som publiseres vitenskapelig, skal godkjennes og kvalitetssikres av andre fagfolk i en anonym evalueringsprosess for å sikre at de holder mål.
Dagens vitenskapelige tidsskrifter blir ofte kritisert for at abonnementene er dyre og hindrer dem som ikke har råd til dem, i å få tilgang til viktig vitenskapelig kunnskap. Ett svar på utfordringene med dyre og lukkede tidsskrifter har vært såkalt «open access»-publisering, der institusjonene betaler tidsskriftene for at publikasjonene skal kunne legges ut åpent for alle. I utgangspunktet høres det ut som en god idé, men selv om open Access sikrer åpen publisering, kan økonomien forvrenge forskningsresultatene også i dette systemet. I oktober 2013 avslørte John Bohannon i en artikkel i Science med tittelen Who’s Afraid of Peer Review? at fagfellevurderingen i store deler av open access-journalene er svært svak eller ikke-eksisterende. I løpet av ti måneder hadde Bohannon under et fiktivt pseudonym med en fiktiv institusjonsadresse sendt en artikkel med åpenbare og grunnleggende vitenskapelige feil til 304 open access-tidsskrifter. Ifølge Bohannon skulle “any reviewer with more than a high-school knowledge of chemistry and the ability to understand a basic data plot […] have spotted the paper’s short-comings immediately». Artikkelen ble antatt av 157 tidsskrifter og forkastet av 98. I disse tidsskriftene er altså reell fagfellevurdering unntaket, regelen er at hva som helst publiseres. Bohannon er ikke i tvil om årsaken:
«From humble and idealistic beginnings a decade ago, open-access Scientific journals have mushroomed into a global industry, driven by author publication fees rather than traditional subscriptions.»
Hvordan er så kvaliteten på fagfellevurderingen i tradisjonelle abonnementstidsskrifter? Den er selvsagt svært variabel, avhengig av tidsskriftets renommé, men en del forskere frykter at det ikke nødvendigvis er noe bedre der. I en kronikk i Morgenbladet 17. januar i år hevder Bjørn Samset og Henrik Svendsen at:
«[f]lere forskere og universitetsledere […] har imidlertid påpekt at Bohannons prosjekt egentlig ikke hadde noe med open access å gjøre. […] Det er fullt mulig at de etablerte tidsskriftene ville ha gjort lignende tabber.» Dette ble bekreftet i en artikkel i Nature 24. februar 2014 (Richard Van Noorden, Publishers withdraw more than 120 gibberish papers) som avslørte at over 120 forskningsartikler som overhodet ikke var skrevet av et menneske, men generert av et dataprogram og rent vitenskapelig var fullstendig innholdsløse, var sluppet gjennom det nåløyet som peer review skal være hos så anerkjente vitenskapelige utgivere som Springer og IEEE (The Institute of Electrical and Electronics Engineers).
Dette er dramatisk og fortjener større oppmerksomhet både i forskningsmiljøer og allmennheten enn det har fått.
I sin kronikk kritiserte Samset og Svendsen dessuten de store tidsskriftene for å publisere artikler i større grad basert på nyhetsverdi enn på vitenskapelig kvalitet. Det gir mange siteringer og dermed en kunstig høyere «ranking» i akademiske telle- og målesystemer. Igjen får vi altså bekreftet at New Public Management-systemer fungerer dårlig; mennesker har det med å tilpasse seg de strukturene de blir underlagt, og tillit og faglig integritet blir lett skadelidende.
Det er også åpenbart en fare for at det gratisarbeid som fagfellevurdering er, blir nedprioritert i en travel arbeidshverdag hvor målstyringssystemer skaper stadig økende press på å produsere nettopp de indikatorene som man måles på. Svak kvalitetssikring kan svekke forskningens kvalitet like mye som forskerslurv kan gjøre det.
Hvordan kan vi begrense disse problemene?
Tidsskriftene og fagfellevurdert publisering bør for det første frigjøres fra kommersielle aktører som har sterke ikke-vitenskapelige interesser knyttet til publiseringen. F.eks. kan universiteter samarbeide om å opprette vitenskapelige tidsskrifter som ikke har som formål å tjene penger for utgiveren, men kun holde et høyt vitenskapelig nivå og å gjøre forskning tilgjengelig for allmennheten. Fagfellevurdering bør videre tas inn som en del av stillingsbrøken til de vitenskapelig ansatte som har disse oppgavene, slik at det ikke blir en nedprioritert «ekstraoppgave».
I de enkelte studier har man gjennom vitenskapelig metode utviklet en stringent metodikk for å luke ut ulike former for systematiske avvik. På metanivået har vi derimot tydeligvis ikke en metode som er like stringent og god. Strukturelle endringer som foreslått over kan forhåpentligvis bidra til å rette opp i dette.