«Forskningssystemet er i ferd med å knele under vekten av sin egen produktivitet». Det hevdet Daniel Sarewitz nylig i et innlegg i Nature som har skapt mye debatt. Sarewitz leder Consortium for Science, Policy and Outcomes ved Universitetet i Arizona og er en internasjonalt anerkjent forskningspolitisk analytiker, kommentator og forsker. Det økende publiseringspresset undergraver forskningens kvalitet og nytte, hevder han, og forskersamfunnets kanonisering av såkalt fri forskning har mye av skylden
EGIL KALLERUD, FORSKNINGSPOLITIKK
Sarewitz skriver jevnlig kommentarinnlegg i Nature. Hans innlegg 12. mai i år hadde tittelen: «The pressure to publish pushes down quality» og er blitt gjenstand for mye oppmerksomhet. Hvis mer er bedre, sier han her, har forskningen gode utsikter: Antall publikasjoner (og siteringer) vokser kraftig, i 2012 kom det til 2 millioner nye artikler. Og, sier han, det er en myte at de fleste artikler ikke siteres – flere artikler i flere tidsskrifter siteres mer over lengre tidsperioder, trolig mye på grunn av den økende digitale tilgjengeligheten. Men sett at det er motsatt; at større og akselererende vekst i antall forskere, tidsskrifter, artikler og siteringer tvert imot lover dårlig for vitenskapens framtid og stabilitet? Han minner om Derek de Solla Prices klassiske studier fra tidlig 1960-tall, der han med banebrytende historisk statistikk påviste at vitenskapen hadde vokst eksponensielt i over 250 år, med en fordobling i antall tidsskrifter, vitenskapelige institusjoner osv. omtrent hvert 15. år. Slik vekst kan ikke, påpekte Price, fortsette i det uendelige, før eller senere må den nå et metningspunkt og flate ut. Han kunne ikke forutsi når det ville skje, men når det skjedde, mente han, ville dramatiske endringer i måten å tenke om og styre vitenskap på tvinge seg fram.
I tråd med de Solla Prices prognoser mener Sarewitz at et av de vekstdrevne stressproblemene i dagens vitenskap er stadig tydeligere tegn på at dens evne til å opprettholde kvalitet og troverdighet svekkes under tyngden av denne enorme veksten. Særlig kommer det økende kvalitetsproblemet til uttrykk ved noen foruroligende trekk ved vitenskapelig publisering, blant annet som kraftig vekst i antall vitenskapelige artikler som trekkes tilbake, og en stadig mer utbredt erkjennelse av at publiserte resultater i svært stor grad ikke lar seg replisere.
Ifølge Sarewitz er det, selv for den jevne forskningsleder, en ganske utbredt oppfatning at mye publisert forskning har tvilsom kvalitet; det det er mindre oppmerksomhet om, sier han, er det han kaller «the destructive feedback between the Production of poor-quality science, the responsibility to cite previous work and the compulsion to publish». Forskning som siteres og bygger på dårlig forskning, sprer og forverrer problemet, som når en cellelinje for brystkreft som ble brukt i mer enn 1000 publiserte studier, viste seg å ha vært en hudkreftcelle; det er som om «metastasis has spread to the cancer literature». Å sitere annen forskning er å godtgjøre at egen forskning bygger på eller samsvarer med anerkjent, etablert kunnskap. Men om det i realiteten er mye, og stadig mer, dårlig kvalitetssikret forskning der ute, vil kombinasjonen av et sterkt siteringsimperativ og stadig mer effektive søkemetoder for å finne bekreftende resultater bidra til å forsterke kvalitetsproblemet. Replikasjonsstudier for å validere publiserte resultater foretas sjelden; de er ressurskrevende og lite meritterende i en kultur som i stadig sterkere grad bare anerkjenner betydningen av «gjennombrudd» og «transformative» resultater. Studier med negative resultater lider samme skjebne. Når replikasjonsforsøk likevel foretas, er utfallet i oppsiktsvekkende høy grad negativt, for enkelte fagfelt langt under halvparten. I en survey blant forskere publisert i Nature i mai i 2016 svarte 73 prosent at de trodde halvparten av resultatene innenfor deres felt kunne repliseres; fysikere og kjemikere var mest optimistisk. Men bare et fåtall hadde forsøkt å få publisert resultater av replikasjonsforsøk.
Sarewitz er ikke alene om sitt noe alarmistiske syn på disse sidene ved vitenskapens utvikling; tidligere redaktør av The Lancet, Richard Horton, uttalte at «much of the scientific literature, perhaps half, may be simply untrue. Afflicted by studies with small sample sizes, tiny effects, invalid exploratory analyses, and flagrant conflict of interest, together with an Obsession for pursuing fashionable trends of dubious importance, science has taken a turn towards darkness». Og mange deler Sarewitz’ oppfatning om at det økende publiseringspresset må ta mye av skylden; stadig flere forskere må hver seg publisere stadig flere artikler. «Publisér mindre», oppfordrer han, men møter neppe stor forståelse for det blant forskere som befinner seg tidlig i karriereløpet.
Men problemet er egentlig av mer grunnleggende og strukturell art; det dreier seg om selve peer review-institusjonens evne til å håndtere stressituasjonen. Dette er selve vitenskapens nøkkelinstitusjon, det er der resultater kvalitetssikres og grensene trekkes mellom vitenskapelig og annen kunnskap; om peer review-institusjonen overbelastes og svikter, står mye på spill. Peer review viser seg, i studier og i praksis, igjen og igjen som en ytterst feilbarlig institusjon med mange påviste svakheter («det er likevel det beste vi har»), men Sarewitz ser tegn på at den nå kan være i ferd med å bryte helt sammen under byrden av en dramatisk vekst i publikasjonsvolumet, økt publiseringspress og ensidig vekt på kvantitative «kvalitets»-mål.
Sarewitz står nok mer alene i sin mer vidtgående analyse av hva vitenskapens kvalitets- og tillitsproblem til syvende og sist bunner i. For det har, hevder han, sammenheng med et grunntrekk ved vitenskapens egen kultur, i institusjonaliseringen av det han kaller «den vakre løgnen» om forskningens kvalitet og bidrag til samfunnet som han i klartekst finner formulert i Vannevar Bush’ rapport «Science – the Endless Frontier», av mange oppfattet som noe i nærheten av moderne forskningspolitikks grunnlov. En av Bush-rapportens kanoniske formuleringer er: «Scientific progress on a broad front results from the free play of free intellects, working on subjects of their own choice, in the manner dictated by their curiosity for exploration of the unknown.» I en lang artikkel i vår-/sommerutgaven 2016 av The New Atlantis hevder Sarewitz at det er nødvendig å bryte med denne «myten om den ustyrte («unfettered», på norsk: den frie) forskningen» om det skal være mulig å «redde vitenskapen» (artikkelens tittel). Hans resonnementer i dette innlegget er langt på vei de samme som de han utviklet i en bok han utga i 1996, «The Frontiers of Illusion»; som tittelen antyder satte han her bredsiden inn mot alle sider ved Bush-rapportens ideologi og den sterke innflytelsen den har på forskningspolitikken den dag i dag.
Det er, sier han, simpelthen galt at vitenskap bidrar mest til ny teknologi og samfunnsmessig nytte når den i størst mulig grad styres av forskeres nysgjerrighet, rene kunnskapsmål og vitenskapens interne egendynamikk. De teknologiene som i særlig grad har formet etterkrigstidens samfunn, har svært ofte sprunget ut av det amerikanske forsvarsdepartementets omfattende støtte til forskning og utvikling under den kalde krigens geopolitiske betingelser. Støtten omfattet svært mye grunnforskning, men det var grunnforskning med (langsiktige) formål, utført i en kontekst av samarbeid mellom forskning og innovasjon, forskere og (sofistikerte) brukere: «much of today’s technological world exists because of DOD’s role in catalyzing and steering science and Technology. This was industrial policy, and it worked because it brought all the players in the innovation game together … The great accomplishments of the military-industrial complex did not result from allowing scientists to pursue «subjects of their own choice in manner dictated by their curiosity», but by channeling that curiosity toward the solution of problems that DOD wanted to solve». Dette minner en del om Mariana Mazzucatos påpekning av at det i etterkrigstiden har vært statens målrettede, langsiktige og risikovillige satsing på forskning, utvikling, demonstrasjon og innovasjon som har vært den sterkeste drivkraft for (radikal) innovasjon. Men mens Mazzucato går i rette med myten om at innovasjon først og fremst skjer i regi av private aktører, retter Sarewitz’ kritikk seg den andre veien, mot myten om den frie forskningens gjennomgripende samfunnseffekter.
For det er, sier han, gjennom test i bruk at forskningsresultater virkelig valideres og blir robuste. Forskningsresultater som kun er underlagt vitenskapens interne vurderingskriterier, prioriteringer, teknikker og metodekrav, unnslipper den sterke valideringstesten som ligger i faktisk bruk. Den disiplinerende og fokuserende kraft i konfrontasjonen med teknologi, bruk og brukere blir desto viktigere om peer review svekkes eller svikter, slik han altså mener at det er mye som tyder på. Han viser til eksempler på forskning som i henhold til internvitenskapelige kriterier framstår som god og «transformativ», men som har gitt lite i form av ny teknologi, nye medisiner og behandlinger. Så godt som ingen resultater fra laboratoriestudier av mus for å utvikle medisiner mot Alzheimer har for eksempel kommet helskinnet gjennom testfasene og blitt godkjent. Det burde ikke overraske, sier han, «the last common ancestor of humans and mice lived 80 million years ago». Han siterer en forsker på farmasøytisk innovasjon som hevder at den bioteknologiske revolusjonen var dømt til å feile, «given the limits of predictive science to solve problems in complex natural phenomena». Sarewitz’ poeng er ikke ulikt det som gjerne knyttes til boken The New Production of Knowledge fra 1992: det er i anvendelseskontekster, i kunnskapsproduksjon i «modus 2», at egentlig robust kunnskap skapes. «Technology keeps science honest», som Sarewitz formulerer det.
Essayet i The New Atlantis, som det ovenstående i stor grad bygger på, går nå sin gang på internett. Det vekker oppsikt, ikke minst fordi han bruker sterke ord («løgn», «vitenskapen selvdestruerer») og nærmest inviterer til kritikk for å overdrive og overgeneralisere. Men mange, også av de jevne forskere, kan nok nikke anerkjennende til at han setter fingeren på reelle problemer. Og målet er å «redde vitenskapen», hans oppspill til debatt om grunnleggende utfordringer i moderne vitenskap kan ikke avfeies som en ny runde i den famøse «science wars» mellom samfunnsvitere og naturvitere fra en del år tilbake, dette er ikke epistemologisk relativisme. Sarewitz har doktorgrad i geologi og var på begynnelsen av 1990-tallet rådgiver og taleskriver for George E. Brown Jr., mangeårig leder på 1990-tallet av den amerikanske kongressens Committee for Science, Space and Technology.
Artikkelen bygger i hovedsak på: D. Sarewitz: The pressure to publish pushes down quality, Nature, 12. Mai 2016, s. 147, http://www.nature.com/news/the-pressure-to-publish-pushes-down-quality-1.19887, og D. Sarewitz: Saving Science, The New Atlantis, Spring/Summer 2016, s. 5-40, http://bit.ly/2bkr5Zd