Att låta utvärdera den egna verksamheten har blivit ett sätt för universitet och högskolor att visa strategiskt ledarskap. För de lärosäten som vill konkurrera med kvalitet på en global marknad, anses det viktigt att prövas mot en internationell standard. Denna artikel är baserad på en metautvärdering av den Research Assessment Exercise (RAE) som genomfördes vid Kungliga Tekniska högskolan (KTH) i Stockholm 2012. Den visade bland annat att många miljöer fick mycket bättre betyg än i en tidigare RAE 2008.
SARA KARLSSON, KVALITETSSAMORDNARE, KTH
sarak2@kth.se
LARS GESCHWIND, FORSKARE, KTH
larsges@kth.se
I Sverige hör KTH till de universitet som har satsat på egeninitierade utvärderingar, såväl av kärnverksamhet som av stödverksamhet. Inte minst har KTH initierat storskaliga forskningsutvärderingar. En första Research Assessment Exercise (RAE) genomfördes redan 2008, och 2012 var det dags för en andra omgång. I båda fallen var huvudsyftet att identifiera styrkor och svagheter i forskningsmiljöerna och på så sätt vara kvalitetsdrivande. Genomlysningen skulle också ge ledningen vägledning inför framtida satsningar.
Med den andra RAE ville KTH-ledningen också ligga i framkant när det gäller genomförandet av forskningsutvärderingar, i synnerhet i relation till den senaste utvecklingen inom det brittiska Research Excellence Framework-systemet. En ökad betoning på forskningens samhällspåverkan och införandet av «impact statements» som bedömningsunderlag blev därför viktiga nyheter i den utvärdering som genomfördes under 2012. De miljöer som genomgående fick högsta betyg erhöll en bonus.
Men vad leder dessa forskningsutvärderingar till? Är de värda besväret? På vilket sätt förändras universitetet av att ha genomfört dem? Efter att KTH genomfört två stora projekt var tiden mogen att stanna upp och försöka besvara den här sortens frågor. Vi har under 2013 genomfört en «metautvärdering» av de båda RAE. Två saker har varit i fokus: dels metodiken i de bägge utvärderingarna, dels vilken påverkan forskningsutvärderingarna har haft på ett urval forskningsmiljöer, tre till antalet. Några av huvudresultaten presenteras nedan.
Bra resultat blev ännu bättre
Både 2008 och 2012 års utvärderingar gav en mycket positiv bild av KTH:s forskning. Överlag gav den andra utvärderingen ett ännu bättre resultat än den första. De styrkor som 2008 års rapport lyfte fram, såsom kvaliteten i forskningsproduktionen och i samhällspåverkan, accentuerades ytterligare i 2012 års rapport. I våra fallstudier finns flera enskilda exempel på miljöer som kommit betydligt bättre ut i den andra utvärderingen än i den första.
Att utvärdering nummer två ger ett förbättrat resultat är en erfarenhet som KTH delar med andra lärosäten, till exempel Uppsala universitet. Det finns flera aspekter av detta. En tolkning är att RAE leder till kvalitetsförbättring; det är ett kvalitetsdrivande initiativ som infriar förväntningarna. En annan tolkning är att forskarna lärt sig hur man får ett bra resultat i utvärderingen utan att det nödvändigtvis påverkar kvaliteten positivt. Ett alltför positivt resultat kan också misstänkliggöra urvalet av bedömare, i så måtto att de blivit rekryterade på grund av gammal vänskap snarare än att de är ledande forskare inom det aktuella fältet. Det här gäller förstås inte bara KTH:s forskningsutvärderingar, utan relaterar till en generell diskussion om peer review-metodens för- och nackdelar.
Revanschlust viktig drivkraft
Våra fallstudier visar tydligt att det i de enskilda miljöerna har spelat stor roll vilket resultatet i den första utvärderingen blev. Det är då framför allt det akademiska anseendet som har stått på spel. För dem som var mindre framgångsrika 2008 blev detta en prestigeförlust som svårligen kunde ignoreras. Vi har sett exempel på hur lägre betyg i den första utvärderingen har väckt en ny medvetenhet och sporrat till ett mer strategiskt agerande i den andra omgången. Exempelvis har man lagt ner ett större arbete på att ta fram underlag av olika slag och på att förbereda sig inför platsbesöket. Det är inte minst tydligt när det har skett personförändringar under mellanperioden. Ny fakultet med goda forskningsmeriter, men också med ett nytt förhållningssätt till utvärdering och forskningsstrategi, kan ge påtaglig effekt. Ambitiösa personer som har en förän-dringsagenda har också kunnat använda utvärderingsprocessen som karriärmässig språngbräda. Att det har blivit skillnad kan då märkas redan efter fyra år, inte minst eftersom RAE-panelerna inte bara beaktar «past performance» utan även miljöns dynamik och framtidspotential.
I de miljöer som redan i den första utvärderingen fick ett bra resultat fanns av naturliga skäl inte samma incitament till förändring, och där verkar RAE-processen i sig ha haft en mindre betydelse i kvalitetsutvecklingen. Tvärtom finns där en tendens till att se utvärderingarna som onödiga pålagor: varför utvärdera om man ändå vet att kvalitetsnivån är hög? Den bonus som delades ut till de absolut bästa miljöerna har inte heller varit ett viktigt incitament utan har tvärtom varit föremål för kritik: för lite pengar och för otydliga bedömningskriterier är några av de kritiska synpunkterna.
En motvikt till bibliometri?
Ur ett större perspektiv är det svårt att säga vad som är en effekt av RAE-projekten i sig, och vad som beror på andra, större tendenser. Exempelvis noterar vi att forskargrupperna har börjat föra en allt intensivare diskussion om publiceringsstrategier. Dessa diskussioner har dock inte nödvändigtvis lett till radikalt ändrade publiceringsmönster. Inte heller kan man se en tydlig utveckling vad gäller citeringar. Vad som dock tydligt har förändrats är antalet registrerade publikationer i universitetets databaser. Inte minst genomförandet av den första RAE förefaller ha haft en «disciplinerande» effekt på forskningsmiljöerna. Vi ser över huvud taget en växande medvetenhet kring behovet av tydliga forskningsstrategier, inklusive publiceringsstrategier, forskningskommunikation och administrativ «ordning och reda».
När det gäller bibliometri är bilden mångtydig. Även om KTH:s forskare alltså inte helt har lagt om sina publiceringsvanor är det tydligt att de behöver förhålla sig till det starka tryck som idag finns på att publicera i internationella peer review-granskade tidskrifter. I många av forskargrupperna, i synnerhet de som av tradition inte har använt sådana kanaler, pågår en livlig diskussion om detta. På en del håll har man utvecklat en dubbel strategi, och väljer att publicera både i form av internationella tidskriftsartiklar och i form av till exempel monografier eller tekniska rapporter. Detta är också något som RAE-panelerna stödjer.
Å ena sidan har RAE-projekten alltså, tack vare den kvalitativa peer reviewmetoden, fungerat som en motvikt mot vad vissa forskare ser som en alltför ensidig fokusering på bibliometri. Å andra sidan går det inte att frikoppla RAE från de större trenderna.
RAE-projekten är alltså något mer än de enskilda händelserna. De är delar i en större förändringsprocess, och intressanta exempel på hur universitetsledningar kan använda utvärderingar som redskap för att fylla olika strategiska syften.
