Evalunation-prosjektet vil undersøke hvordan historiske erfaringer og nye digitale verktøy kan hjelpe oss med å forstå dagens evalueringspraksis og endringene som pågår.
Av HILDE REINERTSEN, forsker ved TIK Senter for teknologi, innovasjon og kultur, Universitetet i Oslo
18. februar i år landet roveren Perseverance på planeten Mars. Etter noen nervepirrende minutter der romforskere verden over ventet på at signalene fra roveren skulle ankomme jorda, kunne alle puste lettet ut: Roveren hadde landet trygt og var klar til å starte sitt lenge planlagte oppdrag – å sende bilder og jordanalyser tilbake til NASA i jakten på spor av fortidig liv på Mars.
Den jevne strømmen av bilder fra Perseverance er fascinerende å følge. Men hva er det egentlig vi ser på disse bildene? Hvordan kan den overveldende mengden rådata roveren sender, bli omformet til meningsfull informasjon?
Roveren er verktøyet som gjør Mars synlig og analyserbar for oss, men det kreves også en formidabel innsats fra et stort team av forskere og teknikere for å sortere, justere og tolke bildene. Som sosiologien og vitenskapshistorikeren Janet Vertesi skriver i boka Seeing Like a Rover, der hun fulgte et tidligere Mars-oppdrag: «How can we trust what our images tell us, especially when they are subject to manipulation and interpretation?» (Vertesi 2015: 8).
Forskningsprosjektet «Evaluation Optics of the Nation State: The Past, Present and Future of Public Documentation» (EVALUNATION) ledes av Hilde Reinertsen ved TIK-senteret, Universitetet i Oslo. Det er finansiert av Norges forskningsråd (FRIPRO Unge forskertalenter) og pågår i perioden 2021–2024.
Evalueringens optikk
Med Mars-bildene i bakhodet kan vi spørre oss: Hva er det vi ser når vi evaluerer? Hvordan bruker vi ulike former for evalueringsoptikk, og hvordan fortolker vi informasjonen vi da får? Og når vi over tid opparbeider oss erfaring med ulike former for evalueringsoptikk, hva slags blikk er det vi da erverver oss?
Hva er relasjonen mellom evalueringsblikket, evalueringsoptikken og evalueringsobjektet? Hva gjør optikken med vårt blikk på verden og samfunnet omkring oss? Og hva skjer om vi anvender en optikk tilpasset ett slags evalueringsobjekt på et helt annet objekt – hva ser vi egentlig da, og med hvilke implikasjoner?
Hva er egentlig forholdet mellom den som observerer, den som observeres og det som brukes til å observere? Og hvordan bidrar observatøren og observasjonsmetoden i seg selv til å påvirke det som blir observert?
Evalueringenes plass i statsforvaltningen
I forskningsprosjektet Evalunation, som nå er i oppstartsfasen, skal vi forfølge nettopp slike kombinert jordnære og filosofiske dimensjoner ved evalueringens optikk, ved å studere hvordan evalueringsmetoder brukes i praksis og endrer seg over tid, og hvilken samfunnsmessig betydning disse endringene har.
Her er det mye stoff å ta av: Uavhengig evaluering er en hjørnestein innen norsk statsforvaltning – fra Riksrevisjonens høyprofilerte forvaltningsrevisjoner til alle små og store evalueringsprosesser som til enhver tid pågår i departementer, direktorater og hos diverse aktører som mottar offentlig støtte.
Dette evalueringsarbeidet bygger på et grunnleggende åpenhetsprinsipp om at borgerne skal kunne vite at fellesskapets midler blir brukt på best mulig måte.
Samtidig har evalueringsfeltet i seg selv vært gjenstand for en enorm vekst de siste tiårene – både i antall oppdrag, aktører og rapporter, men også i form av en tydelig profesjonalisering der evaluering er etablert som et eget fagfelt, en egen form for ekspertise, med en rekke ulike retninger og underkategorier.
Evalueringsfagets stadig mer raffinerte teknikker og sofistikerte terminologi har også ført med seg en selvsikkerhet og en egenvekt som øker i takt med dets stadig voksende politiske betydning. Og nettopp derfor er det viktig å studere dets metoder.
Nye verktøy
Evalueringsfaget har gjennomgått en enorm metodeutvikling de siste tiårene. Vi har gått fra no data til big data: Digitalisering har radikalt forandret hvordan informasjon produseres, samles og lagres.
Evalueringsoptikken utvikler seg tilsvarende: Nye digitale systemer og metoder, som stordatafangst og maskinlæring, er under utprøving for å håndtere den voksende mengden data og dokumenter innenfor statsforvaltningen. Hvordan vil dette på sikt påvirke evalueringsfaget? Hvem får tilgang til metodene, og hvordan blir de brukt? Og som en siste omdreining: Når offentlig forvaltning tar i bruk algoritmer i saksbehandlingen, hvordan skal vurderingene disse algoritmene gjør, i neste omgang kunne ettergås av Riksrevisjonens forvaltningsrevisjoner?
Alle som jobber innenfor og omkring dette feltet – alle som selv har bestilt, utført eller blitt utsatt for en evaluering eller en forvaltningsrevisjon – vil kunne bidra med detaljerte og interessante historier som gjør at også samfunnet for øvrig bedre kan forstå endringene som nå pågår og dilemmaene som da oppstår.
Evalunation-prosjektet
Nettopp det å dokumentere disse ulike evalueringshistoriene er et sentralt mål i Evalunation-prosjektet. Her vil vi undersøke hvordan historiske erfaringer og nye digitale verktøy kan hjelpe oss med å forstå dagens evalueringspraksis og endringene som pågår. For selve måten evaluering praktiseres på, har åpenbart en betydning: Hvilke spørsmål stiller vi, hvordan legges undersøkelsene opp, hvilke begreper er styrende, hvilke hensyn gis mest vekt?
Evaluering er jo ingen nøytral, objektiv øvelse. Selv om dette er idealer å strekke seg etter, vil det å observere, beskrive og vurdere alltid innebære å foreta en rekke valg, avgrensninger og fortolkninger. I tillegg er jo målet med en evaluering å bidra til endring. Som det heter i en av de tidligste kildene til norsk evalueringshistorie, Norads Håndbok for evalueringsspørsmål fra 1981: «En evalueringsrapport – hvor god den enn måtte være – har liten verdi hvis den ikke blir brukt.» (Norad 1981: 30)
Styringsteknologi
Evalueringsoptikken er dermed ikke bare en synsteknologi, det er også en styringsteknologi. Den inngår som et sentralt verktøy i vårt politiske system. Ved å hjelpe oss til å forstå og endre samfunnet, kan den også bidra til å forme selve måten vi ser oss selv på. Dermed blir det også helt sentralt å forstå måten vi legger opp all evalueringsvirksomheten på – fra bevilgningene, bestillingene og systemene til teamsammensetningene, metodene, rapportene, diskusjonene og bruken.
For det er åpenbart at vi trenger gode verktøy for evaluering og revisjon. Vi trenger å se og forstå oss selv som samfunn, vi trenger å holde personer og institusjoner ansvarlige for sine handlinger og sin ressursbruk, og vi trenger å diskutere dette offentlig. Og da trenger vi optikk som kan gi oss gode bilder av den uoversiktlige virkeligheten vi forsøker å håndtere.
Men selv om optikken kan gi oss bildene, må vi fortsatt selv gjøre jobben med å fortolke dem og bestemme hva vi deretter skal gjøre. Som Janet Vertesi observerte under sitt feltarbeid ved NASA:
«Without images, Rover scientists would not have any visual experience of Mars. With- out digital image manipulation, they would not come to see the compositional and morphological details of the Martian terrain that interest them. And without distribu- ting these images among the team, they would not produce the shared vision of the Martian terrain essential to deciding where the rover should go and what it should do next.» (Vertesi 2015: 9).
Referanser
NASA 2021. Mars Perseverance. Raw Images. https://mars.nasa.gov/mars2020/multimedia/raw-images/
Norad 1981. Håndbok for evalueringsspørsmål. Oslo: Norad.
Reinertsen, Hilde 2016. Optics of Evaluation: Making Norwegian Foreign Aid an Evaluable Object, 1980-1992. Ph.D.-avhandling. TIK Senter for Teknologi, Innovasjon og Kultur, Universitetet i Oslo.
Vertesi, Janet 2015. Seeing Like a Rover. How Robots, Teams, and Images Craft Knowledge of Mars. Chicago og London: Chicago University Press.
Hovedfoto: Mars-roveren Perseverance henger her under nedlastingsplattforen på vei ned til Mars’ overflate. Foto NASA/JPL-Caltech/ASU