Hva det vil si å forske med og på kunstig intelligens på tvers, og forstår vi godt nok hva vi bør forske på?

Det tause kunnskapsgapet: Ingen vet helt hva Kunstig Intelligens (KI) «på tvers» betyr, men alle har en mening om hva vi bør forske på.

Av Anders Braarud Hanssen, RRI- koordinator, Senter for Digitalt Liv (DLN), seniorrådgiver, OsloMet

«Kunstig intelligens (KI) er i ferd med å revolusjonere nær sagt alle sektorer i samfunnet, fra helse og samferdsel til næringsliv og offentlig sektor. Regjeringen har nylig allokert over én milliard kroner over to budsjettår for å støtte forskning på KI og digital teknologi, med mål om å opprette tverrfaglige og tverrsektorielle KI-forskningssentre.

Tradisjonelt har tekniske forskere og samfunnsvitere operert i egne sfærer med lite faglig overlapp. For å takle utfordringene knyttet til KI-utvikling, trenger vi en tverrfaglig tilnærming der disse to gruppene jobber tettere sammen og lærer av hverandre.»

Avsnittene over ble generert av et par minutters arbeid, et par prompts drevet av språkmodellene til Perplexity.ai, en konkurrent til OpenAI. Perplexity.ai sier tilsynelatende de riktige tingene, men noe er litt off.

Den samme følelsen får jeg dessverre også når jeg hører politikkutviklere og KI-forskere beskrive de kanskje to største utfordringene med den nye KI-milliarden: Hva det vil si å forske med og på KI på tvers, og forstår vi godt nok hva vi bør forske på?

Debattene rundt bruk av KI er ofte knyttet til at teknologien allerede er her, og dreier seg sjelden om hvordan den utvikles, herunder ideer om fremtiden og verdiene som ligger bak utviklingen. Med unntak av Inga Strumke er det ganske stille blant dem som faktisk forsker under fanen KI. Istedet er det mye snakk om at Norge blir akterutseilt innenfor KI internasjonalt.

Dette er interessant, fordi det i stor grad er KI-forskerne, med deres institusjoner og bedrifter, som definerer hvordan KI skal utvikles og hvordan KI skal brukes til å adressere samfunnsutfordringer. KI skal tilsynelatende gi oss svarene, men hvem er egentlig kvalifisert til å formulere spørsmålene?

Hva er egentlig KI-forskning «på tvers»?

Statsminister Jonas Gahr Støre uttalte i en pressemelding i september 2023:

«Kunstig intelligens og maskinlæring kommer til å forandre samfunnet på måter vi fortsatt ikke forstår eller klarer å kontrollere.[1]»

I regjeringens KI-milliard er føringene tredelt: Forskning på KI innen offentlig og næringsrettet innovasjon, KI som eget forskningsområde og forskning på konsekvenser.

På den ene siden viser regjeringen betydelig tillit til at Norge har et unikt utgangspunkt for å «lykkes». Spørsmålet blir da om KI-forskernes oppfatning av hva som er de riktige og viktige valgene, er det samfunnet virkelig trenger.

På den andre siden peker regjeringens forståelse av hva KI-utvikling er, på et paradoks for politikkuformingen på dette området i Norge: I Norge ønsker vi å nyttiggjøre oss mulighetene som KI bringer. Samtidig forstår vi lite av det som skjer, og har tilsynelatende enda mindre kontroll over samfunnskonsekvensene, dette gjelder kanskje spesielt for et lite og sårbart demokratisk velferdssamfunn som Norge.

Vi er opptatt av å ikke sakke akterut (som i praksis vel betyr at vi aksepterer utviklingen som den er), samtidig som at vi ønsker å forstå hvordan KI endrer samfunnet vårt på uforutsigbare måter (formodentlig i den hensikt å unngå negative konsekvenser).

Det andre notatet fra den rådgivende ekspertgruppen for KI-satsingen[2] gir oss noen forventninger og anbefalinger ut over de tre såkalte integrerte sporene ovenfor:

Satsingen skal ha som ambisjon å være langsiktig, fruktbar, banebrytende og tverrfaglig.

Gruppa skisserte mulige fire tilnærminger til å møte ambisjonene: et nasjonalt distribuert senter, flere parallelle regionale sentre, en portefølje-modell med ulike typer prosjekter og tiltak og en såkalt kompetansehub basert på samme modell som Senter for Digitalt Liv (DLN).

Gruppen var delt om satsingen skulle struktureres gjennom et nasjonalt distribuert senter eller en kombinasjon av flere tilnærminger. Til slutt endte Forskningsrådet på et kompromiss som UiO-forsker og ekspertgruppemedlem Arnoldo Frigessi kalte en «tapt mulighet».

Han mente at prioriteringene i de ulike sporene virket «vilkårlige» og at man burde opprettet et nasjonalt distribuert KI-senter[3]. Modellen som er foreslått av Forskningsrådet, med 850 millioner til 4-6 sentre for kunstig intelligens, skal dele på oppgavene rundt å være såkalt «tverrsektorielle» og «tverrfaglige». Hva dette betyr, er ukjent. Hvorfor et nasjonalt koordinert senter ikke er den beste løsningen, begrunnes ikke i Forskningsrådets styrevedtak.

Hvem er det som skal gis ansvaret for hvordan vi håndterer den nye KI-teknologien: Forskere, bedrifter, politikere? Illustrasjon pathdoc/Adobe

KI og HumSam

Samtidig med arbeidet i ekspertgruppa inviterte Forskningsrådet til inspill fra relevante offentlige instanser, forsknings- og innovasjonsaktører.

Med noen hederlige unntak bar innspillene preg av et klart og linært skille mellom KI som teknologi- og kunnskapsutvikling og de etterfølgende konsekvensene i samfunnet.

Det er verdt å merke seg at det første notatet til ekspertgruppa viste til områder hvor Norge har «fortrinn». Et av disse er påviselig en sterk tradisjon for tverrfaglig samarbeid mellom teknolologifag på den ene siden og humanistiske og samfunnsvitenskaplige fag (HumSam) på den andre. Problemet er at dette samarbeidet primært har vært knyttet opp mot Forskningsrådets store og strategiske programmers portefølje, som BIOTEK2021, NANO2021 og de såkalte ELSA- og SAMANSVAR-porteføljene. Det er ikke noen sterk tradisjon for dette innenfor KI-forskning spesifikt.

Hvorfor er nettopp kvaliteten og kapasiteten i samarbeidet mellom KI og HumSam så viktig? Noe av svaret ligger i vitenskapshistorien. Internasjonalt har KI-forskning lenge vært et felt hvor samfunnsvitere, informatikere, lingvister, psykologer og språkforskere har vært avhengige av hverandre for å utvikle gode modeller og teorier.

En meta-studie av Wang et al. (2019) påpekte imidlertid en bekymringsverdig utvikling: Globalt var det stadig mindre samarbeid mellom KI-forskere og samfunnsvitere fra1950-tallet og fram til 2019. Funnene tydet på at KI-forskning i økende grad refererer til matematikk og datavitenskap. Samtidig viste studien at interdisiplinært samarbeid mellom AI-forskere og HumSam-forskere avtok.

Denne utviklingen fortsetter, også fordi mye av utviklingen skjer i multinasjonale tek-selskaper og i tekniske institutt- og universitetsmiljøer. Få HumSam-miljøer har tett, langvarig og kritisk forskning i samarbeid med KI-miljøer i Norge.

Ekspertgruppas notater vektlegger tverrgående temaer: tillit, ansvarlighet og kreativitet[4]. Forbilledlig er samfunnsansvar, innbefattet «ansvarlig og bærekraftig teknologbruk» løftet fram hvor teknologifag, samfunnsfag, juss og humaniora skal sikre nødvendig tverrfaglighet.

Det er usikkert om det er god nok dialog mellom HumSam-miljøer og KI-miljøer til at dette skjer. Tradisjonelt sett oppfattes etikk og samfunnskonsekvenser relativt instrumentelt av miljøer innenfor teknovitenskapene (McCormick et al. 2012, Strand 2022). Etiske og samfunnsmessige konsekvenser av KI vil ofte bli oppfattet innenfor en ramme av tradisjonell forskningsetikk og ikke som et aspekt av den faktiske forskningsprosessen (Arbelaez Ossa 2024). Samtidig har få HumSam-forskere inngående kjennskap til KI.

Støre med et bekymret uttrykk — Har Jonas Gahr Støre grunn til å se bekymret ut i møtet med KI-revolusjonen? Foto Ole Berg-Rusten NTB

Rasjonelle aktører?

Det er viktig å merke seg at i utgangspunktet bør miljøene være gjensidig avhengig av hverandre; mange av de grunnleggende teoriene innenfor KI, som sosial læringsteori (Jackson 2024), behaviorisme (Kosinski 2007) og spillteori er hentet direkte fra klassiske samfunnsvitenskaper som sosiologi og kognitiv psykologi.

Mange av disse teoriene har vært helt premissgivende for utvikling av for eksempel teorier om nevrale nettverk, såkalte reinforcement learning-algoritmer, og generative språkmodeller. Imidlertid har nyere KI-forskning gått mer ukritisk til verks og benyttet samfunnsfaglige teorier innenfor sammenhenger der de ofte er dårlig egnet.

Et eksempel er bruken av teorien om rasjonelle valg, opprinnelig utviklet av økonomen William Riker og andre forskere innenfor sosiologi og samfunnsøkonomi på 1900-tallet. Teoriene som springer ut av rational choice-paradigmet, har vært sterkt kritisert i samfunnsfagene, men brukes flittig innen KI-forskning (McKendrick 2022).

Et annet eksempel er Adam Smith og hans teori om «egeninteresse», videreutviklet innenfor økonomisk teori og beslutningsteori i en rekke samfunnsfag. Den baserer seg på at mennesker handler ut fra egeninteresse og at dette i siste instans fører til økonomisk vekst eller økt velferd.

Kritikken mot teorien innen samfunnsforskningen har vært omfattende: Mennesker handler ut fra langt mer sammensatte motiver, som sosiale normer, personlig tro, altruisme eller en annen kulturell referanseramme.

Mange, og spesielt kommersielt utviklede KI-systemer, er designet på måter som ofte trekker veksler på ulike former for slike egen-nytte-rasjonaler. Når den gjennomgående kritikken til denne teorien i samfunnsforskningen tilsynelatende ikke når tilstrekkelig inn i KI-miljøene, vil dette ikke bare gi begrensede eller utilsiktede effekter. Dette vil bli et forskningspolitisk problem som også vil kunne dukke opp i kjølvannet av utlysningen til de kommende KI-sentrene.

Når de teknologiorienterte KI-miljøene selv sitter med den primære definisjonsmakten rundt hvilke av HumSam-miljøene de vil samarbeide med, vet de hva de leter etter når de skal forske «på tvers»?

Hva bør vi forske på?

Alle synes KI-etikk er viktig, også KI-miljøene selv. Imidlertid handler eksemplene over ikke primært om problemer som løses med ekstern etikk-kompetanse, men om interdisiplinære utfordringer av vitenskapssosiologisk art i kjernen av ny KI.

Slike utfordringer har konsekvenser som handler om risiko for uintenderte effekter i og av teknologiutviklingen selv – altså ikke bare om hva som er «riktig» og «galt». Den fanges ikke nødvendigvis opp av føre-var-hensyn, fordi KI ofte innebærer scenarier som er ugjennomsiktlige slik at føre-var-prinsippet er vanskelig å argumentere for.

Den fanges heller ikke alltid opp gjennom forskning på «konsekvensene». Med andre ord har vi et klassisk Collingridge-dilemma: Tidlig i KI-utviklingen vet vi lite om konsekvenser og behovet for å regulere, mens etter at teknologiene er ferdig utviklet, kan det være for sent å regulere effektivt.

Risikoforståelse, i motsetning til hvordan KI etisk sett «bør være», innbefatter innsikt I hvordan KI-forskning virker på og lar seg påvirke av samfunnet. Ikke minst er dette vektlagt i EUs KI-strategi[5].

I denne sammenheng er risiko aldri noe rent kvantitativt, noe som ikke blir påvirket av forutintatthet (bias). Algoritme-basert risikovurdering, slik som innenfor såkalt predictive policing, er nettopp et eksempel på hvordan urefleksiv bruk av KI på områder med store samfunnskonsekvenser[6] handler lite om etikk. Risiko, spesielt med tanke på KIs disruptive potensiale, er alltid knyttet til hva som ansees som verdifullt i teknologiutviklingen, og verdihensyn er aldri kun kvantitative.

Da er det viktig å erkjenne at KI-forskere, som selv er en del av samfunnet, knytter verdier til andre hensyn enn andre grupper i samfunnet, og at de kanskje også har et annet syn på hva etikk er. Verdivurderinger i KI-forskning må derfor pakkes ut i et kontinuerlig oversettelsesarbeid sammen med KI-forskerne selv for å gi nødvendig tillit. Denne prosessen tar tid og er derfor ikke nødvendigvis noe som vil bli prioritert av ambisiøse miljøer som har dårlig tid i kappløpet mot KI-milliarden.

KI er et sett med teknologier og forskningsområder allerede full av latente, implisitte antakelser om samfunnet, forskningen selv og forskerens rolle i samfunnet, og hva vi bør forske på.

KIs gjennomgripende effekter må sees som en konsekvens av samproduksjon mellom forskningen og samfunnet og hvordan KI-forskningens retning i praksis er politikkutviklende i seg selv.

Slike antakelser finner vi også i Forskningsrådets utlysningstekst om de fire til seks sentrene hvor det skilles mellom «konsekvenser», «bruk i innovasjon og offentlig sektor» og teknologiene «i seg selv»[7].

Et slikt skille legger allerede hindre i veien for en åpen og nødvendig integrasjon mellom forutsetninger, nyttiggjøring og utvikling innen KI. Effektene av dette lineære synet på KI-utvikling har vært fraværende i debatten rundt hva KI-milliarden skal og bør brukes på.

En samfunnsansvarlig KI-forskning forutsetter en vending mot det Roger Strand (2022) kaller den «brede» forskningsetikken i KI-miljøene selv. Dette bør innebære å legge til rette for kritisk refleksjon, debatt og dialog om disse bredere konsekvensene som et ledd i teknologiutviklingen, og ikke som en parantes til slutt.

Dette kan ikke outsources til etikere og samfunnsforskere i enkeltstående arbeidspakker, uahvengig av hvor «på tvers» det jobbes. Derfor bør sosiotekniske analyser rund KI starte tidligere og gå dypere enn å kartlegge problemstillinger rundt bruk, som personvern eller informert samtykke.

Integrasjon av samfunnskonsekvenser i KI-forskning bør utfordre miljøene til å utvide forståelsen av etikk til å inkludere en «bred» forskningsetikk (Strand 2022), hvor forholdet mellom spørsmålene som stilles på lab, sees i sammenheng med forskernes egne antakelser, ansvar og samfunnskonsekvenser; hva de mener de «bør» forske på.

Derfor trengs det nå forskningspolitisk oppmerksomhet mot et kunnskapsgap mellom HumSam og KI-miljøene. Vi bør også legge vekt på forholdet mellom hva vi dypt sett ønsker oss, hva vi ikke forstår og hva som står på spill. Dette bør være en del av kunnskapsproduksjonen som kommer ut av den forskningen KI-milliarden skal gi oss

For statsministeren virket utilsiktet profetisk når han påpekte at vi møter grensene for vår forestillings- og fatteevne når vi prøver å forstå KIs innvirkning på samfunnet. Da trenger vi først å forstå hva vi faktisk ber om, når vi gir en milliard til forskere som ofte selv ikke har tid til å reflektere over hva det vil si å samarbeide, og hvorfor vi bør forske på akkurat dette.

Referanser

Roger Strand 2022: “What is research ethics? Narrow and broad understandings” https://www.forskningsetikk.no/en/resources/the-research-ethics-library/the-researchsocietal-relationship/the-politics-of-research-ethics/

Arbelaez Ossa, Laura, et al. 2024: «Integrating ethics in AI development: a qualitative study.» BMC Medical Ethics 25.1 (2024): 10.

Jackson, Emerson Abraham 2024. «The Evolution of Artificial Intelligence: A Theoretical Review of its Impact on Teaching and Learning in the Digital Age.» (2024).

McKendrick, Joe, and Andy Thurai 2022. «AI isn’t ready to make unsupervised decisions.» Harvard Business Review 15 (2022): 10.

McCormick, Jennifer Blair, et al. 2012 «Barriers to considering ethical and societal implications of research: Perceptions of life scientists.» AJOB primary research 3.3 (2012): 40-50.

Kosinski, Withold, and Dominika Zaczek-Chrzanowska. «Pavlovian, Skinner, and Other Behaviourists’ Contributions to AI.» Intelligent Motion and Interaction Within Virtual Environments (2007).