Det er ikke bare den kunstige intelligensen som feiler som bør bekymre oss. Vi må også ha oppmerksomheten rettet mot den kunstige intelligensen som gir gode svar, men svar vi ikke kan forklare. (Artikkelen sto på trykk i Dagens Næringsliv den 10. januar 2020)

I 1897 ble Aspirin oppdaget og tatt i bruk til smertelindring. Først nesten 100 år senere, i 1995, fant forskere ut hvordan legemiddelet fungerer. Slik er det med mange av legemidlene vi bruker. Vi vet at de fungerer, men ikke hvorfor. Hvordan er det mulig at noe blir studert og forsket på så grundig, og at likevel ingen kan forklare hvorfor det virker?

Svaret på dette er at man innen legemiddelforskning i stor grad baserer seg på eksperimentering gjennom prøving og feiling som metode. Dette gjøres på testobjekter, ofte mus. Hvis musene responderer godt uten registrerte bieffekter, kan medikamentet testes ut på mennesker. Gjennom en lang testperiode kan medikamentet til slutt oppnå godkjenning. I noen tilfeller kan suksessen til en virkningsfull medisin inspirere forskere til å lete etter forklaringen på hvorfor den virker. Dette var tilfellet med Aspirin. Da forskere fant ut hvordan legemiddelet fungerte, førte det til utvikling av nye og bedre typer smertestillende medisin gjennom andre metoder enn prøving og feiling.

Denne formen for oppdagelser – svar først, forklaring senere – skaper hva Jonathan Zittrain, forfatter av flere innflytelsesrike bøker om internettøkonomien og Harvard-professor i internasjonal rett og informatikk, kaller intellektuell gjeld. Intellektuell gjeld oppstår når vi har innsikt i hva som virker uten å ha kunnskap om hvorfor det virker. Noen ganger tilbakebetales den intellektuelle gjelden raskt, og noen ganger, som med Aspirin, etter 100 år. Noen ganger blir den intellektuelle gjelden aldri tilbakebetalt.

Intellektuell gjeld er ikke nødvendigvis et problem. Er vi syke, vil vi ha en medisin som har virker. Hvorfor den virker er mindre viktig. Men å ta opp lån innebærer også en risiko. I artikkelen «Intellectual debt: with great power comes great ignorance» i The New Yorker, skriver Jonathan Zittrain om hvordan vi med bruk av kunstig intelligens risikerer å pådra oss en historisk intellektuell gjeldsbyrde.

Kunstig intelligens, særlig maskinlæring, er basert på prøving og feiling som metode, den samme metoden som benyttes innen legemiddelvitenskapen. Gjennom utbredelsen av kunstig intelligens bringes denne metoden, der svar kommer uten forklaring, til et utall nye samfunnsområder. Maskinlæring på sitt beste gir oss mer konsise og konsistente svar enn et menneske noen gang vil kunne gi. Men når vi aksepterer disse svarene uten å fastslå teoriene som ligger bak dem, pådrar vi oss intellektuell gjeld.

For å forklare utfordringene med intellektuell gjeld trekker Zittrain paralleller til et beslektet fenomen fra IT-verden, nemlig teknisk gjeld. Teknisk gjeld brukes som metafor om konsekvensene av dårlig system- og programvareutvikling. Teknisk gjeld oppstår når man lapper og fikser på et eksisterende system uten å ha et langsiktig perspektiv. Opptak av teknisk gjeld kan gi besparelser på kort sikt, men kan senere bli en direkte årsak til økte kostnader og hindre nødvendig innovasjon.

Akkurat som teknisk gjeld kan opptak av intellektuell gjeld gi god avkastning på kort sikt, men skape store utfordringer på lang sikt. Zittrain trekker frem tre grunner til at vi bør bekymre oss for den intellektuelle gjelden skapt av kunstig intelligens:

For det første, når vi ikke forstår hvordan noe virker, er det vanskelig å forutse hvordan det vil tilpasse seg uvante og uventede situasjoner. Selv velfungerende maskinlæringssystemer kan  manipuleres til å trekke gale konklusjoner ved å angripes med hva forskere kaller «fiendtlige input». Forskere ved det amerikanske universitetet MIT, klarte for eksempel å endre pixlene på et kattebilde uten at bildet ble synlig endret for det menneskelige øye. Mennesket så fortsatt bildet av den samme katten, mens Googles bildegjenkjenningsprogram var derimot 100 prosent overbevist om at det så på et bilde av guacamole. På samme måte kan selvkjørende biler manipuleres til å tro at de ser et forkjørsskilt i stedet for et vikepliktskilt. Intellektuell gjeld skaper altså risiko for alvorlige hendelser som det kan være vanskelig å forhindre. Hvis vi ikke forstår hvordan et system fungerer et det krevende å finne en metode for å beskytte det mot manipulering.

Den andre årsaken til at vi bør bekymre oss for den intellektuelle gjelden som hoper seg opp i systemer basert på kunstig intelligens, er at systemene ikke fungerer i isolasjon, men påvirker hverandre. Gale svar produsert av ett system samles inn og danner datagrunnlaget som andre maskinlæringssystem lærer av. På denne måten kan små feil i ett system spre seg og på sikt resultere i større og mer alvorlige feilslutninger i andre systemer. Etter hvert som flere og flere systemer vi ikke forstår blir gjensidig avhengige av hverandre, vil svarene de gir kunne bli mer uforutsigbare og vanskeligere for oss å kontrollere. Vi vil kunne havne i en situasjon der våre valg og handlinger bestemmes av systemer vi ikke kan etterprøve, men simpelthen bare må velge å stole på.   

Den siste, men mest dyptgripende bekymringen til Zittrain er knyttet til at myndigheter og selskaper har begynt å flytte forskningsmidler bort fra den tidkrevende og kostbare grunnforskningen som leter etter forklaringer, og over til den teknologidrevne og anvendte forskningen som leverer umiddelbare svar og resultater. Svar alene er imidlertid ikke alt som teller, poengterer Zittrain. Uten teoridrevet forskning vil vi kanskje ikke finne noen meningsfulle svar overhodet.

Mye av kritikken mot kunstig intelligens er rettet mot alle de ulike måtene den kan feile på. Den kan reprodusere fordommer, diskriminere og brukes til onde formål. Men vi må også ha oppmerksomheten rettet mot den kunstige intelligensen som ikke gjør feil. Den som takket være sin suksess tikker og går i bakgrunnen og tar beslutninger vi ikke forstår, men likevel har sluttet å stille spørsmålstegn ved.