Heller ikke intelligente maskiner er fri for menneskelige svakheter. (Dette innlegget sto på trykk i Dagens Næringsliv  1. september 2017)

I rettssaler verden over står statuen av en kvinne med bind for øynene og en vekt og et sverd i hendene: «Justicia», rettferdigheten personifisert. Bindet over øynene symboliserer prinsippet om at rettferdigheten skal være blind. Loven skal anvendes uten hensyn til annet enn det som, i rettferdighetens navn, taler for og imot.

Forskere ved Ben-Gurion-universitetet i Israel gjennomgikk i 2011 domsavgjørelsene til israelske dommere som behandlet permisjonssøknader til fengselsinnsatte. Etter å ha studert 1000 domsavgjørelser, oppdaget de at det som i størst grad avgjorde hvorvidt dommerne innvilget permisjonssøknaden eller ikke, var hvor lang tid det var siden de hadde spist lunsj. Jo lenger unna spisepausen, desto mindre sannsynlig var det at dommeren innvilget permisjon. Funnet er kanskje ikke så oppsiktsvekkende. Mennesket kan ikke fri seg fra alle sine svakheter. Vi er ikke maskiner.

I dag overlater vi flere og flere avgjørelser til maskiner. Innsamling og analyse av enorme datamengder gjør det mulig å utvikle automatiserte beslutningssystemer basert på kunstig intelligens. Slike systemer kan avgjøre om vi får lån til å kjøpe nytt hus, hvilke trygdeytelser vi har krav på og hvor sannsynlig det er at vi har snytt på skatten. Automatisering av avgjørelser vil spare private og offentlige virksomheter for enorme summer.

Spørsmålet er om maskinene vil ta bedre avgjørelser enn mennesker. Det er uten tvil mulig å bygge algoritmer som overgår mennesket i å ta beslutninger. Likevel er det svært viktig å være bevisst at heller ikke algoritmer kan fri seg fra menneskets svakheter. Algoritmer er ikke mer objektive enn menneskene som lager dem. Våre fordommer kan overføres til maskinene.

Nylig avdekket en gruppe forskere ved University of Virginia at et bildegjenkjenningsprogram de var i ferd med å utvikle, automatisk koblet bilder av kjøkken med kvinner og ikke med menn. Dette hadde sammenheng med at bildedatabasen som algoritmen lærte fra, inneholdt flere bilder der kvinner var avbildet på et kjøkken enn slike bilder med menn. Menn var i større grad enn kvinner avbildet med gevær og sportsutstyr. Denne skjevheten i datamaterialet fikk konsekvenser for algoritmens læring til algoritmen. Bildegjenkjenningsalgortimen kjente ikke bare igjen mønsteret, den bidro til å forsterkeskjevhetene som lå i databasen. Den kategoriserte automatisk alle personer som var avbildet på kjøkken som kvinner, selv når de var menn.

Slike skjevheter kan få alvorlige konsekvenser hvis de forekommer i automatiserte beslutningssystemer. I USA har de utviklet et automatisert system for utmåling av straff og kausjonsbetingelser. Systemet brukes til å forutsi risikoen for at domfelte vil begå ny kriminalitet. Det amerikanske tidsskriftet ProPublica har sett nærmere på avgjørelsene systemet har fattet og konkluderte med at det diskriminerer afroamerikanere. Antallet afroamerikanere som feilaktig blir flagget med høyrisiko for å begå nye lovbrudd, er dobbelt så høyt som for hvite. Selskapet som har utviklet systemet, er uenig i ProPublicas konklusjon. Det ønsker imidlertid ikke å gi innsyn i hvilke kriterier og beregninger som inngår i algoritmen. Det er derfor ikke mulig hverken for de domfelte eller offentligheten å få klarhet i hvorfor avgjørelsene blir som de blir.

Når vi overlater stadige mer til maskinene, er det viktig å spørre seg hvordan vi skal ivareta tilliten til beslutningene som fattes. En utfordring ved mange av systemene som utvikles i dag, er at de er så komplekse at mennesker ikke kan forklare hvordan de kom frem til resultatet. Hvis de som eier systemet, ikke kan forklare hvordan det virker, hvordan skal vi da ha tillit til at avgjørelsene er rettferdige?

Neste år får vi nytt personvernregelverk. Dette regelverket har bestemmelser som kan bidra til å øke bevisstheten rundt hvordan algoritmestyrte beslutningssystemer må lages for å fungere mest mulig etterrettelig og rettferdig. For eksempel individets rett til forklaring og til å motsette seg automatiserte avgjørelser. Fra mai 2018 må virksomheter som benytter komplekse datasystemer, kunne forklare på en brukervennlig måte hvordan algoritmen kom frem til beslutningen.

De nye forpliktelsene i personvernforordningen inspirerer allerede forskningsmiljøer verden over til å utvikle mer åpen og gjennomsiktig kunstig intelligens. Dette er viktig forskning. Blind tiltro til algoritmene og beslutningene de fatter, kan i verste fall forsterke ulikheter og true rettssikkerheten.