Ny forsk­ning skal for­hin­dre al­go­rit­men i at diskri­mi­ne­re

Algoritmen er blevet en integreret del af moderne beslutningsprocesser. Vi bruger dem til at vurdere ansøgninger om banklån, forsikringspolicer og studiepladser, til at screene jobansøgere og afgøre, hvem der skal modtage offentlige ydelser.

Men vi ved også, at disse digitale beslutningstagere står over for en velkendt udfordring, nemlig at de kan komme til at diskriminere bestemte grupper af mennesker.

”Algoritmen diskriminerer ikke med vilje, men den lærer af historiske data. Hvis de data afspejler eksisterende bias eller ulighed i samfundet kan algoritmen nogle gange videreføre og i nogle tilfælde faktisk forstærke diskrimination af bestemte grupper,” siger Dolores Romero Morales, professor ved Copenhagen Business School. Hun er med i en gruppe forskere fra både Copenhagen Business School og Universidad de Sevilla, som har udviklet en ny metode til at gøre algoritmen mere retfærdig uden at gøre den mindre præcis.

”Vores resultater viser, at det er muligt at forbedre retfærdigheden markant og stort set bevare præcisionen. Det er vigtigt fordi mange af de eksisterende metoder kræver, at organisationer går betydeligt på kompromis med algoritmernes evne til at forudsige for at opnå mere retfærdige resultater,” siger Dolores Romero Morales, som er en af forfatterne bag studiet.

Når historisk bias former fremtidens beslutninger

At algoritmer kan diskriminere, betyder ikke nødvendigvis, at de er programmeret sådan. Problemet opstår først, når de trænes på data, der afspejler eksisterende mønstre og uligheder i samfundet.

”Hvis jeg arbejder med et rekrutteringsværktøj i en branche, der historisk set har været stærkt mandsdomineret, skal jeg være opmærksom på, at data afspejler den viden. Algoritmen kan kun se mønstre fra fortiden. Den forstår ikke nødvendigvis om de mønstre er retfærdige eller ønskværdige,” siger Dolores Romero Morales.

Et af de mest kendte eksempler er Amazons forsøg på at udvikle et Ai-baseret rekrutteringsværktøj. Systemet blev trænet på virksomhedens historiske ansættelsesdata, hvor mænd var stærkt overrepræsenterede. Resultatet var, at algoritmen begyndte at favorisere mandlige ansøgere.

Algoritmen træffer allerede vigtige beslutninger

Ifølge Dolores Romero Morales, anvendes algoritmer i stigende grad til at træffe beslutninger i både den private og den offentlige sektor.

”De bruges til alt fra rekruttering og kreditvurdering til tildeling af sociale ydelser. Formålet med dem er ofte at strømline processer og minimere behovet for manuel sagsbehandling, men jo flere beslutninger vi overlader til algoritmen, jo vigtigere bliver det at den behandler mennesker retfærdigt.

Når algoritmer har indflydelse på menneskers adgang til uddannelse, arbejde eller økonomiske muligheder, kan konsekvenserne være vidtrækkende.

Et meget omtalt europæisk eksempel kommer fra Holland, hvor myndighederne bruger SyRI-algoritmen til at identificere potentielt socialt bedrageri. Systemet blev primært anvendt i områder med lave indkomster og endte med at udpege et stort antal personer med indvandrerbaggrund som mistænkelige.

Flere familier blev fejlagtigt anklaget for svindel og blev mødt med krav om at tilbagebetale store beløb.

”Det er et eksempel på, hvad der kan ske, når algoritmen overføres fra en kontekst til en anden uden en tilstrækkelig forståelse af de underliggende data og den kontekst, de fungerer i.  ”Teknologi kan ikke stå alene,” siger Dolores Romero Morales.

En hollandsk domstol satte senere en stopper for brugen af SyRI med henvisning til manglende gennemsigtighed og risikoen for diskrimination.

Fokus på dem, der bliver berørt af beslutningen

Forskernes nye metode bygger på LASSO-regression, som er en af de mest anvendte statistiske modeller til at generere forudsigelser på baggrund af store datasæt.

Traditionelt er sådanne modeller udviklet med et overordnet mål, nemlig at opnå højst mulig præcision.

Forskerne har tilføjet det, de kalder et retfærdighedslag, som ændrer den måde, modellen bliver evalueret på.

I stedet for at fokusere på, om forskellige grupper får præcis den samme gennemsnitlige score, fokuserer metoden på de mennesker, som beslutningen faktisk får betydning for.

Forestil dig et universitet, der bruger en algoritme til at udvælge ansøgere. Kun ansøgere over en bestemt grænse går videre til næste trin.

Hvis ansøgere fra en minoritetsgruppe systematisk placeres lige under den grænse, kan de ende med at være underrepræsenterede blandt de udvalgte, selv om forskellene i de samlede scorer er relativt små.

”Hvis vi kun fokuserer på præcision, risikerer vi at fastholde de mønstre, der allerede findes i data, hvilket kan betyde, at kvinder eller minoritetsgrupper konsekvent bliver rangeret en smule lavere, fordi det er det billede, de historiske data viser,” siger Dolores Romero Morales.

”Vi forsøger at finde en bedre balance. Vi vil fastholde en høj grad af præcision og samtidig sikre, at flere kvalificerede personer fra underrepræsenterede grupper kommer over den grænse, hvor beslutningerne bliver truffet.”

Et bidrag til ansvarlig kunstig intelligens

Studiet udkommer på et tidspunkt, hvor retfærdighed og ansvarlig brug af kunstig intelligens får stadig større opmærksomhed blandt både forskere og beslutningstagere.

I de senere år har EU skærpet sit fokus på algoritmers samfundsmæssige konsekvenser, og en række initiativer arbejder for at fremme gennemsigtighed, ansvarlighed og såkaldt troværdig kunstig intelligens.

For Dolores Romero Morales er den nye metode et bidrag til den indsats.

”Hvis mennesker skal have tillid til algoritmerne, skal de også have tillid til, at beslutningerne træffes på et retfærdigt grundlag. Vores ambition er at bidrage til AI-systemer, der er mere retfærdige, mere gennemsigtige og i sidste ende mere ansvarlige.”

Hun understreger dog, at retfærdighed ikke kan reduceres til matematik alene.

”Man løser ikke problemet ved blot at tilføje en ny formel til en model. Det kræver en grundig forståelse af både dataene og den kontekst, algoritmen bruges i. Ellers risikerer vi at gentage de samme fejl i en ny teknologisk form.”

Forskerne håber derfor, at metoden kan blive en del af fremtidens værktøjskasse til ansvarlig kunstig intelligens, efterhånden som algoritmer kommer til at spille en stadig større rolle i menneskers liv.