Kun je je nog herinneren dat Amazon zijn recruitmentrobot moest uitzetten nadat bleek dat het algoritme na verloop van tijd een standaard voorkeur voor mannen had gekregen, waardoor vrouwen bij voorbaat werden afgewezen? Zo zijn er helaas meer voorbeelden. Zo schijnen sommige gezichtsherkenningsapps vooral goed te werken bij blanke mannen, die ze hebben ontwikkeld, terwijl een donkere vrouw in veel gevallen niet wordt herkend. Kortom, discriminatie binnen algoritmes is nog steeds een groot probleem.

Discriminatie

Hoewel deze discriminatie regelmatig aan de kaak wordt gesteld, komt het nog steeds veelvuldig voor. Zo is recentelijk gebleken dat een algoritme binnen de zorg in de Verenigde Staten witte mensen boven zwarte mensen verkoos. Het zou gaan om miljoenen patiënten, zo is op te maken uit een onderzoek in Science.

Er worden geen namen genoemd, maar het schijnt volgens een professor van Berkeley genaamd Ziad Obermeyer enorm veel te zijn gebruikt. “Bijna elk groot zorgsysteem gebruikt het”. Het is dus een systematisch probleem. Het algoritme is er om patiënten te screenen en te zien wie er hoge risico’s lopen.

Heb je heel complexe medische zorg nodig, dan zal het algoritme je er vrijwel direct uitpikken. Je krijgt dan extra zorg geboden, zo houden de doktoren een extra oogje in het zeil. Dat is dure zorg die het algoritme goed kan bepalen voor een patiënt. Immers scheelt een algoritme weer iemand die zich anders kan bezighouden met het helpen van een patiënt aan het bed.

Data

In principe werkt de technologie zoals hij hoort, maar hij krijgt data gevoed die hem bevooroordeeld maakt. Omdat zwarte mensen minder vaak toegang hebben tot zorg, is er in het verleden ook minder aan deze mensen gespendeerd dan aan witte mensen.

Hierdoor denkt het algoritme dat zwarte patiënten dus ook minder vaak die extra zorg nodig hebben dan witte patiënten. Nu krijgen 17,7 procent van de zwarte patiënten extra aandacht, terwijl dat naar alle waarschijnlijkheid 46,5 zou zijn als de data en het algoritme naar behoren samenwerkten.

Om het op te lossen, hoeft de data of het neurale netwerk niet te worden aangepast, zo meent Obermeyer. Er moet worden veranderd wat het algoritme moet inschatten. Het moet minder gaan om kosten, maar meer om wat de invloed op de gezondheid is of kan zijn.