Algoritmen komen we de hele dag tegen, aldus Frederik Zuiderveen Borgesius, onderzoeker bij het Instituut voor Informatierecht (IViR) van de Universiteit van Amsterdam. Ze doen goede dingen, maar soms hebben ze een zwart randje.
Door: Ronald de Nijs
‘Een algoritme is simpel gezegd een soort beslissingsmechanisme in software. Ze filteren bijvoorbeeld de spam uit je e-mails en ze bepalen de resultaten die je te zien krijgt na het intikken van een vraag in een zoekmachine.’ Mooi dus, zou je denken, maar Frederik Zuiderveen Borgesius maakt zich zorgen over ‘de discriminatie die (meestal per ongeluk) uit zo’n algoritme kan rollen’.
‘Dat blijkt bijvoorbeeld uit een onderzoek van de Harvard-universiteit in de Verenigde Staten. Voor dit onderzoek werden zowel typisch “zwarte” namen (zoals Lakisha) als typische “blanke” namen (zoals Katie) in Google ingetikt. Wat bleek: bij typisch “zwarte” namen kreeg je veel vaker een advertentie te zien waarbij je het strafblad van iemand met die naam kon aanschaffen. In de Verenigde Staten is iemands strafblad namelijk openbaar, compleet met foto. Er zijn bedrijven die dat materiaal verzamelen en er tegen betaling toegang toe bieden.’
Is Google racistisch?
Is Google daarmee racistisch? Nee, denkt Zuiderveen Borgesius. ‘Wat er – pijnlijk genoeg – waarschijnlijk is gebeurd, is dat Amerikanen bijvoorbeeld de naam van een zwarte schoonmaker googlen en dat ze vaker doorklikken naar sites die toegang bieden tot iemands strafblad. Het algoritme heeft daardoor geleerd dat bij bepaalde namen mensen vaker geïnteresseerd zijn in een strafblad. En dat heeft er weer toe geleid dat wie bepaalde namen googlet, vaker dergelijke advertenties te zien krijgt. Ik vind dit een schokkend voorbeeld van hoe een algoritme onbedoeld kan leren van bestaand racisme in de maatschappij.’
‘Als je niet weet op welke gronden die advertenties aan de zoeker worden gepresenteerd, zou je de indruk kunnen krijgen dat zwarte mensen een grotere kans op een strafblad hebben. Het algoritme herhaalt niet alleen wat het heeft geleerd, namelijk racisme, maar het zou zelfs zo kunnen zijn dat het algoritme vooroordelen verergert.’
Nog een voorbeeld
In 2015 bleek uit onderzoek van de Consumentenbond dat mensen die op een huisnummer met een toevoeging wonen zoals A of B soms een hogere premie voor bijvoorbeeld hun auto- of inboedelverzekering moeten betalen. ‘Het is niet duidelijk waar die verschillen op gebaseerd zijn. Maar je kunt je voorstellen dat verzekeringsmaatschappijen eigen data hebben ingevoerd in een computersysteem dat daarna een correlatie vond: in het verleden heeft dat soort huisnummers onder andere vaker tot blikschade geleid.’
Zuiderveen Borgesius benadrukt dat een computersysteem wel op zoek gaat naar correlaties maar niet geïnteresseerd is in causale relaties: waarom veroorzaken bewoners op dergelijke adressen bijvoorbeeld meer blikschade? ‘Voor de verzekeringsmaatschappijen maakt het ook niet veel uit, want die moeten gewoon hun premies laag houden en risico’s inschatten.’
Deze inzet van algoritmen roept bij Zuiderveen Borgesius vragen op. ‘Zijn de mensen op bijvoorbeeld 20A of 20B gemiddeld armer omdat ze misschien op een etagewoning wonen? Worden ze op deze manier nog eens verder gestraft? Maar als verzekeringsmaatschappijen zulke segmentatie niet zouden doen, zou dat betekenen dat alle andere premies gemiddeld een klein beetje omhoog moeten. Dus aan de ene kant kun je die segmentatie oneerlijk vinden, aan de andere kant eerlijk. Het zijn, kortom, ingewikkelde ethische kwesties.’
Risico’s inperken
Is Zuiderveen Borgesius daarmee tegen algoritmen? ‘Nee! Ik vind bijvoorbeeld een goed milieu heel belangrijk, maar de voordelen van de industriële revolutie ook. Dus moeten we de uitwassen van de industriële revolutie inperken met milieuwetten. Zoiets geldt wat mij betreft ook voor algoritmen en hun nuttige toepassingen: perk de risico’s zoveel mogelijk in en maak algoritmen transparanter. In mijn lezing zal ik daar verder op ingaan.’
Een tipje van de sluier wil Zuiderveen Borgesius wel alvast geven. ‘Makkelijk zal dit transparant maken niet worden, want er zijn soms ook goede redenen om een algoritme een zwarte doos te laten blijven. Als e-mail-diensten de details van spamfilters bekend zouden maken, dan weten spammers precies hoe ze door de mazen kunnen ontsnappen. Ons postvakje zou dan weer vol met ongewenste berichten komen te zitten.’
Ronald de Nijs is eindredacteur van IP.
Deze bijdrage komt uit de KNVI jaarcongresspecial (bijlage bij IP nr. 7 / 2017). Het gehele nummer kun je hier lezen.