Door Stichting VOGIN
Dat bevooroordeelde algoritmes schadelijk zijn, is inmiddels doorgedrongen tot het collectieve bewustzijn. Dat inzicht is allang niet meer een afwijkend geluid van kritische denkers als Virginia Eubanks of Marleen Stikker. Organisaties die blindvaren op algoritmes, kunnen zich niet meer verschuilen achter de blinddoek van Vrouwe Justitia. Geautomatiseerde besluitvorming kan uitlopen op ongekend onrecht. Algoritmes zijn soms écht weapons of math destruction. De vraag naar ethische IT ligt vierkant op tafel.
Menselijk besluit
Wil de homo informaticus, zoals informaticus Ilyaz Nasrullah in zijn scherpe column in Trouw begin december stelde, willens en wetens schade aanrichten? Doorgaans niet. Het toepassen van algoritmes ten behoeve van geautomatiseerde besluitvorming is echter wel degelijk een menselijk besluit. Dat kan leiden tot geautomatiseerde beslissingen waar geen mens meer aan te pas komt, laat staan kan ingrijpen als het misgaat. Je kunt je afvragen (en sommigen doen dat ook hardop) of je niet te ver dóórdenkt als je mogelijke vervolgschade meeweegt bij het ontwikkelen van een informatiesysteem.
Doofheid voor gevolgschade
Probleem is overigens vaak dat het niet eens nieuwe systemen zijn die voor problemen zorgen. Vaak moeten systemen worden aangepast door voortschrijdend inzicht en nieuwe wetgeving, terwijl zij ondertussen volop in bedrijf blijven, en gaat het mede daardoor grondig mis. Het uitzetten en van nul af aan opnieuw opbouwen van beslissingsondersteunende systemen bij complexe organisatieprocessen is soms simpelweg geen optie. Maar blindheid van algoritmes combineren met doofheid voor gevolgschade, zoals Nasrullah in zijn column beschrijft, is niet om aan te zien: ‘De rot in mijn vakgebied, de informatica, tast de hele samenleving aan.’
De hele samenleving is inderdaad in toenemende mate onderworpen aan de werking van geautomatiseerde beslissingen, en is daar ook afhankelijk van. Teruggaan naar menselijke besluitvorming is vanwege de aantallen besluiten die genomen moeten worden geen realistische optie. Het handmatig controleren van alle besluiten, als die in 99 procent van de gevallen correct blijken te zijn, is overbodig dubbel werk. Als verreweg het grootste deel van de automatische beslissingen correct is, is een andere aanpak nodig om onrechtvaardige of onrechtmatige beslissingen aan te pakken.
Algoritmeregisters
Eén poging daartoe zijn algoritmeregisters die werken vanuit de gedachte dat transparantie leidt tot het sneller identificeren van mogelijk onterecht bevooroordeelde algoritmes. Een goed voorbeeld is het Algoritmeregister Amsterdam, waarin de gemeente de instrumenten publiceert die zij inzet bij dienstverlening. Bezoekers worden nadrukkelijk uitgenodigd om hun bevindingen te delen: ‘Door feedback te geven kunt u ons helpen om de algoritmes die we gebruiken beter, eerlijker en verantwoorder te maken.’
Een register is een eerste stap, maar biedt wijsheid achteraf, als het algoritme al ingevoerd is. Veel liever ga je, op basis van de huidige inzichten over inzet van algoritmes, vooraf na wat eventuele haken en ogen zijn. In een aantal uitvoeringsorganisaties is dat besef inmiddels geland. Er wordt gedebatteerd over ethische aspecten van besluitvorming en geëxperimenteerd met ethische commissies, en er worden gesprekken met direct betrokkenen gevoerd over moreel verantwoord datagedreven werken. Deelnemers zijn zich meer dan ooit bewust van de problematiek (automatisering is een hulpmiddel, géén panacee), en ervaren ruimte om verschillende waarden die van belang zijn (snelheid én zorgvuldigheid) even zwaar te laten meewegen als er een systeem (door)ontwikkeld wordt.
Rechtvaardigheid van beslissingen
Waar voorheen automatisering vrijwel kritiekloos kon worden doorgevoerd, lijkt de veranderende tijdgeest het debat te kantelen. Met als centrale vraag niet langer of beslissingen snel en efficiënt worden genomen, maar hoe ze doofheid voor gevolgschade voor kunnen blijven in een geautomatiseerde wereld.
Daarvoor is het gesprek tussen de homo informaticus en de homo ethicus keihard nodig. Want het zou de normaalste zaak van de wereld moeten zijn om allereerst een gesprek te voeren over rechtvaardigheid van beslissingen en pas daarna over het automatiseren ervan.
Stichting VOGIN informeert en organiseert voor professionals die zich bezighouden met toepassingen van data, informatie, kennis, content, internet en de cloud.
Deze bijdrage komt uit de papieren IP #2-2022. Het hele nummer kun je hieronder lezen of downloaden.