Door Cindy Lammers
Meer transparantie in een steeds digitaler wordende wereld; organisaties die veel opener zijn over wat er gebeurt met hun (en jouw) informatie en data. Dat is wat het initiatief Open the Black Box wil nastreven. Transparency by design in vier stellingen
Ze hebben een pilotvideo gemaakt, de mensen achter Open the Black Box, waarin ze zelf – op een na – figureren en aan de hand van drie stellingen de enigszins ongrijpbare naam van het initiatief proberen te duiden. ‘Open the Black Box is een oproep voor meer democratische grip op de machtige technologieën en organisaties in onze samenleving; op de algoritmes en bureaucratieën die steeds ingrijpender en onnavolgbaarder beslissen over onze levens.’
Deze zorgen worden breed gedeeld, weten ze, en zo komen we meteen bij de eerste stelling.
1 ‘Niet alleen gewone burgers maar ook steeds meer mensen in invloedrijke posities voelen een groeiend onbehagen over ons gebrek aan grip op de machtige black boxes in onze samenleving.’
‘We leven in een complexe samenleving,’ reageert professor Hajo Reijers (Universiteit Utrecht, TU Eindhoven), ‘met complexe organisaties waarvan mensen niet meer weten wat binnen gebeurt en alleen maar kunnen zien wat er naar buiten komt. Dat roept onbehagen op.’ Dat onbehagen vindt Frank van Geffen (Rabobank, KNVI) – samen met Joost van de Loo (RoboValley) initiatiefnemer van Open the Black Box – opvallend. ‘We hebben tegenwoordig heel veel informatie beschikbaar. Als je ziet dat we steeds meer schuiven richting een open informatiesamenleving, is het vreemd dat er zo veel is wat we nog niet weten en waar we ook niet zomaar in kunnen kijken.’
Het is ingewikkeld, weet Rein Mertens (SAS Nederland): ‘We begrijpen vaak niet hoe we een black box inzichtelijk kunnen maken, want een black box bevat algoritmes, en die kunnen heel simpel maar ook heel complex zijn.’
Dus moet er iets gebeuren, getuige de tweede stelling.
2 ‘Voor het waarborgen van vrijheid, veiligheid en kwaliteit van leven – van zowel burgers als bedrijven en organisaties – zullen we voor de machtige black boxes een vorm van transparency by design moeten gaan installeren en misschien zelfs verplichten.’
Dat werkt twee kanten op, volgens Nancy Zikken (Amsterdam Smart City): ‘Enerzijds is het belangrijk dat de overheid duidelijker kaders stelt en aangeeft wat er verlangd wordt op het gebied van transparantie van technologie. Anderzijds verwacht ik dat de maatschappij daarin steeds wakkerder wordt en dit van bedrijven en organisaties gaat eisen.’
Van Geffen: ‘Ik heb ooit samengewerkt met een directeur die zei: te veel transparantie maakt blind.’
‘Helemaal mee eens’, reageert Martijn van der Veen (Privacy First). ‘Niet iedereen hoeft alles te weten en niet alles hoeft op straat te liggen, maar je moet wel een vorm van toezicht hebben. Zie bijvoorbeeld de Commissie Stiekem. Daarin houden voorzitters van partijen in de Tweede Kamer toezicht op wat onze veiligheidsdiensten doen. Weliswaar omkleed en niet voor iedereen open, maar wel met controle en dus ook beïnvloeding volgens een democratisch proces.’
Reijers: ‘Transparency by design klinkt heel goed, maar het betekent ook een enorme mentaliteitsverandering. Het houdt in dat we willen investeren in het ontwerpen van dingen waarbij we vooraf al rekening houden met hoe ze na het ontwerp gaan werken en hoe we ermee omgaan. Dat zijn veel ingenieurs, maar ook burgers, niet gewend.’
De derde stelling in de video sluit daar mooi op aan.
3 ‘Als samenleving verlangen we van de black boxes geen absolute transparantie; we willen vooral grip en verantwoording, net zoals je grip wilt hebben op een auto als je erin zit.’
De auto is een goed voorbeeld, vervolgt Reijers. ‘Als bestuurder weet je niet hoe je auto echt in elkaar zit. Je begrijpt echt niet hoe bijvoorbeeld die module werkt die ervoor zorgt dat je op een bepaalde afstand van andere auto’s blijft. Dit geeft meteen ook aan dat we ons heel comfortabel kunnen voelen bij een beperkt begrip van hoe iets nou precies zit.’
Mertens: ‘Voor mij is het belangrijk als individu dat ik wel weet waarom ik misschien een lening niet krijg – dat mij dit open en begrijpelijk wordt uitgelegd, maar ik hoef het niet te weten op het moment dat mijn telefoon mijn gezicht als selfie detecteert.’
Zikken: ‘Voor steeds meer mensen geldt dat ze de uitkomsten van technologie willen begrijpen en er grip op willen krijgen, maar het is ook heel belangrijk om te kunnen zien welke keuzes zijn gemaakt om tot die uitkomst te komen.’
‘Je moet kijken naar wat je wilt voorkomen’, vult Van der Veen aan. ‘Ik denk dat we graag een samenleving willen waarin mensen fijn kunnen leven, gezond kunnen zijn en zich kunnen ontwikkelen, en dat is wat je wilt beschermen. Daarvoor moet je de omgeving, organisaties en structuren veranderbaar maken, en dat begint met transparantie.’
Transparantie als voorwaarde
De laatste opmerking wordt verder uitgewerkt tijdens een online bijeenkomst, waar Van der Loo dezelfde betrokkenen ondervraagt. Hij legt ze daarmee de vierde stelling voor.
4 ‘Transparency by design is net zo hard nodig als privacy by design.’
‘Er zijn een paar dingen belangrijk bij design en algoritmes’, reageert Leonie van den Beuken (Amsterdam Smart City; zij vervangt Zikken). ‘Dat zijn natuurlijk privacy en transparantie, maar ik wil zeker ook eerlijkheid en autonomie toevoegen; dat een algoritme jou het gevoel geeft dat het niet een magische, onzichtbare hand is die jouw leven stuurt, maar dat je daar zelf ook grip op hebt. Zodra je een begrijpelijke vorm van transparantie hebt, is dat essentieel voor de andere drie aspecten, omdat een mate van transparantie ook een mate van begrijpelijkheid, controle en vertrouwen geeft. Zodra je meer vertrouwen krijgt in de technologie – zoals je je auto vertrouwt dat die afstand houdt – geeft dat rust.’
‘Ik ben het hiermee eens,’ zegt Reijers, ‘en ik denk dat er nog een goed argument is om voorstander te zijn van transparency by design. Als we ingewikkelde systemen maken is het ontzettend moeilijk om het volledige gedrag te voorspellen van zo’n systeem en van wat mensen ermee gaan doen. Daarin zit een mate van onvoorspelbaarheid. Als je transparency van tevoren inbakt in het proces, kun je die onvoorspelbaarheid bijsturen.’
Van Geffen: ‘Mijn verwondering zit vooral in de criteria die je kunt hanteren voor transparantie. Als je kijkt naar het maken van een raket – ik zie dit even als een black box – dan wil je voorkomen dat de astronaut om het leven komt. Dus zorg je dat het ding zo wordt ontworpen dat alles klopt; dat we er alles van weten en dat we alles meten. Kijk je naar de toeslagenaffaire, dan raakt dat miljoenen mensen en hebben we geen idee hoe het in elkaar zit. Achteraf proberen we het enige transparantie te geven en zeggen we: we gaan het veranderen. Dus ik denk, zeker als je het vergelijkt met privacy by design, dat transparantie een voorwaarde is om die andere zaken ook goed te kunnen doen.’
Van de Loo: ‘Jij zegt dus: waarom doen we het wel bij een raket en niet bij de Belastingdienst?’
Van Geffen: ‘Ja, maar het is ook afhankelijk van wat we proberen te voorkomen.’
Uitgewerkt in wetten
‘Ik ben meer bezig met privacy dan met transparantie, maar ik denk wel dat er een grote overlap is’, reageert Van der Veen op de stelling. ‘Het lastige van privacy is de complexiteit; iedereen heeft er een mening over, en je hebt te maken met privacybescherming van zowel de samenleving als het individu. Privacy is echter al wel redelijk uitgewerkt in diverse wetten. Of dat voor transparantie ook zo is, weet ik niet. Wat ik wel weet: transparantie gaat altijd over iets. De vraag is dan wie transparantie wil hebben en wat die ermee kan doen.’
Mertens: ‘Wat ik zie binnen data science- en AI-projecten is dat transparantie zich op drie vlakken bevindt. Welke data je gebruikt; de algoritmes, de modellen en welke versie er is gebruikt voor welke data; en de beslissingen die ermee meegenomen zijn. Interessant is dan om te zien dat bepaalde vakgebieden al heel ver zijn en andere niet. Risicomanagement binnen banken bijvoorbeeld is echt al wel vanuit wetgeving geregeld en wordt transparant gedocumenteerd. Een goed voorbeeld vind ik ook het algoritmeregister van Amsterdam; dat je als burger kunt begrijpen wat voor algoritmetoepassingen er zijn en met welke data de gemeente welke beslissingen heeft genomen.’
Informatie-economie
Gespreksleider Van de Loo haakt hierop in met een vraag aan Mertens: ‘Ik hoor jou zeggen dat op bepaalde plekken in de samenleving, of wat wij dan de black box noemen, al veel gebeurt op het gebied van transparantie, en op andere plekken minder. Zou jij dan willen reageren op wat Frank van Geffen zei over dat we ook goed moeten nadenken over wat we proberen te voorkomen, en zie jij dan plekken waar dat nog onvoldoende wordt gedaan?’
‘Kijk, er zijn veel cowboys die met data science-projecten bezig zijn,’ zegt Mertens, ‘die zich eigenlijk aan geen enkele ethische norm houden en alleen geld willen verdienen over de rug van … nou ja, maakt eigenlijk niet uit wie. Dat vind ik een kwalijke zaak. Aan de andere kant zie je wat er bijvoorbeeld in ziekenhuizen gebeurt, waar complexe deep learning-algoritmes radiologen ondersteunen. Dat is maatschappelijk gewoon heel goed. Dus enige regelgeving en handhaving zou kunnen bijdragen om die transparantie voor elkaar te krijgen.’
Van Geffen: ‘Ik moet even terugdenken aan mijn studie Informatiekunde waarin economie als informatie-economie werd neergezet. Dan werd er eigenlijk gezegd: economie bestaat uit schaarste en als je het over de informatie-economie hebt, is het zo dat “ik iets weet wat jij niet weet en ik daar geld mee kan verdienen”. Extrapoleer dat naar data science en alles wat je daar tegenwoordig mee kunt, en je haalt ontzettend veel binnen. Maar: moet je dat willen? Waarom zou je het toeslagenstelsel niet zo creëren dat het uitlegbaar wordt? Want we hebben al die technologie, al die mogelijkheden. Dan zou ik zeggen: denk daar van tevoren beter over na.’
Cowboys en belanghebbenden
‘Natuurlijk zijn er cowboys,’ reageert ook Van den Beuken, ‘maar het zijn niet alleen de cowboys. Met de toeslagenaffaire hebben we het over de overheid. Zij maakt politieke afwegingen die worden vertaald naar beleid, en dat beleid wordt weer vertaald naar geautomatiseerde regels die daarmee voor de burger onontkoombaar zijn. Als het algoritme zegt dat je wel of niet iets mag, of dat je wel of niet een toeslag krijgt, is dat extreem bepalend voor het leven van mensen. Dus het zit zowel privaat als publiek. Voor beide geldt echter wel dat alles zo open mogelijk moet gebeuren. Daarom is by design ook zo belangrijk; dat je vooraf nadenkt over: wat ga ik doen, hoe kan ik dat controleren, hoe kan iemand anders het controleren en hoe zorg ik dat mensen het kunnen blijven begrijpen.’
Reijers haakt hierop in met een voorbeeld van (on)bedoeld gebruik van data over de publieke ruimte. ‘Veel steden zijn in gesprek met techleveranciers over dergelijke data die in feite horen bij de burgers van deze steden. Je kunt je heel goed voorstellen dat zoiets fout kan gaan. Bijvoorbeeld dat populaire looproutes worden verkocht aan commerciële partijen, of dat je mensen met nepinformatie langs plekken leidt waarvan een commerciële aanbieder graag wil dat zij daar komen. Zoals Martijn van der Veen ook al aangaf: een analyse zoals om wiens privacy het gaat, zou je bij technologie-initiatieven ook van belanghebbenden moeten maken. Welke partijen hebben belang bij het begrijpen, doorgronden en transparant krijgen van systemen? En daar begin je het liefst al vooraf mee, transparency by design, om iets later beter te kunnen beoordelen of bijsturen.’
Open the Black Box heeft een website met informatie over het initiatief en de oproep ‘Jij en je black box’, die iedereen aanmoedigt om zijn of haar eigen black (of white) box-verhaal te delen. Het idee is om het probleem via persoonlijke voorbeelden breed onder de aandacht te brengen.
Cindy Lammers is hoofdredacteur van IP.
Deze bijdrage komt uit IP #3/2021. Het hele nummer kun je hier lezen.