Jurist en filosoof Mireille Hildebrandt werkt op het snijvlak van recht en informatica. Vanuit de Vrije Universiteit Brussel en de Radboud Universiteit doet ze onderzoek naar datagestuurde omgevingen en de gevolgen ervan voor de rechtsstaat. Een gesprek over tekst- en datagestuurd recht, ethics washing, torenhoge verwachtingen van intelligente computersystemen en de steeds machtiger wordende internetplatforms.
Door: Ronald de Nijs
Stel, je hebt juridische hulp nodig. Geen nood, want nu kun je eindelijk gebruikmaken van je rechtsbijstandverzekering. De verzekeringsmaatschappij heeft het haar klanten gemakkelijk gemaakt. Om je zaak aan te melden, hoef je alleen maar een online formulier in te vullen. En vervolgens is het schrikken: omdat je claim kansloos blijkt te zijn, zal de verzekeringsmaatschappij er geen geld in steken. Die beslissing wordt afgedekt door het contract dat je met de verzekeraar hebt afgesloten. Exit claim.
Het is een fictief voorbeeld, maar het zou Mireille Hildebrandt niet verbazen als verzekeringsmaatschappijen al dergelijke voorspellende systemen inzetten. Met vergaande gevolgen: ‘Niet alleen voor de persoon in kwestie die ineens niet blijkt te worden geholpen. De beslissing van het systeem heeft als neveneffect dat een bepaald type zaken de rechter niet meer bereikt. Anders gezegd: veelal zonder het te beseffen stuurt de verzekeringsmaatschappij zo de rechtsontwikkeling aan. En dat kan natuurlijk niet de bedoeling zijn. In een rechtsstaat hebben we daarvoor niet voor niets de onafhankelijke rechter.’
Big law
Mireille Hildebrandt is hoogleraar ‘Interfacing Law and Technology’ aan de Vrije Universiteit Brussel en daarnaast bekleedt ze de leerstoel ‘Smart Environments, Data Protection and the Rule of Law’ bij de Radboud Universiteit in Nijmegen. ‘Ik houd me bezig met het gewone juridische werk. Denk bijvoorbeeld aan het analyseren van uitspraken op het gebied van consumentenrecht en aansprakelijkheidsrecht. Daarnaast doe ik onderzoek naar de gevolgen van kunstmatige intelligentie voor een aantal grondrechten en naar de inzet van datagestuurde computersystemen in het recht. Het gaat mij dan met name om de claims die worden gemaakt over de juistheid, correctheid, effectiviteit en efficiëntie van die systemen.’
Een van haar aandachtspunten: ‘Hoe gaan we vermijden dat er heel veel geld gaat naar technologie waarvan de betrouwbaarheid vooralsnog onduidelijk is. Dat speelt bij zowel overheden als het bedrijfsleven.’
Grote advocatenkantoren investeren momenteel fors in systemen waarmee delen van het juridische handwerk worden geautomatiseerd. Als voorbeeld noemt Hildebrandt kantoren (‘big law’) die business-to-businesscontracten voorbereiden en vooral grote bedrijven adviseren. ‘Dat zijn heel complexe zaken. Denk alleen al aan het belastingrecht voor een multinational. Omdat dit recht in verschillende landen anders geregeld is, zullen de regels regelmatig tegengesteld aan elkaar zijn. Wil je daar een mouw aan passen, dan kun je dat in kaart brengen met dit soort datagestuurde computersystemen. De vraag is of de output van die systemen ook echt klopt en of je dat kunt testen.’
Naïef enthousiasme
‘Er is nogal wat naïef enthousiasme bij beleidsmakers, startups, journalisten en consultants rondom datagestuurde computersystemen,’ zegt Hildebrandt. ‘En dan bedoel ik bijvoorbeeld de hoop dat die systemen hetzelfde soort intelligentie ontwikkelen als die van ons. Ik zeg altijd: we weten hoe we nieuwe mensen kunnen maken, en dat doen we al heel erg lang. [Lacht] Maar als je in kunstmatige intelligentie wilt investeren, dan heeft het weinig zin om mensen na te maken. Want: mensen hebben we al en computers zijn beter in andere zaken dan wij. Hoewel de kans dat kunstmatige intelligentie tot een soort superintelligentie leidt niet groot lijkt, is het natuurlijk een illusie te denken dat we systemen die veel intelligenter zouden zijn dan wij, kunnen beperken tot wat ons uitkomt. Onmogelijk. Kortom, er zijn al veel problemen in de wereld die we niet goed kunnen oplossen, dus laten we vooral geen nieuwe creëren.’
Onderzoek
Sinds begin 2019 werkt Hildebrandt aan het onderzoek ‘Counting as a human being in the era of computational law’. Voor dit project kreeg ze van de prestigieuze European Research Council (ERC) een subsidie van 2,5 miljoen euro. Samen met een team van juristen en filosofen én een team van informatici ontwikkelt ze de komende vijf jaar een nieuwe juridische methodologie.
‘Het wordt een toetsingskader waarmee juristen beter kunnen begrijpen hoe ze de output van juridische technologie kunnen interpreteren. Op die manier moet het eenvoudiger voor ze worden om de juiste vragen te stellen, zonder dat ze zelf computerwetenschappen moeten studeren.’ Concreet gaat het hierbij om technologie (vaak ‘legal tech’ genoemd) die door bijvoorbeeld advocatenkantoren, de overheid en de rechterlijke macht kan worden ingezet om juridische beslissingen te nemen, te voorspellen of voor te bereiden.
Centraal staat de vraag hoe het huidige, tekst-gestuurde recht zich verhoudt tot data- en code-gestuurd recht. ‘Kijk, de huidige rechtsbescherming is helemaal geënt op wat ik tekst-gestuurd recht noem. Het recht is in menselijke taal gevat. Maar langs twee kanten worden er nu nieuwe technologieën ontwikkeld. Enerzijds: machinaal leren, bijvoorbeeld het proberen te voorspellen van juridische uitspraken. Anderzijds: het omzetten van juridische regels in computercode, waarbij die dan bovendien automatisch worden uitgevoerd (zogenaamde smart regulation). Vaak wordt gesuggereerd dat deze technieken tot een veel adaptiever recht zullen leiden. Het uitgangspunt van het ERC-project is dat recht geformuleerd in menselijke taal veel adaptiever, veel effectiever en veel efficiënter is dan dit soort systemen. Wij gaan onderzoeken onder welke voorwaarden data- en code-gestuurd recht desondanks kan bijdragen aan de grondwaarden van de rechtsstaat: de rechtszekerheid, de rechtvaardigheid en de instrumentaliteit van het recht.’
Wetten in computercode
Overheden stellen zich nu de vraag of ze wetten zo kunnen schrijven dat ze makkelijk om te zetten zijn in computercode. ‘Dat lijkt prachtig, maar de stap van menselijke taal naar computercode is een stap van onder meer disambiguering. Daarmee bedoel ik dat je een tekst eigenlijk altijd op meerdere manieren kan lezen. Maar computers kunnen dat niet. Dus moet je vooraf de tekst interpreteren. Als je dat doet, schaf je de scheiding tussen de rechterlijke, de wetgevende en de uitvoerende macht af die de grondslag vormt van het systeem van checks and balances waarmee we de rechtsstaat in de lucht houden. Je schuift regelgeving, uitvoering en interpretatie in elkaar.’
Maar je kunt dan toch in beroep gaan? ‘Dat klopt. Ik voorspel dan ook dat er veel meer rechtszaken komen als dergelijke systemen hun intrede gaan doen. Want omdat computercode veel minder adaptief is dan natuurlijke taal, ga je veel zaken ergens onderbrengen die er niet horen, terwijl zaken die wel ergens horen er niet onder vallen. En dat gaat ervoor zorgen dat veel meer mensen een uitspraak zullen aanvechten. Tenzij de rechtsbescherming wordt ingeperkt. Dat zou dan de bijl aan de wortels van de rechtsstaat zijn.’
Alles wordt duurder
De inzet van datagestuurde technologie heeft nog een ander nadeel: het wordt allemaal niet goedkoper maar juist duurder. Hildebrandt moet daarbij terugdenken aan een Europese expertwerkgroep waar ze ooit in zat. ‘We bespraken de inzet van sensortechnologie om bijvoorbeeld ouderen langer thuis te laten wonen. Er was een toetsingskader ontwikkeld en de algehele vooronderstelling daarvan was dat de zorg voor ouderen dankzij die technologie goedkoper zou worden. Onder de domeinexperts bevonden zich sociaal wetenschappers, beleidsmakers en juristen. Ik meende juist dat alles veel duurder zou worden, want die systemen moeten worden beveiligd, geüpdatet, et cetera. Het leidde tot grote verontwaardiging van de genoemde groep experts. Een andere expert gaf me echter gelijk; hij was degene die dit soort systemen ontwikkelde en bij een bedrijf werkte die ze “in de markt zet”.’
Domeinexperts zoals medici, juristen of beleidsmakers (die zelf geen informaticus zijn) hebben veelal torenhoge verwachtingen van de efficiëntie en effectiviteit van intelligente computersystemen, valt Hildebrandt op. ‘Zij zien vaak alleen nog wat ethische problemen die door het instellen van een ethische commissie, die meestal weinig in de melk te brokken heeft, kunnen worden opgelost. Want dan heb je het legitimatiestempel binnengehaald: “Ja, maar we hebben daar ethici naar laten kijken.” Dat is vooral problematisch als de ethiek wordt binnengehaald om te verdoezelen dat het eigenlijk gaat om schending van fundamentele rechten.’ Hildebrandt spreekt van ethics washing, waarmee ze doelt op de tactiek om regelgeving af te doen als obstakel voor innovatie en tegelijkertijd de aandacht af te leiden naar ethiek (die niet afdwingbaar is, en geen democratische legitimatie heeft). ‘Hoe sneller we de pseudo-religieuze verwachtingen van dit soort systemen bijstellen, hoe beter,’ verzucht ze.
Ethiek
Vaak wordt Hildebrandt door de media gevraagd haar visie op ethische kwesties van kunstmatige intelligentie-systemen te geven. Dergelijke verzoeken probeert ze zoveel mogelijk buiten de deur te houden, want haar focus ligt bij recht en rechtsstaat. Ondertussen hoort ze veel mensen zeggen dat ‘als grote techbedrijven zoals Google en Facebook nu maar ethisch worden, het dan wel goed zit. Maar we willen natuurlijk niet afhankelijk zijn van wat een techbedrijf toevallig “ethisch” vindt.’
Sowieso vindt ze dat de vraag naar ethiek vaak te vroeg wordt gesteld. ‘Het recht is er niet om ethiek op te leggen, maar om te zorgen dat bijvoorbeeld bedrijven zich ethisch kunnen gedragen en niet de markt worden uitgedrukt. Het recht moet zorgen voor een level playing field, dus eerst het recht respecteren en dan beginnen over ethiek.’
Algoritmes
Wat zijn de uitdagingen als het gaat om data-ethiek? ‘Je kunt hier op vele manieren naar kijken,’ aldus Hildebrandt. ‘Maar ik beperk me nu even tot een simpele tweedeling. Er zijn mensen die denken dat je algoritmes “ethisch” kunt maken. En er zijn mensen die zeggen: dat kan natuurlijk niet, maar je kunt wel algoritmes ontwerpen en daarbij rekening houden met een aantal ethische beginselen.’ In dat laatste zit voor Hildebrandt de belangrijkste uitdaging.
Zodra iemand zegt te beschikken over een ethisch algoritme, wordt Hildebrandt argwanend. ‘Wat bedoelt iemand daarmee? En wiens ethiek zit daar dan in? Want een algoritme zelf is niet ethisch, of eerlijk, of oneerlijk. Een algoritme heeft daar zelf geen gedachten over. Maar hoe kun je dat zo inrichten dat het ethisch is?’
‘Ethiek is iets waar we het fundamenteel niet over eens worden. Daarom is het belangrijk ervoor te zorgen dat degenen die intelligente systemen ontwikkelen serieus in gesprek gaan met degenen die de gevolgen ervan gaan ondervinden.’
Als voorbeeld noemt Hildebrandt een systeem dat fraudeurs op het gebied van sociale zekerheid kan detecteren. ‘De gedachte is dan al snel dat je niet moet gaan praten met fraudeurs of met mensen die recht op sociale zekerheid hebben, want “dan gaan ze ernaar handelen”. Dat is een domme gedachte. Dat moet je juist wel doen! Want hier leer je van, en dan kun je anticiperen op wat mensen gaan doen als je ze op zo’n manier tegemoet gaat treden.’
Hildebrandt pleit in dit voorbeeld dan ook voor een gesprek tussen uitvoerende professionals die toezicht moeten houden op de sociale zekerheid, degenen die de systemen bouwen en de uitkeringsgerechtigden. ‘Als je dat doet, worden die systemen vele malen beter. Participatie van degenen die de gevolgen gaan ondervinden blijkt uit veel onderzoek cruciaal bij de inzet van nieuwe technologie.’
Real time bidding
Met het voorbeeld van real time bidding bij ‘gratis’ content op het internet wil Hildebrandt het interview afsluiten. Iedereen kent het wel: bij nieuwsberichten op websites staan vaak kleine advertenties. Dankzij een geautomatiseerde veilingmethode wordt die advertentieruimte in nog geen seconde en zonder menselijke tussenkomst verkocht aan adverteerders. ‘Een algoritme genereert zo op basis van je afgeleide interesses maximale advertentie-inkomsten,’ zegt Hildebrandt. ‘Dit real time bidding–systeem heeft ook tot gevolg dat uitgevers (websites) hun content zo optimaliseren dat er veel reclame bij past. Dat betekent advertentiegestuurde inhoud. Niemand zit hierop te wachten. “Content” moet niet geselecteerd worden op basis van de vraag of het meer advertentie-inkomsten oplevert – dat leidt gemakkelijk tot nepnieuws.’
In tegenstelling tot wat je zou verwachten gaan de winsten van dit real time bidding-systeem niet naar de uitgevers en is het ook niet duidelijk of de adverteerders er wel op vooruit gaan. ‘Het grote geld gaat naar de intermediairs. Of beter gezegd: de advertentiebedrijven die bijna allemaal opgekocht zijn door de grote internetplatforms.’
Een onwenselijke situatie, vindt Hildebrandt. ‘We moeten ervoor zorgen dat bedrijven, overheden en burgers er belang bij hebben dat mensen niet gemanipuleerd worden.’ Gelukkig komt dit bewustzijn iets dichterbij. ‘Twitter heeft onlangs besloten te stoppen met politieke advertenties. Al denk ik dat het vooral veel nieuwe vragen gaat oproepen, want wanneer is een advertentie “politiek”? Toch is het een eerste stap vooruit. En de tweede stap zou zijn: alle vormen van beïnvloeding met gedragsdata uitbannen. Misschien dat er dan een einde komt aan al die “gratis” diensten, want gratis content bestaat natuurlijk niet echt, het betekent gewoon dat de kosten onzichtbaar zijn. Economen noemen dat geëxternaliseerde kosten. Bijvoorbeeld verminderde kansen op de arbeidsmarkt, verhoogde verzekeringspremies, aanbiedingen die je misloopt, maar ook schade aan het algemeen belang van een redelijke verdeling van risico’s.’
Economische markten
Hildebrandt wijst op de rechte lijn tussen het recht en het organiseren van economische markten. ‘Economische markten worden gemaakt, met name door het privaatrecht, het eigendomsrecht en contractvrijheid. En soms moet je die markt bijstellen via het recht om te zorgen dat er geen gekke dingen gebeuren. Het is evident dat dat nu aan de orde is. Tenzij je het prima vindt dat een paar bedrijven nu zoveel geld verdienen dat ze hele staten zouden kunnen opkopen. Daarmee zijn we overgeleverd aan de particuliere ethiek van zeer machtige bedrijven, in plaats van de ethiek die we als democratie zelf bepalen. De ethiek van de rechtsstaat is een meta-ethiek die ervoor probeert te zorgen dat mensen hun eigen ethische beslissingen kunnen nemen. En dat kan niet als er zulke grote machtsonevenwichten zijn. Dus als we willen dat de internetplatforms niet al te machtig worden, moet de overheid ervoor zorgen dat er tegenmachten zijn. Dat kan onder andere door de economische markten anders in te richten.’
Hildebrandt verwijst naar het motto op de website van haar ERC-project: niet alles wat telt kan worden geteld en niet alles wat je kunt tellen telt. Zij voegt daaraan toe: ‘Niet alles wat controleerbaar is doet ertoe en niet alles wat ertoe doet kun je onder controle brengen. Noch recht, noch ethiek laten zich reduceren tot tellen en controleren.’
Ronald de Nijs is eindredacteur van IP
Deze bijdrage komt uit IP nr. 9 / 2019. Het gehele nummer kun je hier lezen.