Hoogleraar: het recht is niet klaar voor digitale discriminatie

Computers en andere slimme systemen maken steeds vaker geautomatiseerde beslissingen over mensen. Deze ‘digitale differentiatie’ wordt ingezet door webwinkels, de overheid en tal van andere partijen. Daarbij ontstaat het risico op nieuwe vormen van discriminatie, waarbij bevolkingsgroepen benadeeld worden. Tegen deze vormen van discriminatie biedt het Nederlandse recht onvoldoende bescherming, zo betoogt Frederik Zuiderveen Borgesius, hoogleraar ICT en recht aan de Radboud Universiteit, op 28 september in zijn oratie.

Of je nou een nieuwe autoverzekering afsluit, een hypotheek aanvraagt, langs security moet op Schiphol of een vakantie boekt: je hebt op dagelijkse basis te maken met digitale systemen die beslissingen over je maken, vaak zonder dat je er invloed op hebt óf het überhaupt door hebt. Die beslissingen kunnen grote invloed op je leven hebben: je kunt uit de rij worden gehaald op Schiphol, of enkele tientjes meer per maand betalen voor je autoverzekering.

‘Huisnummerdiscriminatie’

‘Het Nederlands recht is nog niet klaar voor de keuzes die soms door deze algoritmes gemaakt worden,’ waarschuwt Zuiderveen Borgesius. ‘We hebben nu duidelijke regels die mensen beschermen tegen discriminatie op het gebied van huidskleur, geslacht of vergelijkbare kenmerken. Die normen gelden ook voor discriminatie door computers. Maar zulke digitale discriminatie is vaak moeilijk te ontdekken.’  

Zuiderveen Borgesius: ‘Een tweede categorie problemen is nog lastiger. Digitale differentiatie kan oneerlijk zijn, terwijl die niet specifiek mensen met een bepaalde huidskleur of vergelijkbaar kenmerk treft. Verzekeraars kunnen bijvoorbeeld algoritmes gebruiken om te voorspellen welke klanten vaker schade claimen. De computer kijkt dan aan de hand van data welke correlaties helpen om dat te voorspellen.’

‘Zo zijn er verzekeraars die hogere premies vragen aan mensen die op een huisnummer met een letter wonen, zoals 1A of 90L. Dat kan oneerlijk zijn. Ook kan digitale differentiatie arme mensen treffen. Denk aan een energiemaatschappij die hogere voorschotten vraagt aan bewoners van een postcode waar vaker betalingsachterstanden zijn. Met zo’n aanpak raak je vooral mensen in arme wijken. En als mensen altijd netjes hun rekeningen betalen, is het zuur voor ze als ze als wanbetaler worden behandeld, alleen vanwege hun postcode.’

Juridische haken en ogen

In zijn oratie gaat Zuiderveen Borgesius dieper in op de juridische haken en ogen van dergelijke digitale differentiatie. Dat zijn er namelijk nogal wat: discriminatie van bijvoorbeeld arme mensen of mensen met een bepaald huisnummer is niet verboden. Ook is het soms lastig om te achterhalen op basis van welke data een computer keuzes maakt, en hoe we dat inzichtelijk maken.

‘Het huidige recht kan mensen ten dele beschermen tegen oneerlijke digitale differentiatie. Zo staan er nuttige regels in het algemene non-discriminatierecht, en in de Algemene Verordening Gegevensbescherming (AVG). We moeten beginnen met die regels beter handhaven. Maar de huidige regels laten ook gaten vallen. Er zijn aanvullende regels nodig.

Maar voor sommige digitale differentiatie weten we nog niet wat de normen zouden moeten zijn. Zou discriminatie van arme mensen verboden moeten worden? En in welke gevallen dan? Om dat soort vragen te beantwoorden, is er meer interdisciplinaire samenwerking nodig door computerwetenschappers, juristen, filosofen en onderzoekers uit andere disciplines.’

Over Frederik Zuiderveen Borgesius

Frederik Zuiderveen Borgesius promoveerde in 2014 aan het instituut voor informatierecht (IViR) van de Universiteit van Amsterdam op een proefschrift over behavioural advertising en privacy. Daarna werkte hij als postdoctoraal onderzoeker bij hetzelfde instituut, en later bij de Vrije Universiteit van Brussel. Hij werkt sinds 2019 bij de Radboud Universiteit. Daar doceert hij rechten aan informaticastudenten, en is hij verbonden aan de iHub, de Interdisciplinary Hub for Digitalization and Society.