Discriminerende algoritmes zijn voor burgers nauwelijks te signaleren

Onlangs riep het College voor de Rechten van de Mens burgers op om het te melden als zij last hebben van discriminerende algoritmes. Een goede maar praktisch zeer ingewikkelde oproep om gehoor aan te geven. Discriminatie in algoritmes is subtiel en op een paar duidelijke uitzonderingen na alleen vast te stellen aan de hand van meer data over het systeem. Dit schrijft Joris Krijger, Ethics en AI Officer, De Volksbank, in onderstaande blog.

De aansporing vanuit het College ligt in het verlengde van het proces rond de mogelijk discriminerende gezichtsherkenningssoftware die de VU heeft ingezet bij online tentamens. Studente Robin Procornie kreeg geen toegang tot haar tentamen en beriep zich op haar eigen ervaring en academische papers die haar betoog ondersteunden om aannemelijk te maken dat de gezichtsherkenningssoftware een vooringenomenheid heeft waarmee mensen van kleur onterecht benadeeld worden.

Het vaststellen van onrechtmatige discriminatie met een algoritme is echter complex. Alle algoritmes ‘discrimineren’, ze worden juist ingezet om onderscheid te maken. En alle algoritmes maken fouten. Het verweer van de Universiteit laat die complexiteit goed zien: volgens hen is het systeem ‘instabiel’ en hebben meerdere studenten daar last van gehad. De uitdaging wordt dan om aan te tonen dat mensen met een niet witte huidskleur, vanwege hun huidskleur, vaker zijn benadeeld door deze instabiliteit dan de andere studenten.

In dit geval betreft het een direct zichtbare AI-toepassing waarvan in de literatuur al bekend is dat discriminerende vooringenomenheid een serieus probleem is: van zelfrijdende auto’s tot opsporingssoftware, het maakt structureel meer fouten waar mensen van kleur door benadeeld worden.

Maar veruit de meeste algoritmes die een rol spelen in ons dagelijks leven zijn niet of nauwelijks zichtbaar. Van de Belastingdienst tot onze verzekeraar, ze gebruiken algoritmes waar vooringenomenheden in kunnen zitten die voor een individuele burger niet merkbaar zal zijn. En als je al weet dat het een algoritme is dat jou benadeeld, moet je als burger sterk in je schoenen staan om aan te tonen dat de uitkomst én onterecht is én het resultaat is van een ongerechtvaardigd onderscheid dat het algoritme maakt op basis van jouw persoonlijke kenmerken. Bovendien kan Kunstmatige Intelligentie op zeer complexe wijze discrimineren zonder dat het gevoelige data als huidskleur of geslacht nodig heeft.

Dat er opgetreden moet worden tegen dit soort systemen is evident maar of burgers de meest geschikte groep is om dit probleem te signaleren lijkt mij zeer de vraag.

Door: Joris Krijger, Ethics en AI Officer, De Volksbank.