Organisaties maken in toenemende mate gebruik van algoritmes om werkprocessen te ondersteunen, terwijl eerdere gevallen hebben aangetoond dat dit gebruik gepaard kan gaan met risico’s op discriminatie. Voorbeelden daarvan zijn onder meer de kinderopvangtoeslagenaffaire en controles op uitwonende studenten door DUO. In reactie op deze ontwikkelingen zijn zogenoemde fairness-methodes ontwikkeld om discriminatie in algoritmes te meten en te beperken.
Een onderzoek uitgevoerd door de Technische Universiteit Eindhoven in opdracht van het College voor de Rechten van de Mens heeft de werking van deze methodes vergeleken met bestaande juridische kaders voor gelijke behandeling. Daarbij is ook gekeken naar de rol die fairness-methodes kunnen spelen bij het identificeren en voorkomen van discriminatie in algoritmische systemen.
Uit de bevindingen blijkt dat fairness-methodes gedeeltelijk aansluiten bij juridische normen, maar niet volstaan om zelfstandig discriminatie vast te stellen. Discriminatie wordt in het onderzoek beschreven als een vraagstuk dat niet uitsluitend technisch van aard is en daarom niet alleen met technische oplossingen kan worden aangepakt.
Het onderzoek wijst op de noodzaak van een bredere benadering, waarbij multidisciplinaire samenwerking, voortdurende monitoring en integratie van discriminatietoetsing in organisatorische processen centraal staan.
Hoewel fairness-methodes volgens de onderzoekers beperkingen kennen, kunnen zij wel bijdragen aan het signaleren van risico’s en het ondersteunen van juridische beoordelingen. Op basis van de onderzoeksresultaten heeft het College voor de Rechten van de Mens richtlijnen opgesteld voor organisaties die deze methodes willen toepassen. In de bijbehorende samenvatting worden onder meer verschillen tussen directe en indirecte discriminatie toegelicht, evenals vragen en uitgangspunten die organisaties kunnen gebruiken bij de beoordeling en ontwikkeling van algoritmische systemen.
